云原生時(shí)代下，企業(yè)的最終目標(biāo)是構(gòu)建聯(lián)動(dòng)、統(tǒng)一的全鏈路觀測體系，為數(shù)據(jù)驅(qū)動(dòng)決策提供可靠的支撐。

本文我們將從可觀測數(shù)據(jù)治理方法論、復(fù)雜軟件架構(gòu)的故障根因定位以及性能瓶頸分析核心方法和處置決策流程三個(gè)方面切入，分享云原生時(shí)代全鏈路可觀測體系建設(shè)思路。

烏卡時(shí)代（VUCA ）企業(yè)需要適應(yīng)市場需求變化以及要求，業(yè)務(wù)持續(xù)性創(chuàng)新對企業(yè)技術(shù)架構(gòu)和業(yè)務(wù)架構(gòu)也提出了嚴(yán)峻的挑戰(zhàn)。首先，業(yè)務(wù)架構(gòu)需要快速適應(yīng)變化，有效感知用戶/業(yè)務(wù)的行為動(dòng)態(tài)，通過改善業(yè)務(wù)效率、用戶體驗(yàn)驅(qū)動(dòng)業(yè)務(wù)發(fā)展；其次，技術(shù)架構(gòu)需要采用適應(yīng)業(yè)務(wù)敏捷迭代和彈性伸縮的微服務(wù)架構(gòu)、云原生架構(gòu)，以應(yīng)對業(yè)務(wù)頻繁變更及技術(shù)復(fù)雜性造成業(yè)務(wù)連續(xù)性下降的難點(diǎn)問題。
通過引入云原生端到端可觀測體系能夠幫助企業(yè)：有效解決故障感知問題，清晰故障定位、精準(zhǔn)根因分析、輔助故障處置決策，持續(xù)保障業(yè)務(wù)連續(xù)穩(wěn)定，同時(shí)基于多維運(yùn)維數(shù)據(jù) metric、log、trace的業(yè)務(wù)價(jià)值挖掘能有效洞察業(yè)務(wù)變化，提升用戶體驗(yàn)，驅(qū)動(dòng)業(yè)務(wù)發(fā)展。本文結(jié)合嘉為在可觀測領(lǐng)域多年實(shí)踐針對云原生時(shí)代全鏈路觀測體系構(gòu)建方法給出建議、實(shí)踐和思考。

01. 可觀測起源及未來發(fā)展方向

1）云原生時(shí)代應(yīng)用觀測的難點(diǎn)

數(shù)字化轉(zhuǎn)型的高速發(fā)展，極大地推進(jìn)了軟件架構(gòu)的迭代更新，從簡至繁經(jīng)歷了單體架構(gòu)-SOA架構(gòu)-微服務(wù)架構(gòu)-服務(wù)網(wǎng)格的演進(jìn)更新歷程。

隨著云原生時(shí)代的到來，應(yīng)用架構(gòu)在落地敏捷開發(fā)、快速迭代、彈性伸縮的同時(shí)，將原有的單體應(yīng)用拆分成多個(gè)獨(dú)立部署、相互通信的組合應(yīng)用，給應(yīng)用運(yùn)維的故障分析、根因定位、業(yè)務(wù)連續(xù)性穩(wěn)定帶來嚴(yán)峻挑戰(zhàn)：

① 對象模型激增

單體應(yīng)用拆分微服務(wù)架構(gòu)后，服務(wù)數(shù)量劇增；同時(shí)，觀測對象從虛擬機(jī)細(xì)化到POD、容器級別，實(shí)例數(shù)量指數(shù)級增長。

② 信息維度復(fù)雜，難以建立多維數(shù)據(jù)關(guān)聯(lián)映射關(guān)系

相對于傳統(tǒng)虛機(jī)或宿主機(jī)，增加一層網(wǎng)絡(luò)、存儲、虛擬化計(jì)算資源，將增加額外的資源屬性及觀測指標(biāo)；云原生微服務(wù)應(yīng)用涉及多個(gè)服務(wù)、多個(gè)組件，請求調(diào)用鏈路復(fù)雜。

③ 架構(gòu)動(dòng)態(tài)變化，故障現(xiàn)場難以留存，問題難以定位

基于業(yè)務(wù)快速發(fā)展訴求的頻繁迭代更替，導(dǎo)致服務(wù)、接口、節(jié)點(diǎn)動(dòng)態(tài)變化；云原生基于聲明式面向終端的設(shè)計(jì)思想，自動(dòng)宕機(jī)重啟IP漂移，故障時(shí)難以有效的進(jìn)行故障回溯和資源定位。

2）可觀測與傳統(tǒng)監(jiān)控的區(qū)別

監(jiān)控是可觀測性的一種實(shí)現(xiàn)手段，但可觀測遠(yuǎn)不止于監(jiān)控。

傳統(tǒng)監(jiān)控體系是面向靜態(tài)資源，通過主動(dòng)撥測方式構(gòu)建的時(shí)序監(jiān)控指標(biāo)視圖，其前置條件是需要明確對象及觀測指標(biāo)，基于指標(biāo)體系，工程師能夠了解哪些系統(tǒng)是確定工作的。

在云原生觀測場景下，指標(biāo)覆蓋不全、業(yè)務(wù)侵入性大、數(shù)據(jù)關(guān)聯(lián)性差、缺乏基于業(yè)務(wù)視角異常感知機(jī)制等問題凸顯，傳統(tǒng)監(jiān)控能力難以適應(yīng)云原生架構(gòu)動(dòng)態(tài)變化、服務(wù)依賴關(guān)系復(fù)雜、信息組織多樣的現(xiàn)實(shí)問題，無法從全業(yè)務(wù)流量鏈路上有效定位問題、故障處置不及時(shí)，整體業(yè)務(wù)連續(xù)性遇到較大的挑戰(zhàn)。

在此背景下，誕生了云原生觀測體系，通過多維觀測數(shù)據(jù)鏈路trace、時(shí)序指標(biāo)metric、日志明細(xì)log，進(jìn)行有機(jī)融合構(gòu)建體系化的觀測體系，通過無侵入采集動(dòng)態(tài)插碼技術(shù)降低業(yè)務(wù)觀測成本。同時(shí)提供豐富的業(yè)務(wù)應(yīng)用視角的觀測手段，包括依賴分析、性能剖析、故障排錯(cuò)及根因定位等，實(shí)現(xiàn)從被動(dòng)感知到主動(dòng)觀測、從被動(dòng)響應(yīng)到主動(dòng)觀測體系建設(shè)的思維模式轉(zhuǎn)變，從而達(dá)到了解已知、防范風(fēng)險(xiǎn)、探索未知的觀測目標(biāo)。

總結(jié)來說，傳統(tǒng)監(jiān)控可類比中醫(yī)，基于脈搏時(shí)序檢測依賴人為經(jīng)驗(yàn)判斷，依賴經(jīng)驗(yàn)豐富的工程師；可觀測可類比西醫(yī)，通過各種觀測手段如RUM、APM、日志、基礎(chǔ)監(jiān)控等，構(gòu)建全量觀測體系白盒診斷，讓醫(yī)生對系統(tǒng)實(shí)時(shí)進(jìn)行全面體檢，發(fā)現(xiàn)問題所在。

3）云原生可觀測發(fā)展方向

云原生時(shí)代的觀測技術(shù)，由單一時(shí)序指標(biāo)數(shù)據(jù)向指標(biāo)、鏈路、明細(xì)多維數(shù)據(jù)關(guān)聯(lián)聯(lián)動(dòng)過渡，由單一監(jiān)控工具向分布式鏈路追蹤、海量日志檢索、集中告警治理、工程化AI的可觀測體系平臺演進(jìn)。主要包含四個(gè)方面：

① 無侵入低侵入接入

使用字節(jié)碼、ebpf等無侵入或低侵入技術(shù)替換傳統(tǒng)手動(dòng)可觀測埋點(diǎn)方式，降低觀測接入成本，極大方便可觀測數(shù)據(jù)的接入和平臺推廣。

② 采集能力開源生態(tài)

各頭部廠商將探針接入能力開源，通過開源協(xié)同共建、開放共贏，降低觀測采集插件開發(fā)成本，聚焦上層可觀測數(shù)據(jù)的價(jià)值分析。

③ 數(shù)據(jù)協(xié)議標(biāo)準(zhǔn)統(tǒng)一

OpenTelemetry成為事實(shí)的云原生觀測標(biāo)準(zhǔn)，開源工具和商業(yè)產(chǎn)品逐步兼容適配OT觀測標(biāo)準(zhǔn)數(shù)據(jù)協(xié)議，實(shí)現(xiàn)數(shù)據(jù)接入的標(biāo)準(zhǔn)化簡化遷移適配工作。

④ 以鏈路為中心的全景觀測

觀測分析視角由傳統(tǒng)的資源監(jiān)控，轉(zhuǎn)向以鏈路為核心的上層應(yīng)用觀測，有效感知并快速響應(yīng)、閉環(huán)業(yè)務(wù)異常。

02. 可觀測體系建設(shè)思路

1）可觀測體系建設(shè)路徑

可觀測體系的建設(shè)，我們分為五個(gè)層級。目前，大多數(shù)企業(yè)都?xì)v經(jīng)了監(jiān)控的前三個(gè)層級的建設(shè)：L1-局部可用性監(jiān)控、L2-煙囪工具式監(jiān)控、L3-大平臺型監(jiān)控，并且正在向L4-可觀測體系建設(shè)邁進(jìn)，向L5-智能監(jiān)控方向進(jìn)行探索。在此過程中，有幾種變化：

1. 視角的變化：從資源監(jiān)控轉(zhuǎn)變?yōu)橛脩簟I(yè)務(wù)的視角；
2. 數(shù)據(jù)維度的變化：從單一指標(biāo)，向指標(biāo)、鏈路、明細(xì)多維數(shù)據(jù)指標(biāo)轉(zhuǎn)變；
3. 職責(zé)的變化：傳統(tǒng)運(yùn)維的主要職責(zé)是保障系統(tǒng)穩(wěn)定性，而在可觀測時(shí)代，我們希望運(yùn)維能承擔(dān)更多的職責(zé)，通過運(yùn)維數(shù)據(jù)的沉淀，挖掘業(yè)務(wù)價(jià)值。

2）可觀測體系建設(shè)的三大核心點(diǎn)

在這種變化之下，可觀測就絕不僅僅是一套工具或者一套數(shù)據(jù)組成，而是一個(gè)體系化工程，建設(shè)上主要有3個(gè)核心點(diǎn)：

核心點(diǎn)1-統(tǒng)一數(shù)據(jù)治理：觀測數(shù)據(jù)建模服務(wù)于觀測場景

面向云原生體系下不同的觀測組件、多維的觀測數(shù)據(jù)的不計(jì)其數(shù)，如何將不同的觀測組件和觀測數(shù)據(jù)進(jìn)行有機(jī)融合，建立統(tǒng)一觀測模型、構(gòu)建觀測標(biāo)準(zhǔn)，是建立云原生觀測體系首要解決的核心問題。

Peter Bourgon 在2017年2月撰寫了一篇簡明扼要的文章《Metrics，tracing，and logging》，文中將觀測數(shù)據(jù)按數(shù)據(jù)類型和應(yīng)用場景，劃分為鏈路數(shù)據(jù) trace、時(shí)序指標(biāo)數(shù)據(jù) metric、明細(xì)日志文本數(shù)據(jù)log，這也是目前可觀測體系三大支柱的理論來源。

鏈路數(shù)據(jù) trace 基于特定標(biāo)識，提供單筆請求的全量調(diào)用路徑自動(dòng)構(gòu)建系統(tǒng)運(yùn)行時(shí)軟件架構(gòu)，提供清晰排障路徑。

時(shí)序指標(biāo)數(shù)據(jù) metric 是用戶觀測系統(tǒng)狀態(tài)和變化趨勢，基于數(shù)據(jù)波動(dòng)可有效發(fā)現(xiàn)異常，但無法用于根因定位。

明細(xì)日志文本數(shù)據(jù) log 是應(yīng)用運(yùn)行過程的現(xiàn)場留存，保留完整業(yè)務(wù)執(zhí)行明細(xì)，是業(yè)務(wù)排障主要來源。

如何將三者進(jìn)行有機(jī)統(tǒng)一，相互融合打造統(tǒng)一觀測體系，有三個(gè)關(guān)鍵點(diǎn)：

1. 統(tǒng)一觀測對象建模：建立全局統(tǒng)一觀測對象模型（可基于CMDB），構(gòu)建多維業(yè)務(wù)對象級聯(lián)關(guān)系，方便數(shù)據(jù)的定位尋址。
2. 數(shù)據(jù)關(guān)聯(lián)打標(biāo)：在日志明細(xì)中埋入TraceID和SpanID，Metric指標(biāo)上報(bào)埋入資源標(biāo)簽。
3. 構(gòu)建時(shí)間范圍統(tǒng)計(jì)關(guān)系：提供基于時(shí)間統(tǒng)計(jì)維度，依賴對象間的下鉆分析能力。

核心點(diǎn)2-統(tǒng)一評價(jià)標(biāo)準(zhǔn)：以應(yīng)用為中心健康評估

不同維度的觀測數(shù)據(jù)統(tǒng)一接入后，需要對數(shù)據(jù)進(jìn)行清洗、關(guān)聯(lián)、聚合，構(gòu)建以應(yīng)用為中心，融合trace、metric、log多維數(shù)據(jù)的應(yīng)用性能評價(jià)體系，從而基于業(yè)務(wù)視角，統(tǒng)一性能評價(jià)標(biāo)準(zhǔn)、主動(dòng)發(fā)現(xiàn)性能瓶頸、快速感知故障、高效故障恢復(fù)，保障應(yīng)用系統(tǒng)連續(xù)穩(wěn)定。

核心點(diǎn)3-觀測處置聯(lián)動(dòng)：持續(xù)觀測改進(jìn)閉環(huán)

以應(yīng)用為中心，將性能指標(biāo)、運(yùn)行日志、服務(wù)事件、請求鏈路進(jìn)行統(tǒng)計(jì)聚合、關(guān)聯(lián)分析，建立服務(wù)全景觀測中樞，實(shí)現(xiàn)服務(wù)性能度量、預(yù)測，提供故障根因及性能分析依據(jù)。

聯(lián)動(dòng)標(biāo)準(zhǔn)運(yùn)維能力及AI賦能加持，基于性能觀測度量結(jié)果構(gòu)建清晰運(yùn)維決策鏈路，聯(lián)動(dòng)應(yīng)用發(fā)布、故障處置、容災(zāi)演練、服務(wù)治理，構(gòu)建持續(xù)觀測、優(yōu)化改進(jìn)的雙向閉環(huán)反饋機(jī)制，保障系統(tǒng)連續(xù)穩(wěn)定。

03. 嘉為端到端可觀測產(chǎn)品實(shí)踐

1）嘉為鯨眼全棧智能可觀測中心

嘉為鯨眼可觀測產(chǎn)品是一款面向企業(yè)IT研發(fā)、運(yùn)維、業(yè)務(wù)提供的一款領(lǐng)先的端到端體系化全鏈條可觀測產(chǎn)品，覆蓋用戶側(cè)真實(shí)體驗(yàn)分析、后端應(yīng)用性能分析、指標(biāo)體系建設(shè)、明細(xì)日志檢索、海量事件告警的全棧觀測場景，解決用戶體驗(yàn)度量、業(yè)務(wù)故障感知、清晰故障定位、精準(zhǔn)故障告警、高效數(shù)據(jù)檢索等核心問題，全方位滿足客戶及時(shí)性、準(zhǔn)確性、輔助故障處置決策的可觀測需求。

產(chǎn)品具備以下亮點(diǎn)：

① 標(biāo)準(zhǔn)化

基于觀測場景完成觀測對象模型建模，規(guī)范觀測數(shù)據(jù)采集策略、指標(biāo)聚合算法、指標(biāo)檢測策略打通多維觀測數(shù)據(jù)（metric、trace、log）關(guān)聯(lián)映射關(guān)系，無縫對接CMDB構(gòu)建動(dòng)靜結(jié)合的觀測對象尋址，落地體系化、標(biāo)準(zhǔn)化觀測場景建模方法。

② 一體化

以觀測對象模型為經(jīng)絡(luò)建立從前端用戶體驗(yàn)分析、后端應(yīng)用性能分析、日志檢索、基礎(chǔ)監(jiān)控、事件告警的業(yè)務(wù)共識統(tǒng)一觀測視圖，無縫聯(lián)動(dòng)嘉為藍(lán)鯨故障自愈、應(yīng)用發(fā)布、容災(zāi)切換等運(yùn)維處置能力，實(shí)現(xiàn)觀測數(shù)據(jù)采集清洗、業(yè)務(wù)異常感知、故障事件告警、根因溯源排障、輔助運(yùn)維處置決策的觀測處置全生命周期閉環(huán)。

③ 智能化

基于行業(yè)縱深海量數(shù)據(jù)建模構(gòu)建豐富的AIOps智能觀測場景，覆蓋指標(biāo)異常檢測、資源容量預(yù)估、故障根因分析、專家知識沉淀、日志聚類等智能應(yīng)用場景。

④ 開放融合

兼容開源OpenTelemetry和藍(lán)鯨開源PaaS平臺，實(shí)現(xiàn)開放數(shù)據(jù)投遞、標(biāo)準(zhǔn)接口對接、自定義插件增強(qiáng)等開放性設(shè)計(jì)滿足客戶自主可控、自定義擴(kuò)展、安全審計(jì)合規(guī)要求。此外，單一產(chǎn)品具備獨(dú)立交付開放融合能力，支持與現(xiàn)有監(jiān)控、運(yùn)維工具能力打通。

2）解決方案核心優(yōu)勢

① 觀測體系融合構(gòu)建端到端全景觀測輔助決策分析

• 前后端應(yīng)用流量鏈路的打通：統(tǒng)一前后端鏈路唯一標(biāo)識實(shí)現(xiàn)前后端應(yīng)用流量鏈路串聯(lián)，清晰劃分前后端故障邊界；
• 應(yīng)用流量和與日志無縫關(guān)聯(lián)：每筆請求鏈路可自動(dòng)與日志明細(xì)進(jìn)行關(guān)聯(lián)綁定，當(dāng)發(fā)現(xiàn)錯(cuò)誤鏈路或耗時(shí)鏈路可分析關(guān)聯(lián)的日志明細(xì)打通排障最后一公里；
• 應(yīng)用流量和基礎(chǔ)資源聯(lián)動(dòng)：基于前端應(yīng)用鏈路鏈路+后端應(yīng)用流量鏈路+日志明細(xì)關(guān)聯(lián)閉環(huán)應(yīng)用層觀測體系，當(dāng)基于流量鏈路發(fā)現(xiàn)組件/實(shí)例宕機(jī)后可基于CMDB資源唯一標(biāo)識+實(shí)踐范圍下鉆至基礎(chǔ)資源組件/實(shí)例分析其指標(biāo)變化和日志明細(xì)分析故障根因，實(shí)現(xiàn)端到端觀測體系融合。

② 藍(lán)鯨運(yùn)維生態(tài)融合加速問題處置保障業(yè)務(wù)連續(xù)

發(fā)現(xiàn)問題是解決問題前置條件，基于告警中心可對分層觀測對象全量告警事件進(jìn)行告警治理（豐富、抑制、處置），通過告警中心作為觀測+運(yùn)維處置決策橋梁聯(lián)動(dòng)藍(lán)鯨強(qiáng)大運(yùn)維處置生態(tài)（ITSM、故障自愈、容災(zāi)切換、發(fā)布中心）實(shí)現(xiàn)故障高效恢復(fù)，有效保證業(yè)務(wù)連續(xù)穩(wěn)定。