01. 傳統(tǒng)監(jiān)控與可觀測差異

傳統(tǒng)監(jiān)控體系是面向靜態(tài)資源通過主動(dòng)撥測方式構(gòu)建的時(shí)序監(jiān)控指標(biāo)視圖，其前置條件需要明確觀測對(duì)象及觀測指標(biāo)，基于指標(biāo)體系工程師能夠了解哪些系統(tǒng)是確定工作的。在云原生觀測場景下指標(biāo)覆蓋不全、業(yè)務(wù)侵入性大、數(shù)據(jù)關(guān)聯(lián)性差、缺乏基于業(yè)務(wù)視角異常感知機(jī)制等問題凸顯，傳統(tǒng)監(jiān)控能力難以適應(yīng)云原生架構(gòu)動(dòng)態(tài)變化、服務(wù)依賴復(fù)雜、信息組織多樣的現(xiàn)實(shí)問題，無法從全業(yè)務(wù)流量鏈路上有效定位問題，故障處置不及時(shí)整體業(yè)務(wù)連續(xù)性遇到較大挑戰(zhàn)。

云原生觀測體系通過多維觀測數(shù)據(jù)鏈路trace、時(shí)序指標(biāo)metric、日志明細(xì)log進(jìn)行有機(jī)融合構(gòu)建體系化觀測體系，通過無侵入采集動(dòng)態(tài)插碼技術(shù)降低業(yè)務(wù)觀測成本。同時(shí)提供豐富的業(yè)務(wù)應(yīng)用視角的觀測手段包括依賴分析、性能剖析、故障排錯(cuò)及根因定位，實(shí)現(xiàn)從被動(dòng)感知到主動(dòng)觀測、從被動(dòng)響應(yīng)到主動(dòng)觀測體系建設(shè)的思維模式轉(zhuǎn)變，從而達(dá)到了解已知、防范風(fēng)險(xiǎn)、探索未知的觀測目標(biāo)。

監(jiān)控可類比中醫(yī)基于脈搏時(shí)序檢測依賴人為經(jīng)驗(yàn)判斷，依賴經(jīng)驗(yàn)豐富的工程師；可觀測類比西醫(yī)，通過各種觀測手段rum、apm、日志、基礎(chǔ)監(jiān)控構(gòu)建全量觀測體系白盒診斷，讓醫(yī)生對(duì)系統(tǒng)實(shí)時(shí)進(jìn)行全面體檢，發(fā)現(xiàn)問題所在。

02. 云原生時(shí)代應(yīng)用可觀測問題

云原生應(yīng)用架構(gòu)在落地敏捷開發(fā)、快速迭代、彈性伸縮的同時(shí)將原有的單體應(yīng)用拆分成多個(gè)獨(dú)立部署相互通信的組合應(yīng)用，應(yīng)用數(shù)量指數(shù)增長業(yè)務(wù)模塊間的依賴關(guān)系錯(cuò)綜復(fù)雜，不同業(yè)務(wù)層級(jí)不同維度難以建立實(shí)時(shí)有效關(guān)聯(lián)的映射關(guān)系；同時(shí)，隨著容器頻繁啟停監(jiān)控對(duì)象及其指標(biāo)變化成為常態(tài)故障現(xiàn)場難以留存、故障問題難以有效定位。以上云原生架構(gòu)的觀測難點(diǎn)給應(yīng)用運(yùn)維的故障分析、根因定位、業(yè)務(wù)連續(xù)穩(wěn)定帶來嚴(yán)峻挑戰(zhàn)。云原生應(yīng)用觀測難點(diǎn)概述為以下兩點(diǎn)：

1）信息維度復(fù)雜，難以建立多維數(shù)據(jù)關(guān)聯(lián)映射關(guān)系

云原生應(yīng)用的監(jiān)控度量涉及應(yīng)用進(jìn)程、中間件、容器編排平臺(tái)、容器進(jìn)程、資源基礎(chǔ)設(shè)施等相關(guān)層級(jí)資源屬性和性能指標(biāo)；其次，應(yīng)用排障及性能剖析涉及多個(gè)服務(wù)、多個(gè)組件復(fù)雜交互關(guān)系，需根據(jù)請(qǐng)求鏈路依賴關(guān)系分析故障根因。

2）架構(gòu)動(dòng)態(tài)變化，故障現(xiàn)場難以留存問題難以定位

伴隨業(yè)務(wù)規(guī)模和復(fù)雜度提升需要對(duì)服務(wù)不斷進(jìn)行拆分，軟件架構(gòu)的變化成為常態(tài)；容器部署架構(gòu)基于聲明式面向終態(tài)的設(shè)計(jì)思想，部署資源實(shí)例對(duì)象變更頻繁，服務(wù)節(jié)點(diǎn)飄逸成為常態(tài)。基于多維明細(xì)數(shù)據(jù)和指標(biāo)數(shù)據(jù)關(guān)聯(lián)映射構(gòu)建的運(yùn)行時(shí)觀測分析矩陣能有效回溯歷史故障現(xiàn)場。

03. 云原生觀測體系核心建設(shè)路徑

1）統(tǒng)一觀測模型、建立觀測標(biāo)準(zhǔn)

面向云原生體系下不同的觀測組件、多維的觀測數(shù)據(jù)汗牛充棟，如何將不同的觀測組件和觀測數(shù)據(jù)進(jìn)行有機(jī)融合建立統(tǒng)一觀測模型、構(gòu)建觀測標(biāo)準(zhǔn)是建立云原生觀測體系首要解決的核心問題。Peter Bourgon 在2017年2月撰寫了一篇簡明扼要的文章， 叫 “Metrics, tracing, and logging” 首次提出可觀測的三大支柱將觀測數(shù)據(jù)按數(shù)據(jù)類型和應(yīng)用場景劃分為鏈路數(shù)據(jù) trace 、時(shí)序指標(biāo)數(shù)據(jù) metric、明細(xì)日志文本數(shù)據(jù)log 。鏈路數(shù)據(jù)trace基于特定標(biāo)識(shí)提供單筆請(qǐng)求的全量調(diào)用路徑自動(dòng)構(gòu)建系統(tǒng)運(yùn)行時(shí)軟件架構(gòu)，提供清晰排障路徑。時(shí)序指標(biāo)數(shù)據(jù) metric 是用戶觀測系統(tǒng)狀態(tài)和變化趨勢，基于數(shù)據(jù)波動(dòng)可有效發(fā)現(xiàn)異常，但無法用于根因定位。明細(xì)日志文本數(shù)據(jù) log 應(yīng)用運(yùn)行過程的現(xiàn)場留存，保留完整業(yè)務(wù)執(zhí)行明細(xì)，是業(yè)務(wù)排障主要來源。如何將三者進(jìn)行有機(jī)統(tǒng)一，相互融合打造統(tǒng)一觀測體系，核心分為以下三點(diǎn)：

① 統(tǒng)一觀測對(duì)象建模

建立全局統(tǒng)一觀測對(duì)象模型（可基于CMDB），構(gòu)建多維業(yè)務(wù)對(duì)象級(jí)聯(lián)關(guān)系，方便數(shù)據(jù)的定位尋址。

② 數(shù)據(jù)關(guān)聯(lián)打標(biāo)

在日志明細(xì)中埋入traceid和spanid，metric指標(biāo)上報(bào)埋入業(yè)務(wù)對(duì)象標(biāo)簽。

③ 構(gòu)建時(shí)間范圍統(tǒng)計(jì)關(guān)系

提供基于時(shí)間統(tǒng)計(jì)維度依賴對(duì)象間的下鉆分析能力

呈現(xiàn)效果：

2）構(gòu)建以應(yīng)用為中心的性能評(píng)估模型

不同維度的觀測數(shù)據(jù)統(tǒng)一接入后需要對(duì)數(shù)據(jù)進(jìn)行清洗、關(guān)聯(lián)、聚合，構(gòu)建以應(yīng)用為中心將trace、metric、log多維數(shù)據(jù)融合的應(yīng)用性能評(píng)價(jià)體系，從而基于業(yè)務(wù)視角統(tǒng)一性能評(píng)價(jià)標(biāo)準(zhǔn)主動(dòng)發(fā)現(xiàn)性能瓶頸、快速感知故障、高效故障恢復(fù)，保障應(yīng)用系統(tǒng)連續(xù)穩(wěn)定。

3）挖掘持續(xù)觀測運(yùn)維決策反饋的應(yīng)用場景

以應(yīng)用為中心將性能指標(biāo)、運(yùn)行日志、服務(wù)事件、請(qǐng)求鏈路進(jìn)行統(tǒng)計(jì)聚合、關(guān)聯(lián)分析、建立服務(wù)全景觀測中樞，實(shí)現(xiàn)服務(wù)性能度量、預(yù)測，提供故障根因及性能分析依據(jù)。聯(lián)動(dòng)標(biāo)準(zhǔn)運(yùn)維能力及AI賦能加持，基于性能觀測度量結(jié)果構(gòu)建清晰運(yùn)維決策鏈路，聯(lián)動(dòng)應(yīng)用發(fā)布、故障處置、容災(zāi)演練、服務(wù)治理構(gòu)建持續(xù)觀測、優(yōu)化改進(jìn)的雙向閉環(huán)反饋機(jī)制，保障系統(tǒng)連續(xù)穩(wěn)定。