01.前言

隨著云計(jì)算、分布式、微服務(wù)等前沿技術(shù)的廣泛應(yīng)用，現(xiàn)代IT系統(tǒng)架構(gòu)已經(jīng)從傳統(tǒng)的單體結(jié)構(gòu)演進(jìn)到分布式和云原生架構(gòu)。這種轉(zhuǎn)變雖然帶來(lái)了靈活性和擴(kuò)展性的顯著提升，但同時(shí)也極大地增加了企業(yè)IT運(yùn)維的復(fù)雜性，尤其是在構(gòu)建有效的可觀測(cè)性系統(tǒng)方面面臨著前所未有的挑戰(zhàn)。

• 全棧數(shù)據(jù)接入壁壘。在異構(gòu)組件（例如Kubernetes集群、國(guó)產(chǎn)化數(shù)據(jù)庫(kù)）間存在巨大適配差異，這不僅限制了數(shù)據(jù)的融合關(guān)聯(lián)，也使得人工開(kāi)發(fā)采集插件成為一項(xiàng)耗時(shí)且低效的工作。面對(duì)這一問(wèn)題，大模型通過(guò)其卓越的代碼生成能力，能夠自動(dòng)編寫(xiě)數(shù)據(jù)接入插件，完成數(shù)據(jù)格式清洗，極大提升了數(shù)據(jù)接入效率。
• 跨域根因分析低效。據(jù)統(tǒng)計(jì)，絕大部分的故障涉及數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)、應(yīng)用代碼等多個(gè)技術(shù)棧層面，人工排查通常需要切換使用5至8種不同的運(yùn)維工具才能找到原因。而大模型憑借其對(duì)多模態(tài)數(shù)據(jù)的理解能力、知識(shí)推理能力，則可以通過(guò)綜合分析來(lái)自不同領(lǐng)域的信息，快速鎖定問(wèn)題根源。
• 故障復(fù)盤(pán)難以落地，故障反復(fù)出現(xiàn)。對(duì)于那些在重啟后無(wú)法復(fù)現(xiàn)的故障，由于缺乏有效的根因追溯手段，容易造成隱患重復(fù)出現(xiàn)。大模型能夠通過(guò)對(duì)歷史數(shù)據(jù)的學(xué)習(xí)和理解，為這類(lèi)難以捉摸的問(wèn)題提供預(yù)防性建議，減少未來(lái)類(lèi)似事件的發(fā)生概率。

綜上所述，大模型技術(shù)以其獨(dú)特的優(yōu)勢(shì)，在應(yīng)對(duì)現(xiàn)代IT系統(tǒng)可觀測(cè)性挑戰(zhàn)中扮演著至關(guān)重要的角色。它不僅能幫助克服現(xiàn)有技術(shù)障礙，還能推動(dòng)企業(yè)向更加智能化的運(yùn)維模式轉(zhuǎn)型。大模型憑借多模態(tài)理解、代碼生成、知識(shí)推理能力，為上述問(wèn)題提供了突破性解決方案。

02.大模型在可觀測(cè)領(lǐng)域的應(yīng)用

借助嘉為藍(lán)鯨底座LLMOps開(kāi)發(fā)平臺(tái)，企業(yè)能夠快速對(duì)接異構(gòu)大模型，并利用其提供的智能體開(kāi)發(fā)框架，結(jié)合私域知識(shí)和觀測(cè)流數(shù)據(jù)，實(shí)現(xiàn)智能化運(yùn)維場(chǎng)景的快速擴(kuò)展。

通過(guò)智能編排與FunctionCall集成調(diào)度一體化運(yùn)維平臺(tái)的原子模塊（如調(diào)度中心、作業(yè)中心、資源中心、監(jiān)控中心、流程中心、操作中心等），顯著提升了可觀測(cè)系統(tǒng)的智能化水平，優(yōu)化了從故障檢測(cè)到復(fù)盤(pán)的完整運(yùn)維生命周期。企業(yè)不僅能夠?qū)崿F(xiàn)對(duì)復(fù)雜IT環(huán)境的高效管理，還能通過(guò)全流程的智能化支持，顯著提升系統(tǒng)穩(wěn)定性、縮短故障解決時(shí)間，并促進(jìn)運(yùn)維工作的持續(xù)優(yōu)化與智能化升級(jí)。

1）事前：預(yù)防與準(zhǔn)備

• 監(jiān)控檢測(cè)：實(shí)時(shí)監(jiān)控系統(tǒng)狀態(tài)和性能指標(biāo)，快速分析異常日志和告警，發(fā)現(xiàn)潛在問(wèn)題。
• 告警通知：在異常發(fā)生時(shí)，輔助值班，及時(shí)發(fā)送告警信息給相關(guān)人員或系統(tǒng)，確保快速響應(yīng)。
• 告警預(yù)案：輔助預(yù)先制定詳細(xì)的告警處理方案，涵蓋不同場(chǎng)景下的應(yīng)對(duì)措施，以便快速處置。

2）事中：分析與處置

• 告警根因：深入分析告警的根本原因，快速定位問(wèn)題源頭。
• 告警關(guān)聯(lián)：整合相關(guān)聯(lián)的告警信息，幫助全面理解問(wèn)題背景，便于更準(zhǔn)確地判斷狀況。
• 日志分析：對(duì)系統(tǒng)日志進(jìn)行深度解析，識(shí)別可能指向故障原因的關(guān)鍵線(xiàn)索。
• 故障影響：評(píng)估故障對(duì)業(yè)務(wù)和服務(wù)的具體影響范圍，確定優(yōu)先級(jí)。
• 故障定界：明確故障的具體邊界，區(qū)分受影響區(qū)域與正常運(yùn)行部分。
• 故障調(diào)度：根據(jù)故障性質(zhì)和需求，靈活調(diào)度資源，為故障處理提供必要支持。
• 故障處置：實(shí)施具體的故障處理措施，盡快恢復(fù)正常服務(wù)。
• 預(yù)案推薦：根據(jù)當(dāng)前情況推薦最適合的預(yù)設(shè)處理方案，加速?zèng)Q策過(guò)程。

3）事后：總結(jié)與優(yōu)化

• 故障復(fù)盤(pán)：回顧整個(gè)故障處理過(guò)程，識(shí)別成功之處和需要改進(jìn)的地方。
• 經(jīng)驗(yàn)總結(jié)：匯總每次故障處理的經(jīng)驗(yàn)教訓(xùn)，形成有價(jià)值的參考資料。
• 知識(shí)沉淀：將積累的知識(shí)自動(dòng)轉(zhuǎn)化為企業(yè)的內(nèi)部存儲(chǔ)，用于提升團(tuán)隊(duì)整體技術(shù)水平。
• 策略?xún)?yōu)化：基于學(xué)到的經(jīng)驗(yàn)，不斷優(yōu)化監(jiān)控策略，異常檢測(cè)更加準(zhǔn)確。
• 預(yù)案優(yōu)化：更新和完善現(xiàn)有的應(yīng)急預(yù)案，使其更加貼合實(shí)際情況。
• 告警治理：持續(xù)改進(jìn)告警機(jī)制，減少誤報(bào)和漏報(bào)，提高告警系統(tǒng)的可靠性和有效性。

4）大模型智能化運(yùn)維的關(guān)鍵支撐

• 私域知識(shí)庫(kù)建設(shè)：構(gòu)建一個(gè)包含企業(yè)特定信息和技術(shù)細(xì)節(jié)的知識(shí)庫(kù)，作為大模型訓(xùn)練和推理的基礎(chǔ)，增強(qiáng)智能體的精準(zhǔn)度和適用性。
• 觀測(cè)流數(shù)據(jù)整合：實(shí)時(shí)獲取并分析來(lái)自不同監(jiān)控源的數(shù)據(jù)流，確保對(duì)系統(tǒng)狀態(tài)的全面了解和即時(shí)響應(yīng)。
• LLMOps技術(shù)支持：通過(guò)LLMOps技術(shù)，在事前、事中、事后各階段實(shí)現(xiàn)高效故障管理，推動(dòng)運(yùn)維工作的智能化轉(zhuǎn)型。

03.場(chǎng)景說(shuō)明

小鯨觀測(cè)助手，是基于嘉為藍(lán)鯨LLMOps平臺(tái)，結(jié)合嘉為藍(lán)鯨全棧智能觀測(cè)中心，自主研發(fā)的一款基于大模型的觀測(cè)平臺(tái)輔助分析工具。

1）腳本插件自動(dòng)編寫(xiě)

大模型可解析自然語(yǔ)言指令自動(dòng)生成適配Prometheus格式的監(jiān)控腳本、Exporter等插件，嘉為藍(lán)鯨全棧智能觀測(cè)中心無(wú)縫兼容Prometheus 插件生態(tài)，通過(guò)小鯨觀測(cè)助手，可在服務(wù)器性能、數(shù)據(jù)庫(kù)&中間件指標(biāo)、API調(diào)用等多種場(chǎng)景自動(dòng)編寫(xiě)插件快速實(shí)現(xiàn)指標(biāo)獲取。

2）日志正則提取規(guī)則編寫(xiě)

大模型通過(guò)學(xué)習(xí)既有正則編寫(xiě)規(guī)則，自動(dòng)生成精準(zhǔn)的正則表達(dá)式模板。無(wú)論是多變的日志格式，還是多層嵌套結(jié)構(gòu)的數(shù)據(jù)字段，小鯨觀測(cè)助手都能快速識(shí)別規(guī)律，實(shí)現(xiàn)“輸入日志樣本→輸出解析規(guī)則”的自動(dòng)化閉環(huán)。

3）系統(tǒng)數(shù)據(jù)自動(dòng)查詢(xún)

傳統(tǒng)運(yùn)維工程師面對(duì)系統(tǒng)異常時(shí)，還在反復(fù)切換監(jiān)控平臺(tái)、日志平臺(tái)和SQL查詢(xún)工具進(jìn)行查詢(xún)和分析，而大模型技術(shù)正在重新定義數(shù)據(jù)交互方式，基于Function Call無(wú)縫連接系統(tǒng)數(shù)據(jù)，通過(guò)小鯨觀測(cè)助手，實(shí)現(xiàn)自然語(yǔ)言聊天式快速獲取系統(tǒng)數(shù)據(jù)，輔助異常分析。

4）日志劃詞智能解析

基于大模型技術(shù)的日志劃詞智能解析，通過(guò)小鯨觀測(cè)助手的語(yǔ)義理解與動(dòng)態(tài)優(yōu)化能力，實(shí)現(xiàn)日志數(shù)據(jù)的秒級(jí)解釋說(shuō)明與深度分析，助力企業(yè)高效挖掘數(shù)據(jù)價(jià)值。

5）告警智能知識(shí)推薦

基于內(nèi)置運(yùn)維知識(shí)庫(kù)，可以根據(jù)告警事件內(nèi)容結(jié)合知識(shí)庫(kù)找出相關(guān)聯(lián)的知識(shí)，并給與解決方案的推薦。同時(shí)可批量導(dǎo)入知識(shí)庫(kù)文件，基于用戶(hù)歷史經(jīng)驗(yàn)提供更豐富的解決方案；告警產(chǎn)生后智能匹配知識(shí)庫(kù)里的解決方案。

6）告警劃詞智能解析

運(yùn)維人員通常通過(guò)經(jīng)驗(yàn)或查找資料來(lái)處理告警事件，效率低下且耗時(shí)。可以通過(guò)小鯨觀測(cè)助手將問(wèn)題直接拋給大模型，基于知識(shí)庫(kù)和經(jīng)驗(yàn)，直接提供優(yōu)化解決方案。

7）告警根因智能分析

大模型技術(shù)通過(guò)融合多維算法引擎與全域關(guān)聯(lián)數(shù)據(jù)，重構(gòu)告警根因定位范式。基于Embed向量化、logreduce日志聚類(lèi)、知識(shí)圖譜拓?fù)渫评淼燃夹g(shù)，大模型可快速解析海量告警間的潛在關(guān)聯(lián)，結(jié)合時(shí)序預(yù)測(cè)與異常檢測(cè)識(shí)別異常波動(dòng)模式。同時(shí)，聯(lián)動(dòng)歷史告警庫(kù)、變更記錄、處置經(jīng)驗(yàn)等數(shù)據(jù)，構(gòu)建跨系統(tǒng)因果分析。這種“算法穿透+數(shù)據(jù)穿透”雙引擎，使系統(tǒng)能快速鎖定根因，并推薦處置方案，實(shí)現(xiàn)根因分析從經(jīng)驗(yàn)猜測(cè)邁向智能推演。

實(shí)現(xiàn)效果如下圖：

8）告警處置智能引導(dǎo)

結(jié)合預(yù)測(cè)性對(duì)話(huà)流與大模型，小鯨觀測(cè)助手能夠?qū)崿F(xiàn)對(duì)話(huà)智能引導(dǎo)，引導(dǎo)用戶(hù)完成智能提單引導(dǎo)、智能故障處置引導(dǎo)等場(chǎng)景：根據(jù)故障排查的場(chǎng)景，預(yù)設(shè)引導(dǎo)性場(chǎng)景，智能機(jī)器人識(shí)別關(guān)鍵字以后進(jìn)入引導(dǎo)場(chǎng)景，確保問(wèn)題能夠迅速被識(shí)別和解決。

實(shí)現(xiàn)效果如下圖：

04.前景展望

通過(guò)上述可觀測(cè)性與大模型結(jié)合的應(yīng)用場(chǎng)景，已經(jīng)充分展現(xiàn)了大模型在運(yùn)維領(lǐng)域的巨大潛力。展望未來(lái)，大模型的作用將不再局限于作為觀測(cè)的輔助工具，而是逐步邁向更高層次的智能化階段。

在不久的將來(lái)，大模型有望實(shí)現(xiàn)自主分析和定位問(wèn)題的能力，并能夠直接參與甚至主導(dǎo)問(wèn)題的解決過(guò)程。通過(guò)對(duì)觀測(cè)數(shù)據(jù)的深度學(xué)習(xí)和實(shí)時(shí)分析，大模型還能夠預(yù)測(cè)未來(lái)可能發(fā)生的潛在風(fēng)險(xiǎn)，提前發(fā)現(xiàn)隱患并采取預(yù)防措施，從而將問(wèn)題消滅在萌芽狀態(tài)。

這種進(jìn)化標(biāo)志著可觀測(cè)性從傳統(tǒng)的“發(fā)現(xiàn)問(wèn)題”向“快速處理問(wèn)題”再到“主動(dòng)預(yù)防問(wèn)題”的全面蛻變。大模型的引入不僅提升了系統(tǒng)運(yùn)維的效率和可靠性，還將推動(dòng)整個(gè)可觀測(cè)領(lǐng)域進(jìn)入一個(gè)全新的智能化時(shí)代——真正實(shí)現(xiàn)從事后響應(yīng)到事前預(yù)防的質(zhì)變，為企業(yè)構(gòu)建更加穩(wěn)定、高效、智能的IT環(huán)境奠定堅(jiān)實(shí)基礎(chǔ)。