隨著數(shù)字化轉(zhuǎn)型的深入，基于中臺(tái)和PaaS架構(gòu)的一體化運(yùn)維建設(shè)也在各行各業(yè)快速展開(kāi)，但是如何將運(yùn)維平臺(tái)本身的能力與企業(yè)已有的工具能力進(jìn)行中臺(tái)化整合、工具場(chǎng)景如何聯(lián)動(dòng)，是個(gè)復(fù)雜而龐大的工程。

01. 背景

華夏銀行圍繞“移動(dòng)化”、“開(kāi)放化”、“智能化“、”平臺(tái)化”制定了“智慧金融、數(shù)字華夏”的規(guī)劃愿景，但如何支撐華夏銀行整體的數(shù)字化轉(zhuǎn)型，更快地響應(yīng)前端的業(yè)務(wù)訴求，華夏銀行運(yùn)維團(tuán)隊(duì)面臨著大量新技術(shù)、新應(yīng)用、新架構(gòu)的挑戰(zhàn)：

為更好的支撐數(shù)字化轉(zhuǎn)型，華夏銀行明確運(yùn)維平臺(tái)化建設(shè)的目標(biāo)：圍繞自身業(yè)務(wù)特點(diǎn)，抽象運(yùn)維所需底層的能力，通過(guò)構(gòu)建通用能力的平臺(tái)，橫向覆蓋大家都認(rèn)知的監(jiān)、管、控各個(gè)領(lǐng)域，縱向支撐組織架構(gòu)的應(yīng)用管理、系統(tǒng)管理和網(wǎng)絡(luò)管理，實(shí)現(xiàn)：

• 最大化復(fù)用運(yùn)維的在權(quán)限、配置、自動(dòng)化、作業(yè)等通用能力構(gòu)建場(chǎng)景；而不是重復(fù)建設(shè)工具來(lái)支撐場(chǎng)景；
• 平臺(tái)具備整合場(chǎng)景的能力，可以通過(guò)運(yùn)維開(kāi)發(fā)等手段，將底層能力在上層場(chǎng)景需要時(shí)調(diào)用；
• 橫向在監(jiān)管控、縱向上在網(wǎng)絡(luò)、系統(tǒng)、應(yīng)用均可以支撐和響應(yīng)快速變化的業(yè)務(wù)需求；提供更好更快的運(yùn)維支持能力；

建設(shè)目標(biāo)明確后，我們基于藍(lán)鯨打造了屬于華夏銀行的平臺(tái)——iDo平臺(tái)?！癉o”有兩層含義：一是響應(yīng)平臺(tái)的理念，即“做”，而不僅僅是“說(shuō)”，提倡動(dòng)手實(shí)干；二是低成本的運(yùn)維開(kāi)發(fā)工具“DevOps”，摘取字母“D”和“o”。

基于藍(lán)鯨打造的iDo平臺(tái)，底層是管控平臺(tái)進(jìn)行運(yùn)維對(duì)象的統(tǒng)一納管，使工具平臺(tái)與運(yùn)維對(duì)象之間能夠建立有效連接，中間層為作業(yè)、配置、數(shù)據(jù)平臺(tái)為代表的運(yùn)維通用能力，除藍(lán)鯨自身的能力之外，也可以進(jìn)行能力的拓展和優(yōu)化將華夏原有的自動(dòng)化、運(yùn)維管理等能力融入進(jìn)來(lái)。以API為脈絡(luò)和紐帶，連接起平臺(tái)本身和周邊工具的能力和數(shù)據(jù)，達(dá)到場(chǎng)景貫通的目的。

同時(shí)，藍(lán)鯨通用的開(kāi)發(fā)框架可以支撐行內(nèi)依據(jù)自身需求開(kāi)發(fā)應(yīng)用工具，應(yīng)用工具的不斷建設(shè)也會(huì)反哺到能力中心，形成互相螺旋式提升狀態(tài)，能力會(huì)不斷地完善，場(chǎng)景會(huì)越來(lái)越豐富。

02. 基于藍(lán)鯨的運(yùn)維平臺(tái)化建設(shè)

1）平臺(tái)層統(tǒng)一對(duì)接

① 認(rèn)證掃碼

在引進(jìn)藍(lán)鯨之前銀行內(nèi)部已經(jīng)建設(shè)大量的運(yùn)維相關(guān)應(yīng)用和系統(tǒng)，引進(jìn)藍(lán)鯨平臺(tái)之后，首先要做的就是進(jìn)行人員組織架構(gòu)的對(duì)接、同步，并通過(guò)認(rèn)證掃碼登錄，通過(guò)與認(rèn)證系統(tǒng)（ITIL、企業(yè)微信等）做統(tǒng)一認(rèn)證、接入，目前可以實(shí)現(xiàn)通過(guò)掃碼的方式快速登陸平臺(tái)，同時(shí)行內(nèi)的統(tǒng)一的組織架構(gòu)信息，也給后續(xù)的權(quán)限管理提供了很多便利；

② 接入

目前生產(chǎn)運(yùn)維接入了300+的業(yè)務(wù)系統(tǒng)，納管了12000+主機(jī)。通過(guò)能力中心的建設(shè)，共有400+API，同時(shí)基于平臺(tái)通過(guò)場(chǎng)景建設(shè)了100+SaaS工具，并且這些規(guī)模數(shù)量還在不斷增加；

③ 消息

iDo通過(guò)和短信網(wǎng)關(guān)、企業(yè)微信等通知方式的對(duì)接，將日常運(yùn)維中的審批信息、告警信息、待辦信息等等都實(shí)現(xiàn)了移動(dòng)端的消息覆蓋，讓運(yùn)維人員即使人不在值班中心也不會(huì)漏下任何的故障和工作信息；

④ 企業(yè)級(jí)管理

華夏在全國(guó)有40多家一級(jí)分行，幾千個(gè)營(yíng)業(yè)網(wǎng)點(diǎn)，目前iDo以完成了從上到下的統(tǒng)一管理，這里面平臺(tái)的以業(yè)務(wù)劃分，統(tǒng)一管理又相互獨(dú)立的模式發(fā)揮了很大的作用，因?yàn)楦鞣中杏凶约旱倪\(yùn)維人員，統(tǒng)一管理便于總行的整體的運(yùn)營(yíng)明確下一步建設(shè)優(yōu)化方向，獨(dú)立的應(yīng)用又可以讓分行運(yùn)維人員依據(jù)實(shí)際的業(yè)務(wù)訴求進(jìn)行個(gè)性化的調(diào)整；

2）平臺(tái)化配置管理

配置管理在業(yè)內(nèi)是建設(shè)的難點(diǎn)。華夏銀行也有配置管理系統(tǒng)。在平臺(tái)化建設(shè)后：

首先，同步數(shù)據(jù)、模型。行內(nèi)重要的模型主要有業(yè)務(wù)系統(tǒng)、人員、IP等；

第二，進(jìn)行流程上的控制。對(duì)配置管理做了流程上的對(duì)接，包括設(shè)備的上下線(xiàn)，人員的調(diào)整等，保證配置管理的準(zhǔn)確性；

第三，改造原有CMBD API在用接口，統(tǒng)一封裝到API網(wǎng)關(guān)中，與藍(lán)鯨的CMDB功能一起做了統(tǒng)一的服務(wù)；

第四，數(shù)據(jù)消費(fèi)。數(shù)據(jù)消費(fèi)是目前CMDB建設(shè)的重點(diǎn)，通過(guò)強(qiáng)消費(fèi)、場(chǎng)景化的建設(shè)，對(duì)CMDB的數(shù)據(jù)進(jìn)行消費(fèi)。這也是一個(gè)循環(huán)的模式，即有些不準(zhǔn)確的CMDB數(shù)據(jù)，會(huì)通過(guò)消費(fèi)場(chǎng)景來(lái)反映CMDB的準(zhǔn)確性，確保CMDB數(shù)據(jù)的準(zhǔn)確；

第五，自動(dòng)采集項(xiàng)。自動(dòng)采集也是CMDB建設(shè)的重點(diǎn)，由于很多數(shù)據(jù)單靠靜態(tài)的管理，且沒(méi)有在消費(fèi)的場(chǎng)景里，容易導(dǎo)致數(shù)據(jù)采集不準(zhǔn)確。通過(guò)自動(dòng)采集插件反哺到CMDB中，從而確保數(shù)據(jù)采集的實(shí)時(shí)數(shù)據(jù)，實(shí)時(shí)反映CMDB的配置信息情況。同時(shí)通過(guò)可視化的展示不斷完善數(shù)據(jù)的準(zhǔn)確性以及數(shù)據(jù)采集插件，讓插件繼續(xù)豐富。

3）平臺(tái)化監(jiān)控管理

利用平臺(tái)能力補(bǔ)足監(jiān)控的不足，同時(shí)基于平臺(tái)統(tǒng)一的開(kāi)放能力，實(shí)現(xiàn)統(tǒng)一監(jiān)控的匯聚等等。

華夏銀行最早使用的監(jiān)控產(chǎn)品是IBM、ITM。隨著國(guó)產(chǎn)化趨勢(shì)，“去IOE”行動(dòng)，行內(nèi)業(yè)務(wù)系統(tǒng)需同步進(jìn)行信創(chuàng)化改造，使用國(guó)產(chǎn)化信創(chuàng)設(shè)備，因此銀行使用藍(lán)鯨監(jiān)控，去逐步替代ITM的基礎(chǔ)監(jiān)控，通過(guò)藍(lán)鯨對(duì)信創(chuàng)的基礎(chǔ)監(jiān)控實(shí)現(xiàn)統(tǒng)一納管。

除IBM、ITM基礎(chǔ)監(jiān)控外，還有：

• 藍(lán)鯨監(jiān)控、自定義監(jiān)控、撥測(cè)、日志、關(guān)鍵字等監(jiān)控，目前都在大規(guī)模使用；
• 云監(jiān)控，行內(nèi)自研的應(yīng)用監(jiān)控，是根據(jù)行內(nèi)的應(yīng)用監(jiān)控規(guī)范、基于藍(lán)鯨能力開(kāi)發(fā)的應(yīng)用監(jiān)控；
• 第三方監(jiān)控，比如APM監(jiān)控、端到端的監(jiān)控等。

行內(nèi)監(jiān)控極其分散，通過(guò)藍(lán)鯨統(tǒng)一的開(kāi)發(fā)框架，開(kāi)發(fā)了統(tǒng)一的告警中心。接入藍(lán)鯨監(jiān)控、存量的ITM監(jiān)控、云監(jiān)控及交易監(jiān)控，進(jìn)行統(tǒng)一的告警匯聚、分級(jí)、收斂、處置、通知等，即在平臺(tái)上集合了所有監(jiān)控，并具有可視化大屏展示。

統(tǒng)一監(jiān)控告警中心在華夏銀行服務(wù)臺(tái)以及各個(gè)項(xiàng)目組是一個(gè)非常受歡迎的產(chǎn)品。有了統(tǒng)一的告警的功能后，大家能夠及時(shí)地查看系統(tǒng)的運(yùn)行情況；同時(shí)基于統(tǒng)一告警進(jìn)行了根因定位、故障畫(huà)像等相關(guān)方面的研究，也已經(jīng)開(kāi)始投入應(yīng)用了。

4）雙Agent模式解決國(guó)產(chǎn)化自動(dòng)化難題

在自動(dòng)化（控）方面，華夏銀行原來(lái)的自動(dòng)化產(chǎn)品是用國(guó)外的BMC，在使用過(guò)程中會(huì)遇到國(guó)產(chǎn)化兼容的難題。通過(guò)藍(lán)鯨Agent、BMC Agent這種雙Agent模式，解決了國(guó)產(chǎn)化自動(dòng)化的難題。

在雙Agent模式下，通過(guò)藍(lán)鯨的自動(dòng)化能力去納管?chē)?guó)產(chǎn)化設(shè)備，并且兩種Agent同時(shí)運(yùn)行。雙Agent模式支持在業(yè)務(wù)無(wú)任何感知的情況下進(jìn)行國(guó)產(chǎn)化的替換，最大化兼容了穩(wěn)定性和自主可控的要求。

隨著國(guó)產(chǎn)化新設(shè)備的上線(xiàn)，銀行將圍繞業(yè)務(wù)生命周期，逐步切換到藍(lán)鯨Agent，同時(shí)保持用戶(hù)的使用習(xí)慣。目前已有30+套國(guó)產(chǎn)化架構(gòu)的業(yè)務(wù)系統(tǒng)通過(guò)藍(lán)鯨進(jìn)行自動(dòng)化投產(chǎn)和變更，未來(lái)將通過(guò)增量業(yè)務(wù)逐漸進(jìn)行替換，實(shí)現(xiàn)國(guó)產(chǎn)化的適配。

5）容器自動(dòng)化管理

行內(nèi)華為云X86、華為云ARM、道客云均是通過(guò)容器實(shí)現(xiàn)自動(dòng)化管理。每個(gè)容器云廠(chǎng)商有各自的管理模式，難以統(tǒng)一管理。通過(guò)容器的自動(dòng)化管理，可對(duì)不同廠(chǎng)商、不同架構(gòu)的容器云進(jìn)行統(tǒng)一的容器管理，包括應(yīng)用定義、多集群的納管集群的運(yùn)維、容器應(yīng)用的運(yùn)維等等。

典型的管理場(chǎng)景舉例介紹：

① 平臺(tái)化資源交付

平臺(tái)能力層有強(qiáng)大的開(kāi)發(fā)能力，能串聯(lián)自動(dòng)化、流程、CMDB三方面能力實(shí)現(xiàn)資源交付的申請(qǐng)。整個(gè)可視化的流程編排可以增加API、審批流程的管理，全部實(shí)現(xiàn)線(xiàn)上化審批。舉個(gè)簡(jiǎn)單的例子，堡壘機(jī)場(chǎng)景會(huì)增加主機(jī)、權(quán)限以及密碼托管等，只靠提單來(lái)完成資源交付會(huì)很繁瑣，但通過(guò)平臺(tái)化的資源交付，審計(jì)堡壘機(jī)時(shí)依托平臺(tái)的開(kāi)放能力，把API和審批流程串起來(lái)，在用戶(hù)申請(qǐng)后，堡壘機(jī)的管理員只需通過(guò)API加流程完成，替代手工操作，資源交付的效率大大地提升了。

另外，通過(guò)可視化方式呈現(xiàn)資源交付的成功率、交易量、交易類(lèi)別等多維度的數(shù)據(jù)，直觀呈現(xiàn)服務(wù)運(yùn)營(yíng)的價(jià)值，即平臺(tái)資源化。平臺(tái)資源化會(huì)有各種服務(wù)，現(xiàn)能通過(guò)平臺(tái)化的流程管理，實(shí)現(xiàn)可視化編排。

② 平臺(tái)能力中心可持續(xù)交付的服務(wù)

藍(lán)鯨加上企業(yè)自有系統(tǒng)服務(wù)的封裝，使得平臺(tái)層的內(nèi)容場(chǎng)景豐富，API流程控制、統(tǒng)計(jì)等能力增強(qiáng)。目前平臺(tái)能力中心主要的業(yè)務(wù)功能是能力的上傳、申請(qǐng)以及使用等。

首先，能力自定義、自服務(wù)上傳。如希望把原來(lái)第三方系統(tǒng)放到統(tǒng)一能力中心，那可通過(guò)能力中心的SaaS應(yīng)用，實(shí)現(xiàn)注冊(cè)、申請(qǐng)，最終上線(xiàn)到統(tǒng)一的能力中心。

第二，使用人員的申請(qǐng)。目前的使用人員不局限于運(yùn)維，也有部分的應(yīng)用運(yùn)維人員、系統(tǒng)運(yùn)維人員以及開(kāi)發(fā)人員，他們通過(guò)平臺(tái)能力中心，申請(qǐng)各自所需的能力，然后再去組裝SaaS應(yīng)用。

如下是接口授權(quán)調(diào)用的邏輯。在申請(qǐng)時(shí)SaaS相關(guān)的信息、使用申請(qǐng)、使用說(shuō)明、申請(qǐng)時(shí)限等都會(huì)反映到流程中，通過(guò)審批后會(huì)再反映到用戶(hù)的實(shí)際調(diào)動(dòng)中。

前端的使用統(tǒng)計(jì)。主要是統(tǒng)計(jì)成功率、使用次數(shù)、SaaS的調(diào)用使用量以及接口的使用量等。

6）一個(gè)iDo平臺(tái)可以帶來(lái)“百花齊放”, 平臺(tái)有100+SaaS工具

網(wǎng)絡(luò)層面是相對(duì)獨(dú)立、專(zhuān)業(yè)的運(yùn)維領(lǐng)域，分行的網(wǎng)絡(luò)告警是通過(guò)平臺(tái)提供服務(wù)。目前行內(nèi)網(wǎng)絡(luò)團(tuán)隊(duì)通過(guò)底層能力，將告警統(tǒng)一接入到平臺(tái)上，基于平臺(tái)開(kāi)發(fā)了SaaS服務(wù)。

在系統(tǒng)層面，藍(lán)鯨本身是應(yīng)用視角的平臺(tái)，而系統(tǒng)層面會(huì)注重整體視角。行內(nèi)通過(guò)賦予用戶(hù)權(quán)限，例如提供50套系統(tǒng)的權(quán)限，通過(guò)API對(duì)這50套系統(tǒng)獲取數(shù)據(jù)，再在這上面做一層以系統(tǒng)為視角的SaaS應(yīng)用?，F(xiàn)銀行的一些系統(tǒng)類(lèi)、數(shù)據(jù)庫(kù)統(tǒng)一管理的視角的SaaS，便是基于這個(gè)方式實(shí)現(xiàn)的。如數(shù)字魔方，TongEasy分析、GTP智能運(yùn)維，也都是系統(tǒng)層面統(tǒng)一運(yùn)維的SaaS應(yīng)用。

在應(yīng)用層面。交易的成功率、交易量、響應(yīng)時(shí)間、數(shù)據(jù)庫(kù)連接都是基于自研的云監(jiān)控去完成。核心/借記卡監(jiān)控也是屬于應(yīng)用監(jiān)控的范疇。

因此，我們是基于這一個(gè)平臺(tái)提供的統(tǒng)一能力，不斷地豐富各個(gè)層面的場(chǎng)景，從而實(shí)現(xiàn)華夏銀行的運(yùn)維平臺(tái)化的建設(shè)。

03. 經(jīng)驗(yàn)總結(jié)和未來(lái)的展望

引入藍(lán)鯨平臺(tái)后，從搭平臺(tái)框架、融合協(xié)同、場(chǎng)景拓展演進(jìn)，最終實(shí)現(xiàn)iDo平臺(tái)智能化。

通過(guò)本次平臺(tái)化建設(shè)，助力運(yùn)維價(jià)值升級(jí)：

① 打破傳統(tǒng)運(yùn)維的思維

通過(guò)平臺(tái)工具建設(shè)，解放運(yùn)維繁瑣的工作，實(shí)現(xiàn)運(yùn)維管理橫向擴(kuò)展，借助平臺(tái)能力實(shí)現(xiàn)原來(lái)難以實(shí)現(xiàn)的場(chǎng)景，提升自身的價(jià)值；

② 需求開(kāi)發(fā)周期迅速縮短

通過(guò)平臺(tái)快速試飛的應(yīng)用開(kāi)發(fā)場(chǎng)景，新的需求開(kāi)發(fā)周期會(huì)迅速縮短；

③ 迅速提升運(yùn)維人員能力

運(yùn)維不再是一個(gè)簡(jiǎn)單重復(fù)的工作，通過(guò)對(duì)平臺(tái)能力的抽象、平臺(tái)開(kāi)發(fā)框架的工具文化的賦能，運(yùn)維開(kāi)發(fā)對(duì)運(yùn)維人員是一條很好的轉(zhuǎn)型之路；

④ 為業(yè)務(wù)發(fā)展提供更多的決策依據(jù)

依靠騰訊藍(lán)鯨在運(yùn)維行業(yè)的引領(lǐng)，我行的金融運(yùn)維產(chǎn)品可以對(duì)外輸出，體現(xiàn)更高的價(jià)值。

運(yùn)維得天獨(dú)厚的一個(gè)優(yōu)勢(shì)，是我們能夠獲取實(shí)時(shí)的數(shù)據(jù)，更貼近地去體現(xiàn)業(yè)務(wù)的價(jià)值，并通過(guò)平臺(tái)化能力及快速開(kāi)發(fā)模式來(lái)輔助運(yùn)營(yíng)，為業(yè)務(wù)發(fā)展提供更多的決策依據(jù)。