隨著大模型技術(shù)的迅猛發(fā)展，檢索增強(qiáng)生成（RAG）已成為構(gòu)建智能知識(shí)庫(kù)的核心方案。嘉為藍(lán)鯨OpsPilot依托RAG技術(shù)打造高效知識(shí)處理體系，提取與分塊拆分語(yǔ)義單元，為后續(xù)流程筑牢根基；Embedding及檢索將問(wèn)題與知識(shí)庫(kù)中內(nèi)容匹配定位。而如果把知識(shí)分塊比作櫻桃，Rerank就是分揀器：接收初步檢索到的知識(shí)“櫻桃”，再測(cè)量每顆櫻桃的直徑（相關(guān)性）和糖分（內(nèi)容質(zhì)量），從大到小排列送入LLM大模型的“果盤”，而排在需求數(shù)量之外的小顆粒、酸澀的櫻桃（低相關(guān)內(nèi)容）則被分揀剔除。

01.Rerank原理與作用

1）Rerank在RAG流程中的生效機(jī)制與原理

在RAG流程中，經(jīng)過(guò)前期的文檔提取分塊、Embedding向量化以及檢索步驟后，會(huì)初步篩選出一批與用戶問(wèn)題相關(guān)的文本內(nèi)容。然而，這些內(nèi)容的相關(guān)性和質(zhì)量參差不齊。Rerank此時(shí)介入，它基于特定的算法和模型，對(duì)初步檢索得到的文本集合進(jìn)行重新排序，將最相關(guān)、最優(yōu)質(zhì)的文本內(nèi)容置于前列。通過(guò)“粗篩+精排”優(yōu)化檢索質(zhì)量，為回答提供優(yōu)質(zhì)基礎(chǔ)。

Rerank（重排序）的具體實(shí)現(xiàn)是通過(guò)機(jī)器學(xué)習(xí)模型，捕捉復(fù)雜語(yǔ)義（如一詞多義、隱含意圖），對(duì)初步檢索結(jié)果進(jìn)行二次語(yǔ)義評(píng)估。具體步驟如下：

從而實(shí)現(xiàn)以下作用，優(yōu)化檢索結(jié)果：

• 彌補(bǔ)語(yǔ)義短板：突破傳統(tǒng)檢索的表面匹配，找到“關(guān)鍵詞不同但意思相近”的優(yōu)質(zhì)內(nèi)容。
• 精準(zhǔn)篩選排序：通過(guò)多維度打分剔除低質(zhì)信息，讓檢索結(jié)果更聚焦用戶真實(shí)需求。
• 輸入內(nèi)容優(yōu)化：為大模型提供篩選排序后的高質(zhì)量文檔，降低回答偏差風(fēng)險(xiǎn)。

02.OpsPilot中的Rerank模型

OpsPilot內(nèi)置了bce-Reranker-base模型提供Rerank功能，對(duì)比其他Rerank模型，本模型的核心優(yōu)勢(shì)可總結(jié)為以下三點(diǎn)：

• 排序精準(zhǔn)性更強(qiáng)：通過(guò)大量對(duì)比“好內(nèi)容”和“差內(nèi)容”訓(xùn)練模型，讓模型更會(huì)判斷語(yǔ)義匹配度，打分更精準(zhǔn)，能識(shí)別出“堆砌關(guān)鍵詞但內(nèi)容無(wú)關(guān)”的假相關(guān)內(nèi)容。
• 輕量高效易部署：采用優(yōu)化的輕量化設(shè)計(jì)，在保持高性能的同時(shí)降低計(jì)算資源消耗，適配多種硬件環(huán)境，部署成本遠(yuǎn)低于同類深度學(xué)習(xí)模型。
• 泛化能力更優(yōu)：預(yù)訓(xùn)練覆蓋多領(lǐng)域數(shù)據(jù)，對(duì)運(yùn)維等專業(yè)場(chǎng)景的復(fù)雜查詢適配性強(qiáng)，可靈活處理自然語(yǔ)言的模糊表述，輸出穩(wěn)定可靠的重排序結(jié)果。

03.重排序打分效果

在OpsPilot的RAG過(guò)程中，Rerank在初步檢索結(jié)果的基礎(chǔ)上展開——Rerank模型接收初步檢索得到的文本集合與用戶問(wèn)題，然后對(duì)每一個(gè)文本與問(wèn)題的組合進(jìn)行分析，通過(guò)多方面特征進(jìn)行提取和比對(duì)，以分?jǐn)?shù)形式展現(xiàn)各個(gè)組合的相關(guān)程度。最后，高分的文本會(huì)被優(yōu)先選取并與問(wèn)題一起構(gòu)成提示詞輸入到大語(yǔ)言模型中，輸出更精準(zhǔn)、更有價(jià)值的答案。

04.嘉為藍(lán)鯨OpsPilot——更懂運(yùn)維的AI平臺(tái)

嘉為藍(lán)鯨OpsPilot是集知識(shí)庫(kù)管理、技能配置、機(jī)器人管理及工具管理于一體的智能運(yùn)維支撐平臺(tái)，深度融合LLM大模型的語(yǔ)義理解、知識(shí)增強(qiáng)與多模態(tài)處理能力，聚焦運(yùn)維領(lǐng)域，突破單一LLM能力局限，成為更懂運(yùn)維的智能AI平臺(tái)。