隨著大模型技術的迅猛發(fā)展,檢索增強生成(RAG)已成為構建智能知識庫的核心方案。嘉為藍鯨OpsPilot依托RAG技術打造高效知識處理體系,提取與分塊拆分語義單元,為后續(xù)流程筑牢根基;Embedding及檢索將問題與知識庫中內容匹配定位。而如果把知識分塊比作櫻桃,Rerank就是分揀器:接收初步檢索到的知識“櫻桃”,再測量每顆櫻桃的直徑(相關性)和糖分(內容質量),從大到小排列送入LLM大模型的“果盤”,而排在需求數量之外的小顆粒、酸澀的櫻桃(低相關內容)則被分揀剔除。
01.Rerank原理與作用
1)Rerank在RAG流程中的生效機制與原理
在RAG流程中,經過前期的文檔提取分塊、Embedding向量化以及檢索步驟后,會初步篩選出一批與用戶問題相關的文本內容。然而,這些內容的相關性和質量參差不齊。Rerank此時介入,它基于特定的算法和模型,對初步檢索得到的文本集合進行重新排序,將最相關、最優(yōu)質的文本內容置于前列。通過“粗篩+精排”優(yōu)化檢索質量,為回答提供優(yōu)質基礎。
Rerank(重排序)的具體實現是通過機器學習模型,捕捉復雜語義(如一詞多義、隱含意圖),對初步檢索結果進行二次語義評估。具體步驟如下:
從而實現以下作用,優(yōu)化檢索結果:
02.OpsPilot中的Rerank模型
OpsPilot內置了bce-Reranker-base模型提供Rerank功能,對比其他Rerank模型,本模型的核心優(yōu)勢可總結為以下三點:
03.重排序打分效果
在OpsPilot的RAG過程中,Rerank在初步檢索結果的基礎上展開——Rerank模型接收初步檢索得到的文本集合與用戶問題,然后對每一個文本與問題的組合進行分析,通過多方面特征進行提取和比對,以分數形式展現各個組合的相關程度。最后,高分的文本會被優(yōu)先選取并與問題一起構成提示詞輸入到大語言模型中,輸出更精準、更有價值的答案。
04.嘉為藍鯨OpsPilot——更懂運維的AI平臺
嘉為藍鯨OpsPilot是集知識庫管理、技能配置、機器人管理及工具管理于一體的智能運維支撐平臺,深度融合LLM大模型的語義理解、知識增強與多模態(tài)處理能力,聚焦運維領域,突破單一LLM能力局限,成為更懂運維的智能AI平臺。
申請演示