前言在模塊化RAGRetrieval-Augmented Generation設計中各種操作模式通過模塊化的方式協(xié)同工作形成了一個名為RAG流的工作流程。這個RAG流可以被視為由多個子函數(shù)組成的圖形結構。通過控制邏輯這些子函數(shù)會按預定的順序執(zhí)行同時也能根據(jù)需求進行條件判斷、分支或循環(huán)。這種模塊化特性讓RAG系統(tǒng)能夠靈活應對不同的應用場景并且提升了系統(tǒng)的設計效率和擴展性。在分析現(xiàn)有的RAG方法時我們可以看到模塊化的結構使得RAG系統(tǒng)可以在處理復雜任務時更具適應性。本章將詳細介紹幾種常見的RAG模式包括線性模式在這個模式下各個模塊按順序依次執(zhí)行每個步驟的輸出作為下一個步驟的輸入適用于順序性較強的任務。條件模式根據(jù)特定的條件選擇性地執(zhí)行不同的模塊操作。這個模式能夠處理具有分支或選擇性的任務。分支模式與條件模式類似但它更多地用于任務中涉及多個并行處理路徑的場景。循環(huán)模式當某些操作需要重復執(zhí)行時循環(huán)模式便會派上用場。它適合那些需要反復處理相似任務的應用。通過這些模式的結合RAG系統(tǒng)不僅能夠高效地處理多樣化的任務需求還可以在面對復雜任務時保持靈活性與擴展性。1 線性模式在RAG系統(tǒng)中線性模式是最簡單且最常見的工作流模式。其核心流程包括幾個主要模塊預檢索Pre-Retrieval、檢索、后檢索Post-Retrieval和生成模塊。這些模塊按順序依次進行處理如圖示。值得注意的是當預檢索和檢索后處理模塊缺失時線性模式會簡化為一種稱為樸素檢索增強生成Naive RAG的基本范式僅包含檢索和生成過程。為了提升生成的質量常見的線性RAG流通過以下幾個步驟優(yōu)化預檢索階段這一階段引入了查詢變換模塊通常采用查詢重寫或者隱式文檔擴展HyDE等操作符。通過這些變換查詢能夠更好地適應檢索需求提高檢索的相關性。檢索階段在這一階段系統(tǒng)通過檢索工具如BM25從外部知識庫中獲取與重寫后的查詢高度相關的文檔或上下文信息。后檢索階段檢索結果進一步優(yōu)化通常通過排序模塊對檢索的結果進行調整使得最終選出的文檔最能滿足生成需求。生成模塊最終通過生成模型例如GPT或T5等處理優(yōu)化后的文檔上下文產生高質量的回答或生成內容。一個典型的線性RAG流模式是“重寫-檢索-閱讀Rewrite-Retrieve-ReadRRR”方法。該方法在預檢索階段引入了一個查詢重寫模塊。這個模塊基于T5-large模型的微調版本并通過強化學習框架進行優(yōu)化將查詢重寫過程建模為馬爾可夫決策過程MDP。在這個過程中查詢重寫模塊的輸出質量被視為獎勵信號強化學習算法通過策略梯度方法來調整和優(yōu)化生成的查詢從而確保查詢更符合檢索任務的需求。這種方式提升了檢索的效率并進一步改善了生成結果的效果。在檢索階段RRR方法使用了稀疏編碼模型如BM25進行檢索從外部知識庫中獲取與重寫后的查詢相關的文檔進一步增強了系統(tǒng)生成內容的準確性和可靠性。通過這樣的設計線性模式的RAG流不僅提高了生成質量還能在實際應用中實現(xiàn)高效的知識提取和生成。2 條件模式條件模式是一種靈活的RAG流模式其核心特點是在不同的條件下選擇不同的工作流以便針對特定場景進行優(yōu)化。這種模式的關鍵在于一個路由模塊Routing Module該模塊根據(jù)輸入問題的特性動態(tài)選擇接下來的處理流程如下圖所示。具體來說當系統(tǒng)接收到不同類型的問題時它會根據(jù)預設的條件或規(guī)則決定如何處理。例如對于涉及嚴肅議題、政治話題或娛樂內容等不同類型的問題系統(tǒng)會自動切換到不同的處理流程。這種動態(tài)路由機制顯著提升了系統(tǒng)處理多樣化任務的能力使得系統(tǒng)能夠靈活應對各種復雜場景。條件模式的分支流主要體現(xiàn)在以下幾個方面檢索來源系統(tǒng)會根據(jù)問題的性質選擇不同的檢索來源。例如對于嚴肅問題系統(tǒng)可能會選擇更可靠的、權威性的來源而對于娛樂性問題則可能選擇更多元或創(chuàng)意性的資料。流程選擇針對不同任務的需求條件模式可能會調整流程的細節(jié)控制模塊的順序、執(zhí)行的操作甚至是否進行一些后處理。模型配置不同類型的問題可能需要不同的模型配置。比如嚴肅問題可能使用更精確、保守的模型而娛樂類問題則可能使用更具創(chuàng)意性和生成自由度的模型。提示設計根據(jù)任務的性質系統(tǒng)的提示設計Prompt Design也會有所不同。對于嚴肅問題提示可能會更為規(guī)范和嚴格而對于娛樂類問題提示可能會更具開放性和靈活性。舉個例子對于嚴肅性較高的問題如法律、健康、政治等系統(tǒng)可能會選擇更加可靠的檢索來源并對生成的內容設置嚴格的約束確保信息的準確性和權威性。而對于娛樂類的問題如電影、游戲、搞笑等系統(tǒng)則可以容忍更多的創(chuàng)意和不拘一格的生成提供富有娛樂性和趣味性的回答。通過這種方式條件模式能夠根據(jù)任務的需求動態(tài)調整RAG各個組件確保生成的回答既符合場景需求又保持高相關性和準確性。這種靈活性使得條件模式在處理多樣化、復雜性高的任務時具有顯著的優(yōu)勢能夠有效提升系統(tǒng)的適應能力和輸出質量。3 分支模式分支模式是RAGRetrieval-Augmented Generation系統(tǒng)中一種增加結果多樣性和魯棒性的重要設計方式。它通過并行運行多個分支來生成多樣化的結果從而提升系統(tǒng)的性能和準確性。具體來說分支模式在某個模塊中生成多個并行的分支每個分支可以獨立執(zhí)行相同或不同的RAG流程。這些分支通常由多個處理模塊組成每個模塊生成各自的結果。然后這些分支的結果會通過一個聚合函數(shù)合并成一個中間輸出結果。值得注意的是合并后的結果不一定意味著流程的結束它們還可以傳遞到后續(xù)模塊如驗證模塊進行進一步處理。整體流程從生成多個分支、獨立處理、到結果聚合形成了一個完整的流水線。與條件模式不同分支模式的特點在于同時并行運行多個分支而不是從多個選項中選擇一個分支。這使得分支模式能夠同時從多個角度進行處理生成更加豐富和多樣化的結果。分支模式的結構類型根據(jù)任務需求分支模式可以設計為不同的結構通常分為兩種類型預檢索分支模式Pre-Retrieval Branching這種模式通過生成多個子查詢并并行檢索旨在提高檢索的全面性和生成結果的多樣性。具體流程是首先通過查詢擴展模塊將初始查詢擴展為多個子查詢。每個子查詢然后通過檢索模塊獲取相關文檔形成文檔集合。這些文檔和相應的子查詢一同送入生成模塊產生多個答案集合。最終所有生成的答案通過融合模塊進行整合形成最終的結果。這種模式的優(yōu)勢在于它能夠從多個角度挖掘潛在信息增強生成結果的覆蓋度和準確性。它特別適用于需要廣泛搜索和多角度生成的任務。后檢索分支模式Post-Retrieval Branching該模式從單一查詢開始首先通過檢索模塊獲取多個文檔塊。然后每個文檔塊被獨立送入生成模塊進行處理生成對應的結果集合。這些結果最終會通過合并模塊整合形成最終輸出。與預檢索分支模式不同后檢索分支模式的特點在于它通過單一查詢進行檢索而并行生成則集中在對不同文檔塊的獨立處理上。這個模式非常適合那些需要從同一查詢結果中挖掘多角度信息的場景能更好地利用檢索到的內容提升生成結果的多樣性和質量。分支模式的優(yōu)勢通過并行執(zhí)行多個分支分支模式能夠從多個角度生成和整合信息極大地提升了系統(tǒng)的生成能力和結果質量。它特別適合于處理復雜場景和多任務需求可以為不同的應用場景提供更加多樣和精準的答案。因此分支模式在多任務處理和復雜場景中具有顯著的優(yōu)勢。4 循環(huán)模式循環(huán)模式是RAGRetrieval-Augmented Generation系統(tǒng)中一種重要的設計方式其核心特點是檢索與生成步驟之間的相互依賴性。通過引入一個調度模塊來控制流程循環(huán)模式確保系統(tǒng)可以根據(jù)任務需求在不同模塊之間重復執(zhí)行某些操作。這使得循環(huán)模式可以不斷優(yōu)化流程中的步驟提升任務的最終效果。循環(huán)模式的基本原理循環(huán)模式可以抽象為一個有向圖圖中的節(jié)點代表系統(tǒng)中的各個模塊邊則表示模塊之間的控制流或數(shù)據(jù)流。當某個模塊的輸出能夠返回到之前的模塊時系統(tǒng)就形成了一個循環(huán)結構。這樣的設計讓系統(tǒng)可以根據(jù)需要在某些步驟之間來回循環(huán)以不斷優(yōu)化結果直到達到理想的效果。判斷模塊在循環(huán)模式中判斷模塊Judge Module起到了關鍵作用。它用于決定系統(tǒng)是否需要返回到前一個模塊或者是否繼續(xù)向下執(zhí)行。例如在每一次生成或檢索之后判斷模塊可以根據(jù)當前的輸出結果、歷史數(shù)據(jù)、查詢和檢索到的文檔來決定是否繼續(xù)迭代。如果決定返回流程就會進行循環(huán)如果決定不返回流程則繼續(xù)向前執(zhí)行。這樣系統(tǒng)能夠根據(jù)當前任務的情況動態(tài)調整整個流程。循環(huán)模式的類型循環(huán)模式可以進一步細分為三種類型迭代型循環(huán)模式、遞歸型循環(huán)模式和自適應型主動型循環(huán)模式。每種模式都適用于不同的場景提供了靈活的處理方式。迭代型循環(huán)模式迭代型循環(huán)模式通過多次執(zhí)行檢索和生成操作在每次迭代中逐步優(yōu)化結果。如下圖所示在每一步迭代中系統(tǒng)根據(jù)當前的查詢和之前的輸出結果來檢索相關文檔然后使用這些文檔生成新的輸出。迭代過程通常會設置一個最大迭代次數(shù)的限制以避免出現(xiàn)無限循環(huán)。在每次迭代后判斷模塊會根據(jù)當前的生成結果、歷史輸出、查詢和檢索到的文檔來決定是否繼續(xù)迭代。迭代型模式非常適合那些需要逐步收集信息并動態(tài)調整的任務能夠逐漸完善對復雜問題的回答。遞歸型循環(huán)模式遞歸型循環(huán)模式則是一種具有明顯依賴性和層次性的檢索方式如圖所示。每一步操作都依賴于前一步的輸出并通過不斷深化檢索過程逐步獲取更深入的信息。遞歸型模式通常遵循類似樹狀結構的模式每次檢索會基于改寫后的查詢進一步展開以精確定位所需的知識。遞歸型檢索具有明確的退出機制以確保在達到終止條件時流程停止從而避免無限遞歸。此模式適用于需要分步推理或逐層分析的任務能夠深入挖掘相關信息并生成高質量的回答。自適應型主動型循環(huán)模式自適應型循環(huán)模式是一種超越傳統(tǒng)被動檢索的方式得益于大語言模型強大的能力。如圖9.16所示自適應型模式的核心思想是通過智能體的方式動態(tài)調整檢索流程主動決定何時進行檢索何時終止流程并生成最終結果。這種模式與傳統(tǒng)的固定流程不同具有更高的靈活性和智能性。它能夠實時根據(jù)任務的需求調整策略判斷最佳的執(zhí)行路徑。自適應型檢索通常通過兩種方法來進一步細分一是基于提示的方法通過設計動態(tài)提示來引導模型的檢索二是基于指令微調的方法通過微調模型來實現(xiàn)更精準的檢索控制。自適應型模式特別適用于復雜任務或動態(tài)信息需求的場景能夠提升檢索效率和生成質量。循環(huán)模式的優(yōu)勢通過引入循環(huán)結構循環(huán)模式能夠讓系統(tǒng)在檢索與生成的過程中不斷優(yōu)化逐步提升任務的完成效果。無論是迭代型的逐步改進還是遞歸型的深度推理或是自適應型的智能控制循環(huán)模式都為RAG系統(tǒng)提供了強大的靈活性和處理能力能夠在面對復雜問題時進行更精確的調整和優(yōu)化從而提升生成結果的質量和準確性。最后為什么要學AI大模型當下??智能市場迎來了爆發(fā)期并逐漸進?以??通?智能AGI為主導的新時代。企業(yè)紛紛官宣“ AI ”戰(zhàn)略為新興技術?才創(chuàng)造豐富的就業(yè)機會?才缺?將達 400 萬DeepSeek問世以來生成式AI和大模型技術爆發(fā)式增長讓很多崗位重新成了炙手可熱的新星崗位薪資遠超很多后端崗位在程序員中穩(wěn)居前列。與此同時AI與各行各業(yè)深度融合飛速發(fā)展成為炙手可熱的新風口企業(yè)非常需要了解AI、懂AI、會用AI的員工紛紛開出高薪招聘AI大模型相關崗位。最近很多程序員朋友都已經學習或者準備學習 AI 大模型后臺也經常會有小伙伴咨詢學習路線和學習資料我特別拜托北京清華大學學士和美國加州理工學院博士學位的魯為民老師給大家這里給大家準備了一份涵蓋了AI大模型入門學習思維導圖、精品AI大模型學習書籍手冊、視頻教程、實戰(zhàn)學習等錄播視頻全系列的學習資料這些學習資料不僅深入淺出而且非常實用讓大家系統(tǒng)而高效地掌握AI大模型的各個知識點。這份完整版的大模型 AI 學習資料已經上傳CSDN朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費】AI大模型系統(tǒng)學習路線在面對AI大模型開發(fā)領域的復雜與深入精準學習顯得尤為重要。一份系統(tǒng)的技術路線圖不僅能夠幫助開發(fā)者清晰地了解從入門到精通所需掌握的知識點還能提供一條高效、有序的學習路徑。但知道是一回事做又是另一回事初學者最常遇到的問題主要是理論知識缺乏、資源和工具的限制、模型理解和調試的復雜性在這基礎上找到高質量的學習資源不浪費時間、不走彎路又是重中之重。AI大模型入門到實戰(zhàn)的視頻教程項目包看視頻學習是一種高效、直觀、靈活且富有吸引力的學習方式可以更直觀地展示過程能有效提升學習興趣和理解力是現(xiàn)在獲取知識的重要途徑光學理論是沒用的要學會跟著一起敲要動手實操才能將自己的所學運用到實際當中去這時候可以搞點實戰(zhàn)案例來學習。海量AI大模型必讀的經典書籍PDF閱讀AI大模型經典書籍可以幫助讀者提高技術水平開拓視野掌握核心技術提高解決問題的能力同時也可以借鑒他人的經驗。對于想要深入學習AI大模型開發(fā)的讀者來說閱讀經典書籍是非常有必要的。600AI大模型報告實時更新這套包含640份報告的合集涵蓋了AI大模型的理論研究、技術實現(xiàn)、行業(yè)應用等多個方面。無論您是科研人員、工程師還是對AI大模型感興趣的愛好者這套報告合集都將為您提供寶貴的信息和啟示。AI大模型面試真題答案解析我們學習AI大模型必然是想找到高薪的工作下面這些面試題都是總結當前最新、最熱、最高頻的面試題并且每道題都有詳細的答案面試前刷完這套面試題資料小小offer不在話下這份完整版的大模型 AI 學習資料已經上傳CSDN朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費】