用開(kāi)發(fā)的工程化范式演進(jìn)與實(shí)踐)
1. 從“工具”到“駕馭”AI應(yīng)用范式的根本性轉(zhuǎn)變?nèi)绻阕罱陉P(guān)注AI領(lǐng)域尤其是那些真正在用它解決實(shí)際業(yè)務(wù)問(wèn)題的團(tuán)隊(duì)可能會(huì)頻繁聽(tīng)到一個(gè)詞Harness Engineering。它不像Prompt Engineering提示詞工程那樣已經(jīng)有一套相對(duì)成熟的方法論和社區(qū)共識(shí)。Harness Engineering更像是一個(gè)正在浮現(xiàn)的共識(shí)一種新的實(shí)踐哲學(xué)。簡(jiǎn)單來(lái)說(shuō)它標(biāo)志著我們看待和使用AI的方式正在從“如何讓AI更好地回答問(wèn)題”轉(zhuǎn)向“如何讓AI可靠地、自主地完成復(fù)雜任務(wù)”。過(guò)去兩年我們經(jīng)歷了從ChatGPT帶來(lái)的“對(duì)話式AI”狂歡到越來(lái)越多開(kāi)發(fā)者嘗試將大語(yǔ)言模型LLM集成到工作流中。最初的興奮點(diǎn)在于“它能理解我”我們熱衷于研究如何寫(xiě)出更好的提示詞Prompt讓模型生成更準(zhǔn)確、更符合格式的答案。這催生了Prompt Engineering這門(mén)“手藝”。但很快當(dāng)人們?cè)噲D用這些模型去處理真實(shí)世界的業(yè)務(wù)流程時(shí)——比如自動(dòng)分析財(cái)報(bào)、處理客戶工單、生成并執(zhí)行代碼——問(wèn)題接踵而至。模型會(huì)“胡言亂語(yǔ)”幻覺(jué)會(huì)不穩(wěn)定會(huì)卡在某個(gè)步驟上更無(wú)法處理需要多步驟推理、調(diào)用外部工具、或長(zhǎng)期維護(hù)狀態(tài)的任務(wù)。Harness Engineering直譯為“駕馭工程”或“控制工程”正是為了解決這些問(wèn)題而生。它不再將AI模型視為一個(gè)需要精心“提問(wèn)”的黑箱而是將其視為一個(gè)需要被“駕馭”的、具有一定自主能力但又不完全可靠的“數(shù)字勞動(dòng)力”。核心思想是通過(guò)系統(tǒng)性的工程化手段為AI構(gòu)建一個(gè)可靠、可控、可觀測(cè)的執(zhí)行環(huán)境使其能夠像軟件一樣被集成、調(diào)試和運(yùn)維。這不僅僅是語(yǔ)義上的變化而是整個(gè)技術(shù)棧和設(shè)計(jì)思維的遷移。一個(gè)典型的Harness駕馭框架會(huì)包含任務(wù)規(guī)劃、工具調(diào)用、狀態(tài)管理、錯(cuò)誤處理、驗(yàn)證與回滾等一整套機(jī)制。如果說(shuō)Prompt Engineering是教AI“怎么想”那么Harness Engineering就是為AI打造“怎么做”的舞臺(tái)和規(guī)則。一場(chǎng)新的AI應(yīng)用范式確實(shí)已經(jīng)悄然開(kāi)始了。2. 為什么我們需要Harness Engineering從三個(gè)真實(shí)痛點(diǎn)說(shuō)起要理解Harness Engineering的必要性我們必須回到實(shí)際應(yīng)用場(chǎng)景中。僅僅讓AI生成一段不錯(cuò)的文本或代碼片段已經(jīng)無(wú)法滿足企業(yè)級(jí)應(yīng)用的需求。以下是三個(gè)促使范式轉(zhuǎn)變的核心痛點(diǎn)2.1 痛點(diǎn)一單次交互的局限性與“任務(wù)原子性”的缺失傳統(tǒng)的PromptCompletion模式是“單次交互”。你給一個(gè)輸入它給一個(gè)輸出。但對(duì)于一個(gè)復(fù)雜任務(wù)比如“分析上季度銷售數(shù)據(jù)找出表現(xiàn)最差的三個(gè)區(qū)域并為每個(gè)區(qū)域起草一份改進(jìn)計(jì)劃郵件”這包含了數(shù)據(jù)查詢、分析、排序、文案生成等多個(gè)子任務(wù)。試圖用一個(gè)超長(zhǎng)的、包含所有指令的Prompt去完成結(jié)果往往不可預(yù)測(cè)且難以調(diào)試。Harness Engineering將復(fù)雜任務(wù)原子化和序列化?？蚣軙?huì)將上述任務(wù)自動(dòng)分解為連接數(shù)據(jù)庫(kù)執(zhí)行SQL查詢獲取銷售數(shù)據(jù)。調(diào)用數(shù)據(jù)分析模塊計(jì)算各區(qū)域指標(biāo)并排序。將結(jié)果傳遞給文案生成模塊結(jié)合區(qū)域特點(diǎn)生成郵件草稿。將草稿發(fā)送給人類審核。每個(gè)步驟都是一個(gè)原子操作有明確的輸入、輸出和成功/失敗狀態(tài)。框架負(fù)責(zé)編排這些步驟的順序傳遞數(shù)據(jù)并處理步驟間的依賴。這使得整個(gè)流程變得透明、可調(diào)試并且當(dāng)某個(gè)步驟失敗時(shí)可以精準(zhǔn)定位和重試而不是整個(gè)推倒重來(lái)。2.2 痛點(diǎn)二模型的“幻覺(jué)”與不可靠性無(wú)法通過(guò)Prompt根除無(wú)論你的Prompt寫(xiě)得多么完美基于概率生成的大模型始終存在“幻覺(jué)”即生成看似合理但實(shí)際錯(cuò)誤的信息的風(fēng)險(xiǎn)。在關(guān)鍵業(yè)務(wù)場(chǎng)景中這是不可接受的。Harness Engineering通過(guò)外部驗(yàn)證與工具調(diào)用來(lái)應(yīng)對(duì)。一個(gè)設(shè)計(jì)良好的Harness不會(huì)完全相信模型生成的“事實(shí)”。例如當(dāng)AI生成“某公司2023年?duì)I收為1.2億美元”時(shí)Harness可以配置一個(gè)驗(yàn)證步驟自動(dòng)調(diào)用財(cái)經(jīng)數(shù)據(jù)API進(jìn)行核對(duì)。如果核對(duì)不一致則觸發(fā)糾錯(cuò)流程如讓模型重新生成或轉(zhuǎn)交人工處理。同樣對(duì)于需要計(jì)算、查詢、執(zhí)行的操作Harness會(huì)強(qiáng)制模型通過(guò)調(diào)用預(yù)設(shè)的工具函數(shù)來(lái)完成而不是依賴其內(nèi)部可能不準(zhǔn)確的知識(shí)或計(jì)算能力。模型的工作被限定在“理解意圖”和“規(guī)劃調(diào)用”而具體的“執(zhí)行”則由可靠的外部工具完成從而大幅提升了結(jié)果的準(zhǔn)確性。2.3 痛點(diǎn)三狀態(tài)管理、記憶與長(zhǎng)期對(duì)話的復(fù)雜性很多應(yīng)用需要AI在較長(zhǎng)的對(duì)話或任務(wù)周期中保持上下文和狀態(tài)。例如一個(gè)AI訂票助手需要記住用戶的出發(fā)地、偏好座位、預(yù)算并在多輪對(duì)話中逐步確認(rèn)信息。用簡(jiǎn)單的對(duì)話歷史拼接作為上下文會(huì)很快觸及模型的令牌Token長(zhǎng)度限制且效率低下。Harness Engineering引入了顯式的狀態(tài)管理和記憶模塊。框架會(huì)維護(hù)一個(gè)結(jié)構(gòu)化的任務(wù)狀態(tài)State記錄當(dāng)前進(jìn)展、已收集的信息、用戶偏好等。AI模型在每一步?jīng)Q策時(shí)可以查詢這個(gè)狀態(tài)而不需要閱讀冗長(zhǎng)的歷史對(duì)話。記憶模塊則可能包括向量數(shù)據(jù)庫(kù)用于存儲(chǔ)和檢索長(zhǎng)期的、跨會(huì)話的信息。這樣AI的行為不再是基于臨時(shí)的對(duì)話片段而是基于一個(gè)持續(xù)的、可管理的“工作記憶”使得構(gòu)建復(fù)雜的多輪交互代理Agent成為可能。3. Harness Engineering的核心組件與架構(gòu)設(shè)計(jì)理解了“為什么”我們來(lái)看“是什么”。一個(gè)典型的Harness Engineering框架或系統(tǒng)通常會(huì)包含以下幾個(gè)核心組件它們共同構(gòu)成了駕馭AI的“韁繩”和“鞍具”。3.1 智能體Agent與工具Tools賦予AI“手腳”這是最基礎(chǔ)的組件。智能體是任務(wù)的執(zhí)行主體它具備理解指令、規(guī)劃步驟、調(diào)用工具的能力。而工具則是智能體可以使用的具體函數(shù)例如search_web(query): 網(wǎng)絡(luò)搜索工具。execute_sql(query): 數(shù)據(jù)庫(kù)查詢工具。send_email(to, subject, body): 發(fā)送郵件工具。call_calculator(expression): 計(jì)算工具。Harness框架會(huì)為智能體提供一個(gè)工具列表及其描述。智能體根據(jù)任務(wù)決定調(diào)用哪個(gè)工具并生成符合工具要求的參數(shù)?？蚣茇?fù)責(zé)安全地執(zhí)行這些工具調(diào)用并將結(jié)果返回給智能體進(jìn)行下一步?jīng)Q策。這嚴(yán)格區(qū)分了“思考”和“行動(dòng)”將風(fēng)險(xiǎn)較高的“行動(dòng)”限制在預(yù)先審核過(guò)的安全工具集內(nèi)。3.2 工作流編排器Orchestrator與任務(wù)分解Task Decomposition這是Harness的大腦。對(duì)于一個(gè)高層級(jí)任務(wù)如“準(zhǔn)備月度市場(chǎng)報(bào)告”編排器負(fù)責(zé)將其分解為一系列有序的子任務(wù)“收集數(shù)據(jù)”、“分析趨勢(shì)”、“生成圖表”、“撰寫(xiě)摘要”。這可以通過(guò)以下方式實(shí)現(xiàn)預(yù)定義模板針對(duì)常見(jiàn)任務(wù)人工設(shè)計(jì)好固定的任務(wù)流。LLM動(dòng)態(tài)規(guī)劃讓一個(gè)“規(guī)劃型”LLM根據(jù)任務(wù)描述實(shí)時(shí)生成任務(wù)步驟圖。混合模式在預(yù)定義骨架的基礎(chǔ)上由LLM填充具體參數(shù)和分支邏輯。編排器還管理著任務(wù)流的執(zhí)行包括順序執(zhí)行、并行執(zhí)行、條件分支if-else、循環(huán)loop等并處理子任務(wù)之間的數(shù)據(jù)傳遞。3.3 狀態(tài)管理機(jī)State Management與記憶Memory這是Harness的“記事本”。它維護(hù)著任務(wù)執(zhí)行過(guò)程中的所有關(guān)鍵信息會(huì)話狀態(tài)Session State當(dāng)前任務(wù)鏈的臨時(shí)變量如用戶輸入、中間結(jié)果。長(zhǎng)期記憶Long-term Memory通常存儲(chǔ)在向量數(shù)據(jù)庫(kù)中記錄跨會(huì)話的用戶偏好、歷史交互摘要、學(xué)到的知識(shí)等。知識(shí)庫(kù)Knowledge Base提供給AI參考的領(lǐng)域特定文檔、數(shù)據(jù)通過(guò)檢索增強(qiáng)生成RAG技術(shù)被動(dòng)態(tài)引入上下文。一個(gè)設(shè)計(jì)精良的狀態(tài)管理機(jī)制能確保AI在復(fù)雜的多步交互中始終保持一致性避免前后矛盾也是實(shí)現(xiàn)個(gè)性化服務(wù)的基礎(chǔ)。3.4 驗(yàn)證器Validators與守衛(wèi)Guards設(shè)置安全圍欄這是Harness的“安全員”和“質(zhì)檢員”。它們?cè)陉P(guān)鍵節(jié)點(diǎn)對(duì)AI的輸入輸出進(jìn)行檢查輸出格式驗(yàn)證檢查AI生成的JSON、SQL、代碼是否符合預(yù)定模式Schema。內(nèi)容安全過(guò)濾檢測(cè)并過(guò)濾有害、偏見(jiàn)或不適當(dāng)?shù)膬?nèi)容。事實(shí)核查如前所述調(diào)用外部API驗(yàn)證AI生成事實(shí)的準(zhǔn)確性。業(yè)務(wù)規(guī)則守衛(wèi)確保AI的操作符合公司政策或業(yè)務(wù)流程如“審批金額超過(guò)1萬(wàn)需轉(zhuǎn)人工”。當(dāng)驗(yàn)證失敗或觸發(fā)守衛(wèi)時(shí)框架會(huì)進(jìn)入錯(cuò)誤處理流程如重試、降級(jí)fallback或上報(bào)人工防止錯(cuò)誤擴(kuò)散。3.5 可觀測(cè)性O(shè)bservability與評(píng)估Evaluation這是Harness的“儀表盤(pán)”。工程化的系統(tǒng)必須是可觀測(cè)、可評(píng)估的。這包括日志記錄詳細(xì)記錄每個(gè)智能體的思考過(guò)程、工具調(diào)用、輸入輸出。鏈路追蹤Tracing像分布式系統(tǒng)一樣追蹤一個(gè)用戶請(qǐng)求經(jīng)過(guò)的所有AI組件和處理步驟便于性能分析和故障排查。指標(biāo)監(jiān)控監(jiān)控任務(wù)成功率、延遲、Token消耗成本、工具調(diào)用頻率等。自動(dòng)化評(píng)估通過(guò)一套測(cè)試用例或評(píng)估AILLM-as-a-Judge來(lái)定期對(duì)智能體的表現(xiàn)進(jìn)行打分持續(xù)監(jiān)控其性能是否退化。4. 實(shí)戰(zhàn)構(gòu)建一個(gè)簡(jiǎn)單的Harness框架原型理論說(shuō)得再多不如動(dòng)手感受一下。下面我們以一個(gè)“智能數(shù)據(jù)分析師”代理為例勾勒一個(gè)極度簡(jiǎn)化的Harness框架實(shí)現(xiàn)思路。這個(gè)代理的任務(wù)是用戶用自然語(yǔ)言提問(wèn)它自動(dòng)編寫(xiě)并執(zhí)行SQL然后對(duì)結(jié)果進(jìn)行解讀。我們將使用Python和一些流行的庫(kù)來(lái)演示核心概念。請(qǐng)注意這是一個(gè)用于說(shuō)明原理的教學(xué)示例并非生產(chǎn)級(jí)代碼。4.1 環(huán)境準(zhǔn)備與核心庫(kù)選擇首先我們需要幾個(gè)核心組件大語(yǔ)言模型LLM作為智能體的“大腦”。這里我們使用OpenAI的GPT-4系列模型通過(guò)其API調(diào)用。你也可以替換為其他兼容OpenAI API的模型或本地模型。工具定義庫(kù)我們需要一個(gè)框架來(lái)方便地定義工具并將工具描述傳遞給LLM。LangChain或LlamaIndex是常見(jiàn)選擇它們提供了強(qiáng)大的Agent和Tool抽象。為了更貼近底層原理我們這里會(huì)簡(jiǎn)化處理。SQL數(shù)據(jù)庫(kù)一個(gè)用于查詢的示例數(shù)據(jù)庫(kù)比如SQLite。安裝基礎(chǔ)依賴pip install openai sqlite3注LangChain等框架會(huì)封裝更多細(xì)節(jié)但為了理解本質(zhì)我們先從相對(duì)底層的實(shí)現(xiàn)開(kāi)始。4.2 定義核心工具SQL執(zhí)行器工具是Harness控制AI行為的基石。我們先定義一個(gè)最關(guān)鍵的sql_executor工具。import sqlite3 import json import pandas as pd from typing import Optional class SimpleHarness: def __init__(self, db_path: str): # 初始化數(shù)據(jù)庫(kù)連接 self.conn sqlite3.connect(db_path) # 模擬的工具列表包含名稱、描述和函數(shù)引用 self.tools [ { name: sql_executor, description: 執(zhí)行一個(gè)SQL查詢語(yǔ)句并返回結(jié)果。輸入必須是有效的SQL SELECT語(yǔ)句。, function: self.execute_sql } ] def execute_sql(self, query: str) - str: 執(zhí)行SQL查詢并安全地返回結(jié)果。 # 基礎(chǔ)安全守衛(wèi)只允許SELECT查詢防止數(shù)據(jù)被修改 if not query.strip().upper().startswith(SELECT): return 錯(cuò)誤只允許執(zhí)行SELECT查詢語(yǔ)句。 try: # 使用pandas執(zhí)行查詢并返回表格形式的結(jié)果更易讀 df pd.read_sql_query(query, self.conn) # 將結(jié)果轉(zhuǎn)換為字符串如果結(jié)果太大可以截?cái)?if len(df) 100: result_str f查詢成功返回{len(df)}行數(shù)據(jù)顯示前10行\(zhòng)n result_str df.head(10).to_string() else: result_str df.to_string() return result_str except Exception as e: # 錯(cuò)誤處理將數(shù)據(jù)庫(kù)錯(cuò)誤信息返回給Agent以便它調(diào)整查詢 return fSQL執(zhí)行錯(cuò)誤{str(e)}這個(gè)工具類有幾個(gè)關(guān)鍵設(shè)計(jì)點(diǎn)描述清晰description字段會(huì)原樣送給LLM所以必須準(zhǔn)確說(shuō)明工具的功能、輸入格式和限制。安全守衛(wèi)在工具函數(shù)內(nèi)部我們首先檢查是否是SELECT語(yǔ)句這是一個(gè)最基本的安全措施防止數(shù)據(jù)庫(kù)被意外修改或刪除。錯(cuò)誤處理捕獲異常并以文本形式返回錯(cuò)誤原因這樣智能體就能“知道”自己哪里做錯(cuò)了從而有機(jī)會(huì)修正。結(jié)果格式化將數(shù)據(jù)庫(kù)結(jié)果轉(zhuǎn)換為易于LLM理解和后續(xù)處理的字符串格式。4.3 構(gòu)建智能體Agent的決策循環(huán)智能體的核心是一個(gè)循環(huán)理解任務(wù)、決定行動(dòng)、執(zhí)行工具、觀察結(jié)果、繼續(xù)下一步。我們實(shí)現(xiàn)一個(gè)簡(jiǎn)化的run_agent方法。import openai class SimpleHarness(SimpleHarness): # 繼承上面的類 def __init__(self, db_path: str, api_key: str): super().__init__(db_path) self.client openai.OpenAI(api_keyapi_key) # 記錄對(duì)話歷史和工具調(diào)用結(jié)果作為Agent的“短期記憶” self.messages [] def _call_llm(self, prompt: str) - str: 調(diào)用LLM獲取回復(fù)。 self.messages.append({role: user, content: prompt}) response self.client.chat.completions.create( modelgpt-4-turbo, # 可根據(jù)需要調(diào)整模型 messagesself.messages, temperature0.1, # 低溫度使輸出更確定、更專注于工具調(diào)用 ) ai_message response.choices[0].message.content self.messages.append({role: assistant, content: ai_message}) return ai_message def run_agent(self, user_query: str, max_steps: int 5): 運(yùn)行智能體處理用戶查詢。 print(f用戶問(wèn)題{user_query}) # 初始化系統(tǒng)提示定義Agent的角色和能力 system_prompt f你是一個(gè)智能數(shù)據(jù)分析助手。你可以使用以下工具 {json.dumps([{name: t[name], description: t[description]} for t in self.tools], indent2)} 你的工作流程 1. 理解用戶關(guān)于數(shù)據(jù)的問(wèn)題。 2. 如果需要查詢數(shù)據(jù)請(qǐng)生成一個(gè)準(zhǔn)確的SQL查詢語(yǔ)句。 3. 調(diào)用sql_executor工具來(lái)執(zhí)行SQL。 4. 根據(jù)查詢結(jié)果用通俗的語(yǔ)言回答用戶的問(wèn)題。 請(qǐng)嚴(yán)格按以下JSON格式回應(yīng)只輸出JSON {{ thought: 你的思考過(guò)程分析用戶意圖和下一步計(jì)劃, action: 要執(zhí)行的動(dòng)作只能是 sql_executor 或 final_answer, action_input: 如果action是sql_executor這里放SQL語(yǔ)句如果是final_answer這里放最終答案 }} self.messages [{role: system, content: system_prompt}] for step in range(max_steps): print(f\n--- 步驟 {step1} ---) # 1. 讓LLM做決策 llm_response self._call_llm(user_query if step 0 else 繼續(xù)) try: # 2. 解析LLM的決策期望是JSON decision json.loads(llm_response) thought decision.get(thought, ) action decision.get(action, ) action_input decision.get(action_input, ) print(f智能體思考{thought}) print(f決策行動(dòng){action}, 輸入{action_input}) # 3. 執(zhí)行行動(dòng) if action final_answer: print(f\n最終答案{action_input}) return action_input # 任務(wù)完成 elif action sql_executor: # 找到對(duì)應(yīng)的工具并執(zhí)行 tool_func next((t[function] for t in self.tools if t[name] action), None) if tool_func: result tool_func(action_input) print(f工具執(zhí)行結(jié)果\n{result}) # 將結(jié)果作為新的用戶消息讓Agent繼續(xù)處理 user_query f上次查詢的結(jié)果是{result}。請(qǐng)根據(jù)這個(gè)結(jié)果回答我的原始問(wèn)題。 else: print(錯(cuò)誤未知工具。) break else: print(錯(cuò)誤無(wú)效的行動(dòng)指令。) break except json.JSONDecodeError: print(f錯(cuò)誤LLM回復(fù)不是有效的JSON。回復(fù)內(nèi)容{llm_response}) break return 抱歉任務(wù)處理失敗或達(dá)到最大步數(shù)限制。這個(gè)決策循環(huán)體現(xiàn)了Harness的核心控制邏輯結(jié)構(gòu)化輸出我們強(qiáng)制要求LLM以特定的JSON格式回應(yīng)這比解析自由文本要可靠得多。這是確保AI行為可控的關(guān)鍵技巧。循環(huán)與狀態(tài)for循環(huán)和user_query的更新模擬了多輪交互。LLM在每一步都能看到上一步工具執(zhí)行的結(jié)果從而做出下一步?jīng)Q策。工具調(diào)用抽象框架根據(jù)action字段自動(dòng)匹配并調(diào)用對(duì)應(yīng)的工具函數(shù)實(shí)現(xiàn)了思考與執(zhí)行的分離。4.4 運(yùn)行示例與結(jié)果分析假設(shè)我們有一個(gè)sales.db的SQLite數(shù)據(jù)庫(kù)里面有一張sales_data表包含region區(qū)域、product產(chǎn)品、revenue收入等字段。# 主程序 if __name__ __main__: # 初始化Harness傳入數(shù)據(jù)庫(kù)路徑和OpenAI API Key harness SimpleHarness(sales.db, your-openai-api-key) # 用戶提出一個(gè)自然語(yǔ)言問(wèn)題 question 上個(gè)季度哪個(gè)區(qū)域的銷售額最高具體是多少 # 運(yùn)行智能體 final_answer harness.run_agent(question) print(f\n 處理結(jié)束 )可能的執(zhí)行過(guò)程輸出用戶問(wèn)題上個(gè)季度哪個(gè)區(qū)域的銷售額最高具體是多少 --- 步驟 1 --- 智能體思考用戶想了解上個(gè)季度銷售額最高的區(qū)域。我需要從數(shù)據(jù)庫(kù)的sales_data表中查詢數(shù)據(jù)。假設(shè)表中有‘quarter’、‘region’和‘revenue’字段。我需要先過(guò)濾出上個(gè)季度的數(shù)據(jù)然后按區(qū)域匯總收入最后找出最高的。 決策行動(dòng)sql_executor, 輸入SELECT region, SUM(revenue) as total_revenue FROM sales_data WHERE quarter Q2-2024 GROUP BY region ORDER BY total_revenue DESC LIMIT 1 工具執(zhí)行結(jié)果 region total_revenue 0 華東地區(qū) 1250000 --- 步驟 2 --- 智能體思考查詢結(jié)果顯示上個(gè)季度Q2-2024銷售額最高的區(qū)域是華東地區(qū)總銷售額為1,250,000。現(xiàn)在我需要根據(jù)這個(gè)結(jié)果用清晰的語(yǔ)言回答用戶的問(wèn)題。 決策行動(dòng)final_answer, 輸入根據(jù)數(shù)據(jù)上個(gè)季度2024年第二季度銷售額最高的區(qū)域是華東地區(qū)其總銷售額為1,250,000元。 最終答案根據(jù)數(shù)據(jù)上個(gè)季度2024年第二季度銷售額最高的區(qū)域是華東地區(qū)其總銷售額為1,250,000元。 處理結(jié)束 通過(guò)這個(gè)簡(jiǎn)單的例子你可以看到Harness Engineering如何將模糊的自然語(yǔ)言問(wèn)題轉(zhuǎn)化為一個(gè)結(jié)構(gòu)化的、可執(zhí)行的、并且每一步都可觀測(cè)和控制的流程。雖然這個(gè)原型非?；A(chǔ)缺少錯(cuò)誤恢復(fù)、復(fù)雜工作流編排等高級(jí)功能但它清晰地展示了“駕馭”AI的核心思想用確定性的程序邏輯去管理和引導(dǎo)非確定性的AI模型。5. 從原型到生產(chǎn)Harness Engineering的進(jìn)階挑戰(zhàn)與最佳實(shí)踐構(gòu)建一個(gè)可用的原型只是第一步。要將Harness投入生產(chǎn)環(huán)境解決真實(shí)業(yè)務(wù)問(wèn)題我們還需要面對(duì)一系列更嚴(yán)峻的挑戰(zhàn)并采納相應(yīng)的工程最佳實(shí)踐。5.1 挑戰(zhàn)一可靠性Reliability與錯(cuò)誤處理Error HandlingAI模型和外部服務(wù)如數(shù)據(jù)庫(kù)、API都可能出錯(cuò)。一個(gè)健壯的Harness必須具備完善的錯(cuò)誤處理機(jī)制。重試與退避對(duì)于暫時(shí)性錯(cuò)誤如網(wǎng)絡(luò)超時(shí)、API限流框架應(yīng)自動(dòng)重試并采用指數(shù)退避策略避免加重服務(wù)壓力。降級(jí)策略Fallback當(dāng)主要工具或模型失敗時(shí)應(yīng)有備用方案。例如如果GPT-4調(diào)用失敗可以自動(dòng)降級(jí)到GPT-3.5如果自動(dòng)SQL生成失敗可以轉(zhuǎn)交給一個(gè)更簡(jiǎn)單的關(guān)鍵詞查詢模板或直接提示用戶提供更明確的信息。超時(shí)控制為每個(gè)工具調(diào)用和LLM響應(yīng)設(shè)置嚴(yán)格的超時(shí)時(shí)間防止單個(gè)步驟卡死整個(gè)流程。事務(wù)與回滾對(duì)于涉及多步驟數(shù)據(jù)修改的任務(wù)需要考慮類似數(shù)據(jù)庫(kù)事務(wù)的機(jī)制。如果后續(xù)步驟失敗應(yīng)能回滾之前步驟已執(zhí)行的操作。這在自動(dòng)化流程中至關(guān)重要。5.2 挑戰(zhàn)二成本控制與性能優(yōu)化大規(guī)模使用LLM成本高昂延遲也可能成為問(wèn)題。智能路由根據(jù)任務(wù)的復(fù)雜度和對(duì)模型能力的要求將任務(wù)路由到不同成本的模型。簡(jiǎn)單的信息提取可以用小模型復(fù)雜的推理再用大模型。這需要框架具備模型路由的能力。緩存策略對(duì)頻繁出現(xiàn)的、結(jié)果確定的查詢?nèi)纭肮究偛康刂肥鞘裁础笨梢詫LM的響應(yīng)進(jìn)行緩存避免重復(fù)計(jì)算。對(duì)于工具調(diào)用結(jié)果如果數(shù)據(jù)更新不頻繁也可以緩存。Token使用優(yōu)化精心設(shè)計(jì)系統(tǒng)提示詞System Prompt和上下文管理避免攜帶不必要的冗長(zhǎng)歷史。使用摘要技術(shù)Summarization來(lái)壓縮長(zhǎng)對(duì)話歷史而非簡(jiǎn)單拼接。異步與流式處理對(duì)于長(zhǎng)耗時(shí)任務(wù)框架應(yīng)支持異步執(zhí)行并可能提供進(jìn)度反饋。對(duì)于文本生成支持流式輸出可以提升用戶體驗(yàn)。5.3 挑戰(zhàn)三評(píng)估、監(jiān)控與持續(xù)改進(jìn)MLOps for AI如何知道你的AI Harness運(yùn)行良好如何持續(xù)改進(jìn)它這需要建立一套針對(duì)AI工作流的MLOps實(shí)踐。定義評(píng)估指標(biāo)根據(jù)任務(wù)類型定義成功指標(biāo)。例如對(duì)于問(wèn)答系統(tǒng)可以是準(zhǔn)確率對(duì)于代碼生成可以是單元測(cè)試通過(guò)率對(duì)于工作流可以是端到端任務(wù)完成率。自動(dòng)化評(píng)估流水線構(gòu)建一個(gè)包含大量測(cè)試用例Golden Dataset的評(píng)估集。每次對(duì)Harness框架或Prompt進(jìn)行修改后自動(dòng)運(yùn)行評(píng)估集對(duì)比關(guān)鍵指標(biāo)的變化防止回歸。生產(chǎn)環(huán)境監(jiān)控除了傳統(tǒng)的應(yīng)用性能監(jiān)控APM還需要監(jiān)控AI特定指標(biāo)每次調(diào)用的Token消耗、成本、延遲、工具調(diào)用成功率、用戶反饋點(diǎn)贊/點(diǎn)踩等。設(shè)置警報(bào)當(dāng)錯(cuò)誤率或成本異常升高時(shí)及時(shí)通知。數(shù)據(jù)飛輪與持續(xù)學(xué)習(xí)收集生產(chǎn)環(huán)境中處理成功和失敗的案例經(jīng)過(guò)脫敏和審核將其作為新的訓(xùn)練數(shù)據(jù)或Few-shot示例用于持續(xù)優(yōu)化Prompt、工具描述或任務(wù)分解邏輯。5.4 挑戰(zhàn)四安全、合規(guī)與可控性在企業(yè)環(huán)境中安全永遠(yuǎn)是第一位的。工具調(diào)用沙箱對(duì)于執(zhí)行代碼、訪問(wèn)敏感系統(tǒng)的工具必須在嚴(yán)格的沙箱環(huán)境中運(yùn)行限制其權(quán)限和資源訪問(wèn)。輸入/輸出過(guò)濾與審查在所有與用戶交互的邊界點(diǎn)部署內(nèi)容安全過(guò)濾器防止生成或傳播有害信息。審計(jì)日志詳細(xì)記錄每一個(gè)用戶請(qǐng)求、AI的完整思考鏈Chain-of-Thought、所有的工具調(diào)用及其參數(shù)結(jié)果。這對(duì)于問(wèn)題排查、合規(guī)審計(jì)和模型行為分析不可或缺。人工在環(huán)Human-in-the-loop為關(guān)鍵決策點(diǎn)或低置信度結(jié)果設(shè)置“人工審批”環(huán)節(jié)。例如當(dāng)AI建議的營(yíng)銷文案涉及特定法規(guī)時(shí)必須由人類審核后才能發(fā)布。Harness Engineering的成熟意味著AI應(yīng)用開(kāi)發(fā)正從“煉金術(shù)”走向“工程學(xué)”。它要求開(kāi)發(fā)者不僅需要理解機(jī)器學(xué)習(xí)模型更需要具備扎實(shí)的軟件工程能力——設(shè)計(jì)模式、系統(tǒng)架構(gòu)、測(cè)試、部署、監(jiān)控。這場(chǎng)范式轉(zhuǎn)移正在重塑我們構(gòu)建智能軟件的方式。 從Prompt到Harness：AI應(yīng)用開(kāi)發(fā)的工程化范式演進(jìn)與實(shí)踐
1. 從“工具”到“駕馭”AI應(yīng)用范式的根本性轉(zhuǎn)變?nèi)绻阕罱陉P(guān)注AI領(lǐng)域尤其是那些真正在用它解決實(shí)際業(yè)務(wù)問(wèn)題的團(tuán)隊(duì)可能會(huì)頻繁聽(tīng)到一個(gè)詞Harness Engineering。它不像Prompt Engineering提示詞工程那樣已經(jīng)有一套相對(duì)成熟的方法論和社區(qū)共識(shí)。Harness Engineering更像是一個(gè)正在浮現(xiàn)的共識(shí)一種新的實(shí)踐哲學(xué)。簡(jiǎn)單來(lái)說(shuō)它標(biāo)志著我們看待和使用AI的方式正在從“如何讓AI更好地回答問(wèn)題”轉(zhuǎn)向“如何讓AI可靠地、自主地完成復(fù)雜任務(wù)”。過(guò)去兩年我們經(jīng)歷了從ChatGPT帶來(lái)的“對(duì)話式AI”狂歡到越來(lái)越多開(kāi)發(fā)者嘗試將大語(yǔ)言模型LLM集成到工作流中。最初的興奮點(diǎn)在于“它能理解我”我們熱衷于研究如何寫(xiě)出更好的提示詞Prompt讓模型生成更準(zhǔn)確、更符合格式的答案。這催生了Prompt Engineering這門(mén)“手藝”。但很快當(dāng)人們?cè)噲D用這些模型去處理真實(shí)世界的業(yè)務(wù)流程時(shí)——比如自動(dòng)分析財(cái)報(bào)、處理客戶工單、生成并執(zhí)行代碼——問(wèn)題接踵而至。模型會(huì)“胡言亂語(yǔ)”幻覺(jué)會(huì)不穩(wěn)定會(huì)卡在某個(gè)步驟上更無(wú)法處理需要多步驟推理、調(diào)用外部工具、或長(zhǎng)期維護(hù)狀態(tài)的任務(wù)。Harness Engineering直譯為“駕馭工程”或“控制工程”正是為了解決這些問(wèn)題而生。它不再將AI模型視為一個(gè)需要精心“提問(wèn)”的黑箱而是將其視為一個(gè)需要被“駕馭”的、具有一定自主能力但又不完全可靠的“數(shù)字勞動(dòng)力”。核心思想是通過(guò)系統(tǒng)性的工程化手段為AI構(gòu)建一個(gè)可靠、可控、可觀測(cè)的執(zhí)行環(huán)境使其能夠像軟件一樣被集成、調(diào)試和運(yùn)維。這不僅僅是語(yǔ)義上的變化而是整個(gè)技術(shù)棧和設(shè)計(jì)思維的遷移。一個(gè)典型的Harness駕馭框架會(huì)包含任務(wù)規(guī)劃、工具調(diào)用、狀態(tài)管理、錯(cuò)誤處理、驗(yàn)證與回滾等一整套機(jī)制。如果說(shuō)Prompt Engineering是教AI“怎么想”那么Harness Engineering就是為AI打造“怎么做”的舞臺(tái)和規(guī)則。一場(chǎng)新的AI應(yīng)用范式確實(shí)已經(jīng)悄然開(kāi)始了。2. 為什么我們需要Harness Engineering從三個(gè)真實(shí)痛點(diǎn)說(shuō)起要理解Harness Engineering的必要性我們必須回到實(shí)際應(yīng)用場(chǎng)景中。僅僅讓AI生成一段不錯(cuò)的文本或代碼片段已經(jīng)無(wú)法滿足企業(yè)級(jí)應(yīng)用的需求。以下是三個(gè)促使范式轉(zhuǎn)變的核心痛點(diǎn)2.1 痛點(diǎn)一單次交互的局限性與“任務(wù)原子性”的缺失傳統(tǒng)的PromptCompletion模式是“單次交互”。你給一個(gè)輸入它給一個(gè)輸出。但對(duì)于一個(gè)復(fù)雜任務(wù)比如“分析上季度銷售數(shù)據(jù)找出表現(xiàn)最差的三個(gè)區(qū)域并為每個(gè)區(qū)域起草一份改進(jìn)計(jì)劃郵件”這包含了數(shù)據(jù)查詢、分析、排序、文案生成等多個(gè)子任務(wù)。試圖用一個(gè)超長(zhǎng)的、包含所有指令的Prompt去完成結(jié)果往往不可預(yù)測(cè)且難以調(diào)試。Harness Engineering將復(fù)雜任務(wù)原子化和序列化?？蚣軙?huì)將上述任務(wù)自動(dòng)分解為連接數(shù)據(jù)庫(kù)執(zhí)行SQL查詢獲取銷售數(shù)據(jù)。調(diào)用數(shù)據(jù)分析模塊計(jì)算各區(qū)域指標(biāo)并排序。將結(jié)果傳遞給文案生成模塊結(jié)合區(qū)域特點(diǎn)生成郵件草稿。將草稿發(fā)送給人類審核。每個(gè)步驟都是一個(gè)原子操作有明確的輸入、輸出和成功/失敗狀態(tài)。框架負(fù)責(zé)編排這些步驟的順序傳遞數(shù)據(jù)并處理步驟間的依賴。這使得整個(gè)流程變得透明、可調(diào)試并且當(dāng)某個(gè)步驟失敗時(shí)可以精準(zhǔn)定位和重試而不是整個(gè)推倒重來(lái)。2.2 痛點(diǎn)二模型的“幻覺(jué)”與不可靠性無(wú)法通過(guò)Prompt根除無(wú)論你的Prompt寫(xiě)得多么完美基于概率生成的大模型始終存在“幻覺(jué)”即生成看似合理但實(shí)際錯(cuò)誤的信息的風(fēng)險(xiǎn)。在關(guān)鍵業(yè)務(wù)場(chǎng)景中這是不可接受的。Harness Engineering通過(guò)外部驗(yàn)證與工具調(diào)用來(lái)應(yīng)對(duì)。一個(gè)設(shè)計(jì)良好的Harness不會(huì)完全相信模型生成的“事實(shí)”。例如當(dāng)AI生成“某公司2023年?duì)I收為1.2億美元”時(shí)Harness可以配置一個(gè)驗(yàn)證步驟自動(dòng)調(diào)用財(cái)經(jīng)數(shù)據(jù)API進(jìn)行核對(duì)。如果核對(duì)不一致則觸發(fā)糾錯(cuò)流程如讓模型重新生成或轉(zhuǎn)交人工處理。同樣對(duì)于需要計(jì)算、查詢、執(zhí)行的操作Harness會(huì)強(qiáng)制模型通過(guò)調(diào)用預(yù)設(shè)的工具函數(shù)來(lái)完成而不是依賴其內(nèi)部可能不準(zhǔn)確的知識(shí)或計(jì)算能力。模型的工作被限定在“理解意圖”和“規(guī)劃調(diào)用”而具體的“執(zhí)行”則由可靠的外部工具完成從而大幅提升了結(jié)果的準(zhǔn)確性。2.3 痛點(diǎn)三狀態(tài)管理、記憶與長(zhǎng)期對(duì)話的復(fù)雜性很多應(yīng)用需要AI在較長(zhǎng)的對(duì)話或任務(wù)周期中保持上下文和狀態(tài)。例如一個(gè)AI訂票助手需要記住用戶的出發(fā)地、偏好座位、預(yù)算并在多輪對(duì)話中逐步確認(rèn)信息。用簡(jiǎn)單的對(duì)話歷史拼接作為上下文會(huì)很快觸及模型的令牌Token長(zhǎng)度限制且效率低下。Harness Engineering引入了顯式的狀態(tài)管理和記憶模塊。框架會(huì)維護(hù)一個(gè)結(jié)構(gòu)化的任務(wù)狀態(tài)State記錄當(dāng)前進(jìn)展、已收集的信息、用戶偏好等。AI模型在每一步?jīng)Q策時(shí)可以查詢這個(gè)狀態(tài)而不需要閱讀冗長(zhǎng)的歷史對(duì)話。記憶模塊則可能包括向量數(shù)據(jù)庫(kù)用于存儲(chǔ)和檢索長(zhǎng)期的、跨會(huì)話的信息。這樣AI的行為不再是基于臨時(shí)的對(duì)話片段而是基于一個(gè)持續(xù)的、可管理的“工作記憶”使得構(gòu)建復(fù)雜的多輪交互代理Agent成為可能。3. Harness Engineering的核心組件與架構(gòu)設(shè)計(jì)理解了“為什么”我們來(lái)看“是什么”。一個(gè)典型的Harness Engineering框架或系統(tǒng)通常會(huì)包含以下幾個(gè)核心組件它們共同構(gòu)成了駕馭AI的“韁繩”和“鞍具”。3.1 智能體Agent與工具Tools賦予AI“手腳”這是最基礎(chǔ)的組件。智能體是任務(wù)的執(zhí)行主體它具備理解指令、規(guī)劃步驟、調(diào)用工具的能力。而工具則是智能體可以使用的具體函數(shù)例如search_web(query): 網(wǎng)絡(luò)搜索工具。execute_sql(query): 數(shù)據(jù)庫(kù)查詢工具。send_email(to, subject, body): 發(fā)送郵件工具。call_calculator(expression): 計(jì)算工具。Harness框架會(huì)為智能體提供一個(gè)工具列表及其描述。智能體根據(jù)任務(wù)決定調(diào)用哪個(gè)工具并生成符合工具要求的參數(shù)?？蚣茇?fù)責(zé)安全地執(zhí)行這些工具調(diào)用并將結(jié)果返回給智能體進(jìn)行下一步?jīng)Q策。這嚴(yán)格區(qū)分了“思考”和“行動(dòng)”將風(fēng)險(xiǎn)較高的“行動(dòng)”限制在預(yù)先審核過(guò)的安全工具集內(nèi)。3.2 工作流編排器Orchestrator與任務(wù)分解Task Decomposition這是Harness的大腦。對(duì)于一個(gè)高層級(jí)任務(wù)如“準(zhǔn)備月度市場(chǎng)報(bào)告”編排器負(fù)責(zé)將其分解為一系列有序的子任務(wù)“收集數(shù)據(jù)”、“分析趨勢(shì)”、“生成圖表”、“撰寫(xiě)摘要”。這可以通過(guò)以下方式實(shí)現(xiàn)預(yù)定義模板針對(duì)常見(jiàn)任務(wù)人工設(shè)計(jì)好固定的任務(wù)流。LLM動(dòng)態(tài)規(guī)劃讓一個(gè)“規(guī)劃型”LLM根據(jù)任務(wù)描述實(shí)時(shí)生成任務(wù)步驟圖。混合模式在預(yù)定義骨架的基礎(chǔ)上由LLM填充具體參數(shù)和分支邏輯。編排器還管理著任務(wù)流的執(zhí)行包括順序執(zhí)行、并行執(zhí)行、條件分支if-else、循環(huán)loop等并處理子任務(wù)之間的數(shù)據(jù)傳遞。3.3 狀態(tài)管理機(jī)State Management與記憶Memory這是Harness的“記事本”。它維護(hù)著任務(wù)執(zhí)行過(guò)程中的所有關(guān)鍵信息會(huì)話狀態(tài)Session State當(dāng)前任務(wù)鏈的臨時(shí)變量如用戶輸入、中間結(jié)果。長(zhǎng)期記憶Long-term Memory通常存儲(chǔ)在向量數(shù)據(jù)庫(kù)中記錄跨會(huì)話的用戶偏好、歷史交互摘要、學(xué)到的知識(shí)等。知識(shí)庫(kù)Knowledge Base提供給AI參考的領(lǐng)域特定文檔、數(shù)據(jù)通過(guò)檢索增強(qiáng)生成RAG技術(shù)被動(dòng)態(tài)引入上下文。一個(gè)設(shè)計(jì)精良的狀態(tài)管理機(jī)制能確保AI在復(fù)雜的多步交互中始終保持一致性避免前后矛盾也是實(shí)現(xiàn)個(gè)性化服務(wù)的基礎(chǔ)。3.4 驗(yàn)證器Validators與守衛(wèi)Guards設(shè)置安全圍欄這是Harness的“安全員”和“質(zhì)檢員”。它們?cè)陉P(guān)鍵節(jié)點(diǎn)對(duì)AI的輸入輸出進(jìn)行檢查輸出格式驗(yàn)證檢查AI生成的JSON、SQL、代碼是否符合預(yù)定模式Schema。內(nèi)容安全過(guò)濾檢測(cè)并過(guò)濾有害、偏見(jiàn)或不適當(dāng)?shù)膬?nèi)容。事實(shí)核查如前所述調(diào)用外部API驗(yàn)證AI生成事實(shí)的準(zhǔn)確性。業(yè)務(wù)規(guī)則守衛(wèi)確保AI的操作符合公司政策或業(yè)務(wù)流程如“審批金額超過(guò)1萬(wàn)需轉(zhuǎn)人工”。當(dāng)驗(yàn)證失敗或觸發(fā)守衛(wèi)時(shí)框架會(huì)進(jìn)入錯(cuò)誤處理流程如重試、降級(jí)fallback或上報(bào)人工防止錯(cuò)誤擴(kuò)散。3.5 可觀測(cè)性O(shè)bservability與評(píng)估Evaluation這是Harness的“儀表盤(pán)”。工程化的系統(tǒng)必須是可觀測(cè)、可評(píng)估的。這包括日志記錄詳細(xì)記錄每個(gè)智能體的思考過(guò)程、工具調(diào)用、輸入輸出。鏈路追蹤Tracing像分布式系統(tǒng)一樣追蹤一個(gè)用戶請(qǐng)求經(jīng)過(guò)的所有AI組件和處理步驟便于性能分析和故障排查。指標(biāo)監(jiān)控監(jiān)控任務(wù)成功率、延遲、Token消耗成本、工具調(diào)用頻率等。自動(dòng)化評(píng)估通過(guò)一套測(cè)試用例或評(píng)估AILLM-as-a-Judge來(lái)定期對(duì)智能體的表現(xiàn)進(jìn)行打分持續(xù)監(jiān)控其性能是否退化。4. 實(shí)戰(zhàn)構(gòu)建一個(gè)簡(jiǎn)單的Harness框架原型理論說(shuō)得再多不如動(dòng)手感受一下。下面我們以一個(gè)“智能數(shù)據(jù)分析師”代理為例勾勒一個(gè)極度簡(jiǎn)化的Harness框架實(shí)現(xiàn)思路。這個(gè)代理的任務(wù)是用戶用自然語(yǔ)言提問(wèn)它自動(dòng)編寫(xiě)并執(zhí)行SQL然后對(duì)結(jié)果進(jìn)行解讀。我們將使用Python和一些流行的庫(kù)來(lái)演示核心概念。請(qǐng)注意這是一個(gè)用于說(shuō)明原理的教學(xué)示例并非生產(chǎn)級(jí)代碼。4.1 環(huán)境準(zhǔn)備與核心庫(kù)選擇首先我們需要幾個(gè)核心組件大語(yǔ)言模型LLM作為智能體的“大腦”。這里我們使用OpenAI的GPT-4系列模型通過(guò)其API調(diào)用。你也可以替換為其他兼容OpenAI API的模型或本地模型。工具定義庫(kù)我們需要一個(gè)框架來(lái)方便地定義工具并將工具描述傳遞給LLM。LangChain或LlamaIndex是常見(jiàn)選擇它們提供了強(qiáng)大的Agent和Tool抽象。為了更貼近底層原理我們這里會(huì)簡(jiǎn)化處理。SQL數(shù)據(jù)庫(kù)一個(gè)用于查詢的示例數(shù)據(jù)庫(kù)比如SQLite。安裝基礎(chǔ)依賴pip install openai sqlite3注LangChain等框架會(huì)封裝更多細(xì)節(jié)但為了理解本質(zhì)我們先從相對(duì)底層的實(shí)現(xiàn)開(kāi)始。4.2 定義核心工具SQL執(zhí)行器工具是Harness控制AI行為的基石。我們先定義一個(gè)最關(guān)鍵的sql_executor工具。import sqlite3 import json import pandas as pd from typing import Optional class SimpleHarness: def __init__(self, db_path: str): # 初始化數(shù)據(jù)庫(kù)連接 self.conn sqlite3.connect(db_path) # 模擬的工具列表包含名稱、描述和函數(shù)引用 self.tools [ { name: sql_executor, description: 執(zhí)行一個(gè)SQL查詢語(yǔ)句并返回結(jié)果。輸入必須是有效的SQL SELECT語(yǔ)句。, function: self.execute_sql } ] def execute_sql(self, query: str) - str: 執(zhí)行SQL查詢并安全地返回結(jié)果。 # 基礎(chǔ)安全守衛(wèi)只允許SELECT查詢防止數(shù)據(jù)被修改 if not query.strip().upper().startswith(SELECT): return 錯(cuò)誤只允許執(zhí)行SELECT查詢語(yǔ)句。 try: # 使用pandas執(zhí)行查詢并返回表格形式的結(jié)果更易讀 df pd.read_sql_query(query, self.conn) # 將結(jié)果轉(zhuǎn)換為字符串如果結(jié)果太大可以截?cái)?if len(df) 100: result_str f查詢成功返回{len(df)}行數(shù)據(jù)顯示前10行\(zhòng)n result_str df.head(10).to_string() else: result_str df.to_string() return result_str except Exception as e: # 錯(cuò)誤處理將數(shù)據(jù)庫(kù)錯(cuò)誤信息返回給Agent以便它調(diào)整查詢 return fSQL執(zhí)行錯(cuò)誤{str(e)}這個(gè)工具類有幾個(gè)關(guān)鍵設(shè)計(jì)點(diǎn)描述清晰description字段會(huì)原樣送給LLM所以必須準(zhǔn)確說(shuō)明工具的功能、輸入格式和限制。安全守衛(wèi)在工具函數(shù)內(nèi)部我們首先檢查是否是SELECT語(yǔ)句這是一個(gè)最基本的安全措施防止數(shù)據(jù)庫(kù)被意外修改或刪除。錯(cuò)誤處理捕獲異常并以文本形式返回錯(cuò)誤原因這樣智能體就能“知道”自己哪里做錯(cuò)了從而有機(jī)會(huì)修正。結(jié)果格式化將數(shù)據(jù)庫(kù)結(jié)果轉(zhuǎn)換為易于LLM理解和后續(xù)處理的字符串格式。4.3 構(gòu)建智能體Agent的決策循環(huán)智能體的核心是一個(gè)循環(huán)理解任務(wù)、決定行動(dòng)、執(zhí)行工具、觀察結(jié)果、繼續(xù)下一步。我們實(shí)現(xiàn)一個(gè)簡(jiǎn)化的run_agent方法。import openai class SimpleHarness(SimpleHarness): # 繼承上面的類 def __init__(self, db_path: str, api_key: str): super().__init__(db_path) self.client openai.OpenAI(api_keyapi_key) # 記錄對(duì)話歷史和工具調(diào)用結(jié)果作為Agent的“短期記憶” self.messages [] def _call_llm(self, prompt: str) - str: 調(diào)用LLM獲取回復(fù)。 self.messages.append({role: user, content: prompt}) response self.client.chat.completions.create( modelgpt-4-turbo, # 可根據(jù)需要調(diào)整模型 messagesself.messages, temperature0.1, # 低溫度使輸出更確定、更專注于工具調(diào)用 ) ai_message response.choices[0].message.content self.messages.append({role: assistant, content: ai_message}) return ai_message def run_agent(self, user_query: str, max_steps: int 5): 運(yùn)行智能體處理用戶查詢。 print(f用戶問(wèn)題{user_query}) # 初始化系統(tǒng)提示定義Agent的角色和能力 system_prompt f你是一個(gè)智能數(shù)據(jù)分析助手。你可以使用以下工具 {json.dumps([{name: t[name], description: t[description]} for t in self.tools], indent2)} 你的工作流程 1. 理解用戶關(guān)于數(shù)據(jù)的問(wèn)題。 2. 如果需要查詢數(shù)據(jù)請(qǐng)生成一個(gè)準(zhǔn)確的SQL查詢語(yǔ)句。 3. 調(diào)用sql_executor工具來(lái)執(zhí)行SQL。 4. 根據(jù)查詢結(jié)果用通俗的語(yǔ)言回答用戶的問(wèn)題。 請(qǐng)嚴(yán)格按以下JSON格式回應(yīng)只輸出JSON {{ thought: 你的思考過(guò)程分析用戶意圖和下一步計(jì)劃, action: 要執(zhí)行的動(dòng)作只能是 sql_executor 或 final_answer, action_input: 如果action是sql_executor這里放SQL語(yǔ)句如果是final_answer這里放最終答案 }} self.messages [{role: system, content: system_prompt}] for step in range(max_steps): print(f\n--- 步驟 {step1} ---) # 1. 讓LLM做決策 llm_response self._call_llm(user_query if step 0 else 繼續(xù)) try: # 2. 解析LLM的決策期望是JSON decision json.loads(llm_response) thought decision.get(thought, ) action decision.get(action, ) action_input decision.get(action_input, ) print(f智能體思考{thought}) print(f決策行動(dòng){action}, 輸入{action_input}) # 3. 執(zhí)行行動(dòng) if action final_answer: print(f\n最終答案{action_input}) return action_input # 任務(wù)完成 elif action sql_executor: # 找到對(duì)應(yīng)的工具并執(zhí)行 tool_func next((t[function] for t in self.tools if t[name] action), None) if tool_func: result tool_func(action_input) print(f工具執(zhí)行結(jié)果\n{result}) # 將結(jié)果作為新的用戶消息讓Agent繼續(xù)處理 user_query f上次查詢的結(jié)果是{result}。請(qǐng)根據(jù)這個(gè)結(jié)果回答我的原始問(wèn)題。 else: print(錯(cuò)誤未知工具。) break else: print(錯(cuò)誤無(wú)效的行動(dòng)指令。) break except json.JSONDecodeError: print(f錯(cuò)誤LLM回復(fù)不是有效的JSON。回復(fù)內(nèi)容{llm_response}) break return 抱歉任務(wù)處理失敗或達(dá)到最大步數(shù)限制。這個(gè)決策循環(huán)體現(xiàn)了Harness的核心控制邏輯結(jié)構(gòu)化輸出我們強(qiáng)制要求LLM以特定的JSON格式回應(yīng)這比解析自由文本要可靠得多。這是確保AI行為可控的關(guān)鍵技巧。循環(huán)與狀態(tài)for循環(huán)和user_query的更新模擬了多輪交互。LLM在每一步都能看到上一步工具執(zhí)行的結(jié)果從而做出下一步?jīng)Q策。工具調(diào)用抽象框架根據(jù)action字段自動(dòng)匹配并調(diào)用對(duì)應(yīng)的工具函數(shù)實(shí)現(xiàn)了思考與執(zhí)行的分離。4.4 運(yùn)行示例與結(jié)果分析假設(shè)我們有一個(gè)sales.db的SQLite數(shù)據(jù)庫(kù)里面有一張sales_data表包含region區(qū)域、product產(chǎn)品、revenue收入等字段。# 主程序 if __name__ __main__: # 初始化Harness傳入數(shù)據(jù)庫(kù)路徑和OpenAI API Key harness SimpleHarness(sales.db, your-openai-api-key) # 用戶提出一個(gè)自然語(yǔ)言問(wèn)題 question 上個(gè)季度哪個(gè)區(qū)域的銷售額最高具體是多少 # 運(yùn)行智能體 final_answer harness.run_agent(question) print(f\n 處理結(jié)束 )可能的執(zhí)行過(guò)程輸出用戶問(wèn)題上個(gè)季度哪個(gè)區(qū)域的銷售額最高具體是多少 --- 步驟 1 --- 智能體思考用戶想了解上個(gè)季度銷售額最高的區(qū)域。我需要從數(shù)據(jù)庫(kù)的sales_data表中查詢數(shù)據(jù)。假設(shè)表中有‘quarter’、‘region’和‘revenue’字段。我需要先過(guò)濾出上個(gè)季度的數(shù)據(jù)然后按區(qū)域匯總收入最后找出最高的。 決策行動(dòng)sql_executor, 輸入SELECT region, SUM(revenue) as total_revenue FROM sales_data WHERE quarter Q2-2024 GROUP BY region ORDER BY total_revenue DESC LIMIT 1 工具執(zhí)行結(jié)果 region total_revenue 0 華東地區(qū) 1250000 --- 步驟 2 --- 智能體思考查詢結(jié)果顯示上個(gè)季度Q2-2024銷售額最高的區(qū)域是華東地區(qū)總銷售額為1,250,000。現(xiàn)在我需要根據(jù)這個(gè)結(jié)果用清晰的語(yǔ)言回答用戶的問(wèn)題。 決策行動(dòng)final_answer, 輸入根據(jù)數(shù)據(jù)上個(gè)季度2024年第二季度銷售額最高的區(qū)域是華東地區(qū)其總銷售額為1,250,000元。 最終答案根據(jù)數(shù)據(jù)上個(gè)季度2024年第二季度銷售額最高的區(qū)域是華東地區(qū)其總銷售額為1,250,000元。 處理結(jié)束 通過(guò)這個(gè)簡(jiǎn)單的例子你可以看到Harness Engineering如何將模糊的自然語(yǔ)言問(wèn)題轉(zhuǎn)化為一個(gè)結(jié)構(gòu)化的、可執(zhí)行的、并且每一步都可觀測(cè)和控制的流程。雖然這個(gè)原型非?；A(chǔ)缺少錯(cuò)誤恢復(fù)、復(fù)雜工作流編排等高級(jí)功能但它清晰地展示了“駕馭”AI的核心思想用確定性的程序邏輯去管理和引導(dǎo)非確定性的AI模型。5. 從原型到生產(chǎn)Harness Engineering的進(jìn)階挑戰(zhàn)與最佳實(shí)踐構(gòu)建一個(gè)可用的原型只是第一步。要將Harness投入生產(chǎn)環(huán)境解決真實(shí)業(yè)務(wù)問(wèn)題我們還需要面對(duì)一系列更嚴(yán)峻的挑戰(zhàn)并采納相應(yīng)的工程最佳實(shí)踐。5.1 挑戰(zhàn)一可靠性Reliability與錯(cuò)誤處理Error HandlingAI模型和外部服務(wù)如數(shù)據(jù)庫(kù)、API都可能出錯(cuò)。一個(gè)健壯的Harness必須具備完善的錯(cuò)誤處理機(jī)制。重試與退避對(duì)于暫時(shí)性錯(cuò)誤如網(wǎng)絡(luò)超時(shí)、API限流框架應(yīng)自動(dòng)重試并采用指數(shù)退避策略避免加重服務(wù)壓力。降級(jí)策略Fallback當(dāng)主要工具或模型失敗時(shí)應(yīng)有備用方案。例如如果GPT-4調(diào)用失敗可以自動(dòng)降級(jí)到GPT-3.5如果自動(dòng)SQL生成失敗可以轉(zhuǎn)交給一個(gè)更簡(jiǎn)單的關(guān)鍵詞查詢模板或直接提示用戶提供更明確的信息。超時(shí)控制為每個(gè)工具調(diào)用和LLM響應(yīng)設(shè)置嚴(yán)格的超時(shí)時(shí)間防止單個(gè)步驟卡死整個(gè)流程。事務(wù)與回滾對(duì)于涉及多步驟數(shù)據(jù)修改的任務(wù)需要考慮類似數(shù)據(jù)庫(kù)事務(wù)的機(jī)制。如果后續(xù)步驟失敗應(yīng)能回滾之前步驟已執(zhí)行的操作。這在自動(dòng)化流程中至關(guān)重要。5.2 挑戰(zhàn)二成本控制與性能優(yōu)化大規(guī)模使用LLM成本高昂延遲也可能成為問(wèn)題。智能路由根據(jù)任務(wù)的復(fù)雜度和對(duì)模型能力的要求將任務(wù)路由到不同成本的模型。簡(jiǎn)單的信息提取可以用小模型復(fù)雜的推理再用大模型。這需要框架具備模型路由的能力。緩存策略對(duì)頻繁出現(xiàn)的、結(jié)果確定的查詢?nèi)纭肮究偛康刂肥鞘裁础笨梢詫LM的響應(yīng)進(jìn)行緩存避免重復(fù)計(jì)算。對(duì)于工具調(diào)用結(jié)果如果數(shù)據(jù)更新不頻繁也可以緩存。Token使用優(yōu)化精心設(shè)計(jì)系統(tǒng)提示詞System Prompt和上下文管理避免攜帶不必要的冗長(zhǎng)歷史。使用摘要技術(shù)Summarization來(lái)壓縮長(zhǎng)對(duì)話歷史而非簡(jiǎn)單拼接。異步與流式處理對(duì)于長(zhǎng)耗時(shí)任務(wù)框架應(yīng)支持異步執(zhí)行并可能提供進(jìn)度反饋。對(duì)于文本生成支持流式輸出可以提升用戶體驗(yàn)。5.3 挑戰(zhàn)三評(píng)估、監(jiān)控與持續(xù)改進(jìn)MLOps for AI如何知道你的AI Harness運(yùn)行良好如何持續(xù)改進(jìn)它這需要建立一套針對(duì)AI工作流的MLOps實(shí)踐。定義評(píng)估指標(biāo)根據(jù)任務(wù)類型定義成功指標(biāo)。例如對(duì)于問(wèn)答系統(tǒng)可以是準(zhǔn)確率對(duì)于代碼生成可以是單元測(cè)試通過(guò)率對(duì)于工作流可以是端到端任務(wù)完成率。自動(dòng)化評(píng)估流水線構(gòu)建一個(gè)包含大量測(cè)試用例Golden Dataset的評(píng)估集。每次對(duì)Harness框架或Prompt進(jìn)行修改后自動(dòng)運(yùn)行評(píng)估集對(duì)比關(guān)鍵指標(biāo)的變化防止回歸。生產(chǎn)環(huán)境監(jiān)控除了傳統(tǒng)的應(yīng)用性能監(jiān)控APM還需要監(jiān)控AI特定指標(biāo)每次調(diào)用的Token消耗、成本、延遲、工具調(diào)用成功率、用戶反饋點(diǎn)贊/點(diǎn)踩等。設(shè)置警報(bào)當(dāng)錯(cuò)誤率或成本異常升高時(shí)及時(shí)通知。數(shù)據(jù)飛輪與持續(xù)學(xué)習(xí)收集生產(chǎn)環(huán)境中處理成功和失敗的案例經(jīng)過(guò)脫敏和審核將其作為新的訓(xùn)練數(shù)據(jù)或Few-shot示例用于持續(xù)優(yōu)化Prompt、工具描述或任務(wù)分解邏輯。5.4 挑戰(zhàn)四安全、合規(guī)與可控性在企業(yè)環(huán)境中安全永遠(yuǎn)是第一位的。工具調(diào)用沙箱對(duì)于執(zhí)行代碼、訪問(wèn)敏感系統(tǒng)的工具必須在嚴(yán)格的沙箱環(huán)境中運(yùn)行限制其權(quán)限和資源訪問(wèn)。輸入/輸出過(guò)濾與審查在所有與用戶交互的邊界點(diǎn)部署內(nèi)容安全過(guò)濾器防止生成或傳播有害信息。審計(jì)日志詳細(xì)記錄每一個(gè)用戶請(qǐng)求、AI的完整思考鏈Chain-of-Thought、所有的工具調(diào)用及其參數(shù)結(jié)果。這對(duì)于問(wèn)題排查、合規(guī)審計(jì)和模型行為分析不可或缺。人工在環(huán)Human-in-the-loop為關(guān)鍵決策點(diǎn)或低置信度結(jié)果設(shè)置“人工審批”環(huán)節(jié)。例如當(dāng)AI建議的營(yíng)銷文案涉及特定法規(guī)時(shí)必須由人類審核后才能發(fā)布。Harness Engineering的成熟意味著AI應(yīng)用開(kāi)發(fā)正從“煉金術(shù)”走向“工程學(xué)”。它要求開(kāi)發(fā)者不僅需要理解機(jī)器學(xué)習(xí)模型更需要具備扎實(shí)的軟件工程能力——設(shè)計(jì)模式、系統(tǒng)架構(gòu)、測(cè)試、部署、監(jiān)控。這場(chǎng)范式轉(zhuǎn)移正在重塑我們構(gòu)建智能軟件的方式。