納西姆·尼古拉斯·塔勒布在《黑天鵝》中講過一個(gè)著名的“火雞問題”。一只火雞每天都會(huì)得到主人的喂養(yǎng)第一天如此第一百天如此第五百天依然如此。隨著時(shí)間推移如果這只火雞會(huì)做統(tǒng)計(jì)它會(huì)發(fā)現(xiàn)一個(gè)無比穩(wěn)定的規(guī)律主人每天出現(xiàn)隨后帶來食物過去的樣本越多這條規(guī)律看起來就越可靠。到了第一千天火雞對(duì)這個(gè)世界的信心甚至可能達(dá)到頂點(diǎn)因?yàn)樗呀?jīng)積累了足夠多的歷史數(shù)據(jù)來證明“人類是來照顧我的”?？烧嬲S刺的是它最相信這條規(guī)律的時(shí)候可能恰恰距離感恩節(jié)最近。這個(gè)故事真正討論的不是火雞而是人類一個(gè)極其頑固的認(rèn)知習(xí)慣我們總是傾向于把“過去沒有發(fā)生”逐漸理解成“未來不會(huì)發(fā)生”。今天當(dāng) AI 從一個(gè)回答問題的工具逐漸變成能夠調(diào)用 API、訪問數(shù)據(jù)庫、操作云資源、發(fā)送郵件、執(zhí)行支付甚至連接現(xiàn)實(shí)設(shè)備的 Agent 時(shí)這個(gè)古老的問題正在以一種新的方式重新出現(xiàn)。一、真正危險(xiǎn)的可能不是 AI 經(jīng)常犯錯(cuò)而是它長期不犯錯(cuò)假設(shè)一家企業(yè)剛上線一個(gè) AI Agent。最初階段所有人通常都會(huì)非常謹(jǐn)慎它只能讀取信息不能直接修改數(shù)據(jù)高風(fēng)險(xiǎn)操作需要人工確認(rèn)轉(zhuǎn)賬有明確限額刪除操作需要額外審批所有執(zhí)行都有完整記錄。然后 Agent 連續(xù)運(yùn)行一個(gè)月沒有嚴(yán)重問題半年以后已經(jīng)成功完成幾十萬次任務(wù)一年以后甚至成為業(yè)務(wù)流程里最穩(wěn)定的一部分。于是原本合理的安全邊界開始被重新審視既然每一次人工確認(rèn)最終都是“同意”為什么不能取消既然 Agent 從來沒有濫用過權(quán)限為什么不能開放更多工具既然過去十萬次執(zhí)行都沒有嚴(yán)重錯(cuò)誤為什么還要讓它在關(guān)鍵步驟停下來等待額外檢查從效率角度看這些問題都很合理甚至每一步都有歷史數(shù)據(jù)支持但這恰恰也是火雞理解世界的方式。過去一千次有人喂食于是第一千零一次似乎也應(yīng)該如此Agent 過去十萬次執(zhí)行正確于是第十萬零一次似乎也應(yīng)該正確。真正危險(xiǎn)的地方并不只是這種推斷可能失敗而是過去的成功會(huì)不斷改變我們愿意給系統(tǒng)多少權(quán)力。隨著信任增加人工確認(rèn)減少權(quán)限擴(kuò)大執(zhí)行范圍延伸原本存在的隔離逐漸被視為低效率和歷史包袱。因此一個(gè)非常反直覺的風(fēng)險(xiǎn)出現(xiàn)了AI 越穩(wěn)定我們越愿意撤掉限制AI 越可靠我們越愿意擴(kuò)大它的執(zhí)行半徑而真正錯(cuò)誤發(fā)生時(shí)它能夠造成的后果反而可能比最初更大。長期成功本身可能成為制造脆弱性的過程。二、99.99% 的正確率不能回答最重要的問題現(xiàn)代技術(shù)世界特別喜歡準(zhǔn)確率、成功率和可用率。當(dāng)一個(gè) Agent 的任務(wù)成功率達(dá)到 99.9% 或 99.99% 時(shí)人們很自然地會(huì)把這個(gè)數(shù)字與“安全”聯(lián)系在一起。但在高風(fēng)險(xiǎn)執(zhí)行系統(tǒng)里這種平均值往往不能回答最重要的問題因?yàn)椴煌e(cuò)誤的后果并不是線性的。一個(gè) AI 助手答錯(cuò)一道普通問題代價(jià)可能只是用戶重新問一次一個(gè) Agent 發(fā)錯(cuò)一封內(nèi)部郵件也許只是一次溝通事故。但如果同一個(gè)系統(tǒng)擁有生產(chǎn)數(shù)據(jù)庫刪除權(quán)限、企業(yè)資金支付能力或關(guān)鍵設(shè)備控制接口那么一次錯(cuò)誤就可能造成完全不同量級(jí)的損失。前 99999 次操作都正確最后一次誤刪了生產(chǎn)數(shù)據(jù)從統(tǒng)計(jì)意義上看系統(tǒng)依然接近完美可對(duì)于企業(yè)而言這個(gè)平均值可能已經(jīng)沒有多少意義。這也是《黑天鵝》中最值得重新理解的地方之一在某些領(lǐng)域一個(gè)極端事件足以壓過大量正常樣本。AI Agent 越來越接近這樣的世界它的真正風(fēng)險(xiǎn)不一定來自“經(jīng)常犯錯(cuò)”而可能來自一次低概率、不可逆、具有巨大外部性的執(zhí)行。所以當(dāng) AI 開始擁有改變現(xiàn)實(shí)的能力以后我們真正應(yīng)該問的不只是“它平均有多可靠”而應(yīng)該增加另一個(gè)問題它最壞的那一次能夠走多遠(yuǎn)前一個(gè)問題關(guān)注正確率后一個(gè)問題關(guān)注錯(cuò)誤的影響半徑。模型當(dāng)然應(yīng)該越來越可靠但如果所有安全信心最終都建立在“模型已經(jīng)足夠可靠所以可以取消邊界”上我們只是換了一種方式重新犯火雞的錯(cuò)誤。三、事故能夠被解釋不代表事故能夠被預(yù)測另一個(gè)常見錯(cuò)覺是把事后解釋能力誤認(rèn)為事前預(yù)測能力。金融危機(jī)發(fā)生以后人們可以回頭指出杠桿率、流動(dòng)性和資產(chǎn)泡沫系統(tǒng)故障發(fā)生以后工程師可以在日志里找到幾小時(shí)前已經(jīng)異常的指標(biāo)AI Agent 越界以后我們也可以重新檢查 Prompt、上下文和工具調(diào)用鏈然后指出某個(gè)時(shí)刻其實(shí)已經(jīng)出現(xiàn)了風(fēng)險(xiǎn)征兆。這些分析當(dāng)然有價(jià)值但它們很容易帶來一種過度自信既然事故發(fā)生以后能夠找出原因那么下一次只要監(jiān)控得更聰明、模型看得更多、異常檢測做得更細(xì)就應(yīng)該能夠提前發(fā)現(xiàn)同類問題。問題在于事后解釋和事前預(yù)測從來不是同一種能力。一個(gè)異常指標(biāo)在事故發(fā)生以后看起來非常明顯在事故發(fā)生以前卻可能只是大量噪聲中的一個(gè)一種 Agent 行為事后看起來明顯越界當(dāng)時(shí)卻可能與普通探索行為沒有本質(zhì)區(qū)別。因此AI 安全不能把最后一道防線全部建立在“我們一定能夠提前看懂它什么時(shí)候要犯錯(cuò)”這個(gè)假設(shè)上。真正重要的問題應(yīng)該變成如果有一天我們沒有提前發(fā)現(xiàn)系統(tǒng)還能不能承受這正是預(yù)測和控制之間的區(qū)別。預(yù)測試圖告訴我們未來會(huì)發(fā)生什么而控制承認(rèn)我們可能無法知道未來卻仍然可以限制未來能夠造成什么后果。我們不知道 Agent 下一次會(huì)不會(huì)誤判但可以限制單次支付金額不知道哪一種上下文會(huì)被污染但可以規(guī)定某些生產(chǎn)對(duì)象不能被單一主體直接刪除不知道哪一種未知狀態(tài)第一次出現(xiàn)但可以讓缺失、沖突和不確定本身成為拒絕繼續(xù)執(zhí)行的理由。不能預(yù)測錯(cuò)誤不等于不能限制錯(cuò)誤。四、真正侵蝕安全邊界的往往不是失敗而是成功安全機(jī)制有一個(gè)天然困境如果它長期有效人們反而很難感受到它的價(jià)值。消防通道絕大多數(shù)時(shí)間沒有人使用備用電源可能幾年都不會(huì)真正啟動(dòng)一個(gè)最終否決機(jī)制也許連續(xù)數(shù)年都沒有拒絕過一次執(zhí)行。于是從組織效率的角度看這些東西很容易逐漸變成“低利用率資產(chǎn)”。如果三年都沒有觸發(fā)為什么還要維護(hù)如果 Agent 從來沒有誤操作為什么還需要這個(gè)限制如果人工審批每次最終都是同意為什么不能取消問題在于這種邏輯把“事故沒有發(fā)生”和“防止事故的機(jī)制沒有價(jià)值”混成了一件事?，F(xiàn)實(shí)中經(jīng)常恰恰相反長期沒有出現(xiàn)嚴(yán)重后果可能正是因?yàn)槟切┛雌饋淼托?、保守、冗余的機(jī)制一直存在。于是安全會(huì)形成一種微妙的悖論成功會(huì)逐漸侵蝕產(chǎn)生成功的條件。事故少了預(yù)算開始削減邊界很少被觸發(fā)邊界開始被取消人工極少否決 Agent于是人工被視為可以自動(dòng)化掉的最后摩擦。直到第一次真正不同于過去的問題出現(xiàn)人們才重新問為什么當(dāng)初沒有留下最后一道保護(hù)對(duì)于 AI 系統(tǒng)而言真正危險(xiǎn)的時(shí)刻也許不是它表現(xiàn)很差的時(shí)候而是它已經(jīng)表現(xiàn)得足夠好讓組織開始相信那些原本用于限制極端錯(cuò)誤的機(jī)制已經(jīng)沒有必要的時(shí)候。五、AI 系統(tǒng)真正需要為“第 100001 次”設(shè)計(jì)今天的大部分 AI 優(yōu)化都在努力改善前十萬次執(zhí)行讓模型更聰明、更穩(wěn)定降低幻覺提高任務(wù)成功率讓工具調(diào)用更加準(zhǔn)確。這些工作當(dāng)然重要但一個(gè)真正進(jìn)入高風(fēng)險(xiǎn)現(xiàn)實(shí)系統(tǒng)的 Agent還必須為另一個(gè)數(shù)字設(shè)計(jì)——第 100001 次。那一次可能來自一種訓(xùn)練數(shù)據(jù)里沒有出現(xiàn)過的組合可能是兩個(gè)原本安全的系統(tǒng)發(fā)生意外交互也可能是環(huán)境狀態(tài)突然變化或者某個(gè)很小的理解錯(cuò)誤被高速自動(dòng)化放大。更重要的是那一次問題發(fā)生以前可能沒有任何人能夠清楚解釋它為什么危險(xiǎn)。一個(gè)成熟系統(tǒng)的價(jià)值應(yīng)該在這里體現(xiàn)出來。它并不承諾 AI 永遠(yuǎn)不會(huì)犯錯(cuò)而是保證某些錯(cuò)誤即使真的發(fā)生也無法無條件穿透所有邊界。這并不是只屬于 AI 的新思想我們無法保證司機(jī)永遠(yuǎn)不犯錯(cuò)所以汽車有剎車、護(hù)欄和安全氣囊無法保證電網(wǎng)永遠(yuǎn)正常所以有斷路器無法保證建筑永遠(yuǎn)不失火所以保留消防通道。它們的共同點(diǎn)不是能夠提前預(yù)測下一次事故而是承認(rèn)事故終究可能發(fā)生因此提前限制事故可以造成的最大后果。AI Agent 最終也需要進(jìn)入這樣的工程階段安全不能只停留在證明模型越來越值得信任而應(yīng)該進(jìn)一步保證即使模型在絕大多數(shù)時(shí)候都值得信任系統(tǒng)也不會(huì)把所有現(xiàn)實(shí)變化的權(quán)力集中在某一次判斷之上。六、《黑天鵝》真正教我們的不是如何預(yù)測下一只黑天鵝很多人讀完《黑天鵝》以后本能地會(huì)問既然黑天鵝如此危險(xiǎn)那我們怎樣找到下一只黑天鵝但真正重要的并不是成為一個(gè)越來越厲害的預(yù)言家而是接受一個(gè)不太舒服的事實(shí)世界里始終存在一些我們看不見、算不到也無法提前解釋清楚的東西。成熟并不意味著越來越確信自己能夠預(yù)測未來而是知道即使預(yù)測失敗系統(tǒng)也不能因此失去全部邊界。今天的 AI 正在獲得越來越強(qiáng)的能力它們能夠理解更長的上下文、規(guī)劃更復(fù)雜的任務(wù)也越來越能夠直接參與真實(shí)世界執(zhí)行。但能力越強(qiáng)我們越容易產(chǎn)生另一個(gè)危險(xiǎn)的心理既然它已經(jīng)這么可靠也許那些限制可以慢慢取消既然十萬次都沒有出事也許下一次不用再檢查既然模型越來越聰明也許最終只需要相信模型本身?！逗谔禊Z》真正令人不舒服的提醒就在這里過去不斷重復(fù)的事實(shí)只能證明過去它不能替我們消滅未來的未知。所以真正成熟的 AI 系統(tǒng)不應(yīng)該以“終于造出了一個(gè)不會(huì)犯錯(cuò)的智能”為最終目標(biāo)。更現(xiàn)實(shí)、更重要的目標(biāo)是即使它在最意外的那一次犯了錯(cuò)我們?nèi)匀粵]有把全部現(xiàn)實(shí)交給它。安全邊界的價(jià)值也從來不應(yīng)該通過它平時(shí)觸發(fā)了多少次來衡量。它存在的意義是為那個(gè)我們無法提前指出時(shí)間、無法預(yù)先描述形式、甚至今天根本還想不到的“第 100001 次”留下空間?！逗谔禊Z》真正提醒我們的從來不是如何準(zhǔn)確預(yù)測下一次意外而是不要因?yàn)闀簳r(shí)看不見意外就把承受意外的能力一起拿掉。AI 時(shí)代我們正在重新面對(duì)這個(gè)古老的問題。不同的是這一次我們所信任的系統(tǒng)已經(jīng)不只是越來越會(huì)判斷它也正在越來越有能力直接改變現(xiàn)實(shí)。