看到某個技術(shù)社區(qū)冒出一條項目帖子標(biāo)題只有一句話Doom Compiled into an LLM。我的第一反應(yīng)不是“太酷了”而是一連串問題這個 Doom 是真正可以交互的畫面還是一段不斷生成出來的視頻它真的跑在模型里面還是模型只是在給原來的游戲引擎打輔助如果把游戲“編譯”進一組權(quán)重里那“運行”這個詞到底還算不算成立這些問題比標(biāo)題本身更值得展開。這些年我們已經(jīng)見過太多“AI 跑游戲”的變體有讓模型當(dāng)玩家去操作 Doom 的有讓模型預(yù)測下一個畫面來模擬游戲引擎的也有只是把游戲畫面當(dāng)作視頻生成任務(wù)來做“看起來像”的。標(biāo)題里的 compiled 太有煽動性它讓你以為有人把 Doom 的源代碼變成了一堆參數(shù)然后一個 LLM 在內(nèi)部像 CPU 一樣執(zhí)行它。這個想象很浪漫但技術(shù)上的真相要復(fù)雜得多也更值得仔細拆。這篇文章不打算復(fù)述任何安裝步驟也不假設(shè)那個項目的內(nèi)部實現(xiàn)只有一種。我只想從原理上把這類事情拆清楚什么叫做“游戲跑在 LLM 里”它和傳統(tǒng)模擬器有什么本質(zhì)差別為什么選 Doom以及我們判斷這種 Demo 時到底應(yīng)該看哪些細節(jié)。1. 先別急著驚嘆先拆開“編譯進 LLM”這句話1.1 一個標(biāo)題至少包含三種完全不同的技術(shù)方案只看“Doom Compiled into an LLM”這個標(biāo)題普通人會想到一個畫面模型內(nèi)部有一個活著的游戲有人按鍵盤游戲就更新畫面。但從工程實現(xiàn)上講這個標(biāo)題至少可能指向三種完全不同的東西第一LLM 只是“玩家”引擎還在外面。模型拿到的輸入是屏幕像素或游戲狀態(tài)它輸出動作真實引擎負責(zé)計算碰撞、傷害和下一幀。這種做法在強化學(xué)習(xí)里很常見某種意義上只是“用 LLM 玩 Doom”并不算編譯進 LLM。第二LLM 是“世界模型”用來替代游戲的狀態(tài)更新函數(shù)。輸入當(dāng)前狀態(tài)和玩家動作輸出下一個狀態(tài)或下一幀畫面。游戲不再按二進制代碼執(zhí)行而是按模型的預(yù)測生成。這才是更接近“編譯進模型”的方向。第三LLM 只做局部補全混合外部邏輯。地圖規(guī)則、敵人 AI、傷害判定仍由傳統(tǒng)代碼控制模型只負責(zé)把狀態(tài)渲染成畫面或者把玩家的自然語言指令轉(zhuǎn)成動作。這種方案看著最通用但它更像是一個大模型中控系統(tǒng)。同一個標(biāo)題三種實現(xiàn)技術(shù)含量完全不同。如果只是為了欣賞視覺效果第三種可能最容易出效果但如果說“編譯進 LLM”那真正值得討論的是第二種。1.2 “編譯”更適合被理解成一種比喻傳統(tǒng)意義上的編譯是把高級語言翻譯成機器指令然后硬件逐條執(zhí)行。這個過程是可解釋的也是確定性的同一份代碼在同樣環(huán)境下運行結(jié)果一致。而把一個游戲訓(xùn)練進神經(jīng)網(wǎng)絡(luò)完全不是這種邏輯。模型并不知道自己“內(nèi)部有一個 Doom”它只是從海量數(shù)據(jù)里學(xué)會了一件事情給定某個畫面和某個操作下一步畫面大概是怎樣的。更準(zhǔn)確的說法是人們把一個可執(zhí)行程序的狀態(tài)轉(zhuǎn)移關(guān)系壓縮成了一大組參數(shù)。所以這個“編譯”的含義其實更接近“用擬合代替執(zhí)行”圖的是好聽而不是精確。如果你要用這個說法去和同事溝通最好先解釋清楚它不是說模型內(nèi)部跑著一個二進制鏡像也不是說權(quán)重里藏著完整的代碼邏輯。更準(zhǔn)確的理解是一段傳統(tǒng)程序的功能被神經(jīng)網(wǎng)絡(luò)的參數(shù)化表示替代了。注意看到這類標(biāo)題時先不要腦補“模型里真的在運行一個游戲引擎”。大多數(shù)情況下它只是把“狀態(tài)到狀態(tài)的映射”變成了“網(wǎng)絡(luò)前向計算的預(yù)測”。2. 為什么這種實驗偏偏要選 Doom2.1 Doom 是 AI 研究里一塊繞不開的試驗田如果只是想證明“模型能生成連續(xù)視頻畫面”其實有很多更簡單的選擇比如 Minecraft 的走路演示或者找一個固定攝像頭下的街道場景。但 Doom 不一樣。Doom 不是一段風(fēng)景視頻它是一個實時、第一人稱、需要玩家在三維空間里移動和射擊的游戲。畫面里有敵人移動、彈道飛行、開門、傷害數(shù)字還有玩家自己視角的轉(zhuǎn)動。這些元素讓模型不能只學(xué)著生成“看起來像像素的畫面”它必須處理好空間關(guān)系、遮擋變化和動作與結(jié)果的因果關(guān)系。強化學(xué)習(xí)研究里Doom 早就不是一個普通游戲了。它長期被用來測試智能體在視覺導(dǎo)航、對抗決策和部分可觀測環(huán)境里的表現(xiàn)。因為它有明確的獎勵信號擊殺、生存、到達終點又有肉眼可見的復(fù)雜環(huán)境狀態(tài)天然適合作為控制算法的試驗場景。所以當(dāng)一個項目說“我把 Doom 跟 LLM 結(jié)合了”這件事本身就帶著強烈的實驗味道它不是拿一個簡單任務(wù)刷指標(biāo)而是在挑戰(zhàn)一個動態(tài)畫面的因果推理問題。2.2 對 LLM 來說真正難的不是畫得像而是“換一個動作畫面必須相應(yīng)地變”很多人誤解視頻生成模型的難點以為只要每一幀都清晰整體就成功了。但在游戲模擬里畫面清晰只是底線模型必須做到“我按了左轉(zhuǎn)視野右側(cè)的東西必須移動過去我開槍敵人必須倒下我走過頭地圖必須符合空間結(jié)構(gòu)”。這在機器學(xué)習(xí)里有個樸素的說法叫一致性但實現(xiàn)起來非常難。LLM 天生是自回歸的它一幀一幀地預(yù)測下一個 token每一次預(yù)測都有出錯的可能。游戲狀態(tài)是有結(jié)構(gòu)的如果模型只是把當(dāng)前畫面當(dāng)作一張孤立圖片沒有利用過去若干幀和當(dāng)前動作那它的輸出很快會變得飄忽墻會變形敵人會瞬間瞬移玩家可能穿過本來不該穿過的障礙物。Doom 的價值就在于它把所有這些問題一次性暴露出來。連續(xù)動作、三維空間、實時反饋、看不見的角落幾乎每一項都在考驗?zāi)Ｐ偷拈L期記憶和狀態(tài)跟蹤能力。這也是我認為它是絕佳試金石的原因——任何一點內(nèi)部機制偷懶都會在畫面里露出破綻。2.3 復(fù)古游戲在視覺上降低了門檻但沒有降低因果維度選擇老游戲還有一個現(xiàn)實原因Doom 的畫面相對低分辨率調(diào)色板簡單模型生成這樣的畫面比生成 4K 寫實場景容易得多。它可以減少“畫質(zhì)不好”帶來的干擾讓討論更集中于“游戲規(guī)則是否成立”。但不要因為這個就說它簡單。畫面可以模糊規(guī)則卻不能邏輯不通。換句話說Doom 降低的是生成難度不是推理難度。3. 一個可以照做的拆解這類 Demo 最少需要哪幾塊組件如果你不是只想看別人表演而是想自己復(fù)現(xiàn)或改造一個類似項目那最少要準(zhǔn)備四塊東西。這是一個通用框架不一定嚴(yán)格和原始項目一一對應(yīng)但足夠幫助你理解問題邊界。3.1 第一塊能產(chǎn)生帶動作標(biāo)簽的狀態(tài)軌跡訓(xùn)練數(shù)據(jù)是整個方案的地基。你需要讓某個“外部玩家”先玩很多把 Doom把每一時刻的游戲狀態(tài)和玩家動作記錄下來形成(state_t, action_t) - state_{t1}這樣的樣本。這個外部玩家可以是人也可以是一個簡單的腳本甚至可以是一個預(yù)先訓(xùn)練好的強化學(xué)習(xí)代理。關(guān)鍵在于數(shù)據(jù)要有足夠的動作覆蓋面。如果數(shù)據(jù)里 90% 都只是往前走那模型就學(xué)不會“轉(zhuǎn)身”“跳”“開槍”之后世界會發(fā)生什么。實際工程里數(shù)據(jù)多樣性不足造成的影響往往比模型結(jié)構(gòu)選擇更大。記錄下來的狀態(tài)也有很多種形式直接記錄屏幕幀也就是視覺狀態(tài)提取隱藏的游戲變量比如玩家坐標(biāo)、朝向、血量、彈藥同時記錄兩者讓模型既能看到畫面也能知道真實邏輯狀態(tài)。實踐提示如果只是為了盡快驗證想法不要一開始采集大量人類玩家數(shù)據(jù)。先讓一個確定性腳本去推送各方向移動和攻擊指令生成少量樣本觀察模型是否能在短序列里保持基本一致性再逐步加數(shù)據(jù)。這樣可以先判斷“這條路能不能通”再決定要不要燒訓(xùn)練成本。3.2 第二塊把畫面和動作變成模型能讀的 tokenLLM 不是直接“看圖片”的它處理的是離散 token。所以要做兩件事一是把圖像壓縮成離散表示常見做法叫 tokenization也就是讓視覺編碼器把一幀圖變成幾十或幾百個視覺 token。二是把動作文本化比如把“向左轉(zhuǎn)、前進、開槍”表示成一個動作描述串拼到畫面 token 前面。這里有個隱藏的設(shè)計選擇到底把上一幀畫面?zhèn)鬟M去還是把過去好幾幀畫面?zhèn)鬟M去如果只傳當(dāng)前幀模型沒有運動信息畫面很容易閃爍。如果傳過去幾十幀計算量會很大而且上下文窗口很快就滿了。很多這類項目最終采用折中方案傳最近幾幀圖像再疊加一些高層狀態(tài)描述比如“玩家當(dāng)前在走廊拐角面前有敵人”。模型輸入不一定是像素。你也可以把地圖信息表示成 token。這樣做的好處是邏輯更穩(wěn)定壞處是失去了“純畫面輸入”的通用性。實際上不同項目做這種選擇時已經(jīng)決定了模型的定位是做體驗生成器還是做邏輯仿真器。3.3 第三塊讓模型做“條件下一個狀態(tài)”的預(yù)測訓(xùn)練完之后推理階段是一個自回歸循環(huán)。簡化后的流程如下# 示例結(jié)構(gòu)LLM 作為狀態(tài)生成器的循環(huán) state_t initial_state while running: action get_player_action() # 把上一段狀態(tài)、動作、歷史幀編碼成輸入 prompt make_prompt(state_history, action) # 模型輸出下一狀態(tài)的 token 表示 next_tokens llm.generate(prompt) # 解碼成新一幀畫面以及可選的語義狀態(tài) state_t decode(next_tokens) render(state_t) state_history.append(state_t)這段偽代碼揭示了一個核心問題模型輸出的下一狀態(tài)會成為下一次預(yù)測的輸入。一旦某一步預(yù)測錯誤錯誤不會停留在一幀而是會不斷傳播畫面會越來越偏離真實游戲狀態(tài)。在實際訓(xùn)練里很多人會增加一些防漂移手段比如讓模型偶爾看到“帶噪聲的自己上一輪輸出”逼它學(xué)會從錯誤狀態(tài)里恢復(fù)。這和 NLP 里的暴露偏差問題本質(zhì)是一樣的。3.4 第四塊一個不只看畫面像不像的評估方法評測是這類項目里最容易偷懶的地方。很多演示做出來視頻看著流暢觀眾會很興奮。但如果拿“真實 Doom 引擎在同一操作序列下的輸出”作為標(biāo)準(zhǔn)答案模型的輸出很快就會跑偏。一個合格的評估不只要看下一幀的像素誤差還要看玩家位置是否在空間上連續(xù)經(jīng)過門后是否到了正確房間血量、彈藥數(shù)字是否和畫面里的狀態(tài)對應(yīng)連續(xù)跑 200 步后世界有沒有變成一堆毫無結(jié)構(gòu)的色塊如果從第 50 幀起始接著跑場景是否和從第 1 幀完整跑過來一致。這些指標(biāo)很難用一個最終數(shù)值概括。它更像一套健康檢查每一項都在回答“模型是否真的理解了游戲狀態(tài)”。4. 我看到的真正價值不是多了一個“會打游戲”的模型而是多了一種“運行時”4.1 從“執(zhí)行二進制”到“生成下一步狀態(tài)”傳統(tǒng)游戲是一個嚴(yán)密的三層結(jié)構(gòu)輸入設(shè)備把操作送進游戲邏輯游戲邏輯更新內(nèi)存里的狀態(tài)渲染器把狀態(tài)畫成畫面。整個過程每一步都在執(zhí)行程序員寫死的指令。而“把 Doom 編譯進 LLM”這類嘗試悄悄改變了最核心的那一層狀態(tài)更新不靠指令執(zhí)行靠模型預(yù)測。相當(dāng)于把游戲從“可以被解釋的確定性程序”變成“從數(shù)據(jù)里學(xué)出來的概率模型”。這個變化的意義不在游戲本身而在于它提供了一個思維模型我們并不一定非要為所有交互系統(tǒng)寫復(fù)雜的狀態(tài)機。如果有足夠數(shù)據(jù)和算力一個模型可以學(xué)會狀態(tài)轉(zhuǎn)移的規(guī)律并在運行時以生成的方式重建交互體驗。這就是世界模型思路的核心。它不只適用于游戲也適用于機器人、自動駕駛、仿真環(huán)境和內(nèi)容生成工具。Doom 只是這個思路最簡單也最直觀的測試殼。4.2 新運行時帶來新問題傳統(tǒng)程序的好處是確定性和可調(diào)試性。你可以復(fù)現(xiàn) bug可以查 memory可以單步執(zhí)行。一旦邏輯被參數(shù)化之后這些都不再天然成立。模型運行游戲時最讓人頭疼的問題就是不可復(fù)現(xiàn)和不穩(wěn)定。同樣一段輸入由于采樣帶有隨機性模型可能生成兩種截然不同的后續(xù)狀態(tài)。你覺得是 bug但它只是模型的概率分布里自然而然出現(xiàn)的樣本。這意味著我們對待“運行結(jié)果”的態(tài)度要改變。以前我們會說“游戲崩了”現(xiàn)在可能要區(qū)分“畫面崩了”“狀態(tài)崩了”和“因果崩了”——三個問題對應(yīng)的修復(fù)方式完全不一樣。4.3 模型的極限在哪里目前任何聲稱把游戲跑在 LLM 里的項目都無法回避三個硬約束速度。LLM 生成一幀需要大量前向計算和傳統(tǒng)引擎每秒鐘幾十次的邏輯循環(huán)相比慢很多個數(shù)量級。上下文窗口。完整游戲狀態(tài)無法全部塞進上下文。真實項目通常只保留最近若干幀這決定了模型不可能擁有真正完整的長期記憶。錯誤累積。自回歸生成天然存在漂移。就算單步預(yù)測準(zhǔn)確率是 99%誤差疊加幾百步后仍然可能面目全非。所以更現(xiàn)實的工程路徑往往不是完全放棄傳統(tǒng)代碼而是混合傳統(tǒng)代碼負責(zé)高精度的碰撞和進度管理模型負責(zé)內(nèi)容生成和體驗補全。想要一步到位用模型替代整個引擎至少在目前還不現(xiàn)實。5. 驗證清單不被演示視頻帶走要怎么判斷這類 Demo 是否成立5.1 四條檢查原則如果你以后再看到“某某游戲跑在模型里”的演示別只看前幾秒畫面有多流暢。我建議用四條原則來判斷它是否真的成立。外觀層畫面是否清晰穩(wěn)定但這只代表生成能力不表示游戲邏輯成立。邏輯層玩家的操作和畫面變化是否符合真實游戲規(guī)則比如開槍后敵人是否會死推開門的動作是否導(dǎo)致新的空間出現(xiàn)。記憶層模型能否記住物品數(shù)量、血量、地圖位置這類跨幀狀態(tài)很多 Demo 在這一點上會露餡。邊界層如果輸入訓(xùn)練數(shù)據(jù)里沒見過的新操作比如用特殊方式卡進墻角模型會怎么反應(yīng)能不能給出合理反饋還是直接混亂這套檢查原則可以幫你在五分鐘內(nèi)判斷一個演示是真正的工程突破還是只是好看的視覺生成。5.2 一份最小可執(zhí)行的檢驗流程如果項目可以自己運行我會建議你按下面的步驟驗證而不是只看作者生成的視頻先把所有隨機種子固定住跑一條動作序列記錄輸出。重復(fù)多次相同實驗看結(jié)果是否穩(wěn)定。如果每次都不一樣說明系統(tǒng)里存在較強的采樣不確定性需要進一步確認是不是設(shè)計如此。加入訓(xùn)練分布之外的極端操作比如一直向后走、在墻角反復(fù)抖動、連續(xù)快速切換武器。好的世界模型就算做不到完全準(zhǔn)確也要給出可理解的反應(yīng)。觀察畫面上的數(shù)值類信息比如血量、彈藥、關(guān)卡計時器是否與你的操作和戰(zhàn)斗結(jié)果一致。從第 1 步和第 50 步分別作為起點執(zhí)行完全相同的后續(xù)動作比較兩種情況下輸出的狀態(tài)差異。差異越大說明模型的長期狀態(tài)保持越弱。這套流程可以復(fù)用于大多數(shù)“用模型做世界模擬”的項目不需要作者提供任何內(nèi)部代碼。5.3 常見翻車點在猜測或復(fù)現(xiàn)這類項目時下面這幾種情況我?guī)缀跻欢〞龅健１韺蝇F(xiàn)象深層原因建議驗證方式畫面遠處出現(xiàn)扭曲模型沒有建立完整三維結(jié)構(gòu)只做局部補全讓視角快速旋轉(zhuǎn)觀察邊緣是否有穩(wěn)定幾何結(jié)構(gòu)血量減少但敵人沒死模型把血量和敵人狀態(tài)當(dāng)作兩個獨立視覺屬性對照擊殺動作和數(shù)值變化之間的因果關(guān)系走過一扇門后場景跳變模型上下文窗口無法保存完整地圖拓撲記錄路徑然后反向走回看能否回到同一場景長時間運行后畫面越來越模糊自回歸錯誤累積模型正在失去結(jié)構(gòu)化記憶在長時間運行后重置觀察條件對比前后差異短片段很流暢長片段很快崩演示視頻只截取了狀態(tài)漂移前的片段要求作者提供完整無剪輯 session或自己連續(xù)運行我不是在說每個項目都會翻車而是想強調(diào)從“幾步生成很像”到“一個可以用狀態(tài)機標(biāo)準(zhǔn)來驗證的模擬器”之間還有很長一段路。大多數(shù)演示都處在這條路的中間某個點。6. 這類 Demo 真正值得長期關(guān)注的不只是游戲如果把 Doom 這個殼拿掉剩下的問題其實非常本質(zhì)我們能不能把“對世界的模擬”從手寫邏輯變成從數(shù)據(jù)中學(xué)習(xí)出來的生成過程如果答案是能那么同樣方法可以用來生成高質(zhì)量的虛擬仿真環(huán)境、用來做內(nèi)容生產(chǎn)的交互體驗也可以用在機器人訓(xùn)練里合成大量有反饋的場景。但我也會提醒一句不要把這類項目理解為“以后可以用 LLM 重寫所有引擎”。那是因為傳統(tǒng)引擎具備明確可控、高效穩(wěn)定、可調(diào)試等特性目前模型很難同時提供這些能力。更合理的方向是二者共存——傳統(tǒng)邏輯負責(zé)邊界與規(guī)則模型負責(zé)開放內(nèi)容和低成本仿真。另外一個值得長期關(guān)注的點是這類項目讓“模型與環(huán)境的閉環(huán)”成為了一個可復(fù)現(xiàn)的研究對象。以前我們討論 LLM多半是給它一段文本讓它給出一段文本但當(dāng) LLM 需要持續(xù)接收上一輪輸出、繼續(xù)決定下一輪狀態(tài)時它就進入了一個真正面向世界的交互范式。在這里錯誤、記憶、不確定性都不是附帶現(xiàn)象而是核心問題。這個方向?qū)碜铍y的大概率不是讓一幀畫面更逼真而是讓模型具備“知道自己不知道什么”的能力。因為游戲世界是封閉的、狀態(tài)有限的Doom 這類場景還能靠大量數(shù)據(jù)覆蓋。一旦面對真實世界那種無限開放的狀態(tài)空間模型如何在不確定的地方停下、求穩(wěn)、更新才是真正的分水嶺。下次再看到類似標(biāo)題我的建議是不要先問“能不能跑”而是先問“它到底以什么方式跑”。是模型作為大腦在操控外部引擎還是模型作為世界模型在內(nèi)部生成整個狀態(tài)前者會讓我們看到越來越多“會玩游戲”的對話模型后者才會把我們帶向“可生成、可交互的世界模擬器”。Doom 只是這場變化里最顯眼的一塊試金石真正的演變還在后面。