前幾天在幾個(gè)技術(shù)交流群里看到一條消息摩爾線程用自己家的GPU訓(xùn)練出了一個(gè)世界模型。我第一反應(yīng)是去翻生成效果第二反應(yīng)才去看訓(xùn)練規(guī)模、卡數(shù)和耗時(shí)。看完之后實(shí)話實(shí)說(shuō)心里有點(diǎn)感慨——兩年前很多人還覺(jué)得國(guó)產(chǎn)GPU做訓(xùn)練屬于“紙面方案”現(xiàn)在真的有人把訓(xùn)練這件事跑通了而且是在世界模型這種特別吃顯存、特別吃通信、特別吃生態(tài)的任務(wù)上。這篇文章不打算復(fù)述新聞也不吹誰(shuí)踩誰(shuí)。我更想借著這件事把“國(guó)產(chǎn)GPU到底能不能打H100”這個(gè)問(wèn)題拆開(kāi)揉碎講清楚哪些環(huán)節(jié)是真的突破了哪些地方還需要冷靜看待以及如果你是一個(gè)普通算法工程師或者負(fù)責(zé)AI基礎(chǔ)設(shè)施的人現(xiàn)階段應(yīng)該怎么評(píng)估和選擇國(guó)產(chǎn)算力。1. 一條讓人意外的消息國(guó)產(chǎn)GPU真的訓(xùn)出了世界模型1.1 這次突破和以前有什么不一樣先說(shuō)背景。摩爾線程是國(guó)內(nèi)做GPU的廠商之一產(chǎn)品線覆蓋消費(fèi)級(jí)顯卡和數(shù)據(jù)中心算力卡軟件棧叫MUSA對(duì)外主打?qū)UDA生態(tài)的兼容能力同時(shí)也有面向大模型訓(xùn)練的智算集群方案。以前大家提起國(guó)產(chǎn)GPU最常見(jiàn)的質(zhì)疑是“只能做推理不能做訓(xùn)練”。推理是模型訓(xùn)完之后的前向計(jì)算對(duì)算力要求相對(duì)單純顯存夠、算子基本覆蓋就能跑。但訓(xùn)練是另一回事它需要完整的反向傳播、梯度同步、優(yōu)化器狀態(tài)維護(hù)、斷點(diǎn)續(xù)訓(xùn)還要處理分布式采樣和數(shù)據(jù)加載這些鏈路里的每一環(huán)都會(huì)暴露硬件或軟件棧的短板。這次摩爾線程宣布在自家GPU上訓(xùn)練出一個(gè)世界模型相當(dāng)于把“從數(shù)據(jù)到權(quán)重更新”的整個(gè)閉環(huán)打通了。不管是參數(shù)量級(jí)還是生成效果公開(kāi)的演示內(nèi)容已經(jīng)能看出模型確實(shí)具備了一定程度的時(shí)序預(yù)測(cè)和動(dòng)態(tài)生成能力。對(duì)業(yè)界來(lái)說(shuō)這比單卡跑個(gè)benchmark有意義得多因?yàn)樗C明的是國(guó)產(chǎn)算力?？梢猿袚?dān)完整的模型生產(chǎn)流程而不僅僅是某個(gè)孤立的算力指標(biāo)。1.2 先別急著下結(jié)論公開(kāi)細(xì)節(jié)還不夠多不過(guò)我要潑一盆冷水。到目前為止這次訓(xùn)練的具體配置還沒(méi)有完全公開(kāi)參數(shù)量是多少、用了多少?gòu)埧?、?xùn)練了多久、數(shù)據(jù)分布是什么、和同等規(guī)模英偉達(dá)集群的耗時(shí)對(duì)比如何這些都還是未知數(shù)。沒(méi)有這些細(xì)節(jié)我們很難給“能打H100”下一個(gè)精確的結(jié)論。但缺少細(xì)節(jié)不代表這件事沒(méi)有分析價(jià)值。站在從業(yè)者角度我關(guān)心的反而不是“這次用了多少?gòu)埧ā倍恰皣?guó)內(nèi)GPU廠商是不是已經(jīng)走對(duì)了路”有沒(méi)有把軟件棧做扎實(shí)有沒(méi)有把分布式訓(xùn)練的能力補(bǔ)上有沒(méi)有愿意啃世界模型這種硬骨頭的團(tuán)隊(duì)。從這些維度看摩爾線程這次的動(dòng)作是加分項(xiàng)。這也引出了整篇文章的核心問(wèn)題H100在數(shù)據(jù)中心里積累的護(hù)城河到底是什么國(guó)產(chǎn)GPU和它之間的差距是芯片設(shè)計(jì)層面的還是軟件生態(tài)層面的還是工程落地層面的把這個(gè)問(wèn)題看清楚比爭(zhēng)論一句“能打還是不能打”有價(jià)值得多。2. 世界模型這張考卷難在哪三件事上2.1 視頻級(jí)序列長(zhǎng)度先殺到顯存上限要理解這次訓(xùn)練為什么值得關(guān)注先得搞清楚世界模型在訓(xùn)什么。簡(jiǎn)單說(shuō)世界模型就是讓模型從大量視頻、圖像和物理交互數(shù)據(jù)中學(xué)習(xí)“世界是怎么運(yùn)行的”。它不只是預(yù)測(cè)下一張靜態(tài)圖片而是理解物體運(yùn)動(dòng)、遮擋關(guān)系、光影變化、因果鏈條然后生成符合物理規(guī)律的一段未來(lái)畫(huà)面。這就導(dǎo)致輸入數(shù)據(jù)的形態(tài)和文本完全不一樣。文本模型的序列長(zhǎng)度通常幾千個(gè)token而視頻輸入要先經(jīng)過(guò)編碼器壓縮成時(shí)空patch再展平為token序列。一秒鐘的視頻哪怕做了大幅壓縮放到訓(xùn)練里也能輕松產(chǎn)生上萬(wàn)甚至數(shù)萬(wàn)個(gè)token。序列變長(zhǎng)Transformer最致命的復(fù)雜度就出來(lái)了注意力矩陣的計(jì)算量和顯存占用量隨序列長(zhǎng)度近似平方增長(zhǎng)。我拿H100舉例80GB顯存在訓(xùn)練視頻類模型時(shí)如果不做序列切分、梯度檢查點(diǎn)這類優(yōu)化一個(gè)中等batch就會(huì)把顯存塞滿。國(guó)產(chǎn)GPU單卡顯存先天不如H100那么寬裕能做世界模型訓(xùn)練意味著廠商在顯存復(fù)用、序列并行、算子融合這些方向上下過(guò)功夫。這一點(diǎn)我比較認(rèn)可。2.2 多階段訓(xùn)練流程考驗(yàn)的是整條管線的成熟度大模型訓(xùn)練從來(lái)不是一錘子買賣。世界模型這種任務(wù)業(yè)內(nèi)主流方案大致分三階段先用海量圖文或視頻數(shù)據(jù)做多模態(tài)表征學(xué)習(xí)讓模型建立視覺(jué)和語(yǔ)言的對(duì)齊能力再做視頻生成或未來(lái)幀預(yù)測(cè)讓模型學(xué)會(huì)輸出連續(xù)、合理的動(dòng)態(tài)畫(huà)面最后可能還要引入反饋對(duì)齊或者物理一致性約束保證生成內(nèi)容不違反常識(shí)。三個(gè)階段對(duì)硬件的壓力各不相同而且一個(gè)比一個(gè)刁鉆第一階段吃高吞吐需要大顯存和高內(nèi)存帶寬第二階段吃長(zhǎng)序列算力對(duì)attention算子和diffusion類算子的支持度要求很高第三階段則是典型的在線采樣和訓(xùn)練混合負(fù)載卡既要算訓(xùn)練又要并行跑大量推理硬件能不能同時(shí)扛住兩攤活兒非常考驗(yàn)資源調(diào)度。所以說(shuō)世界模型不是“能跑起來(lái)”就行而是要能端到端地把每個(gè)階段一遍遍迭代。摩爾線程這次等于把這條多階段管線完整走了一遍真實(shí)跑通了訓(xùn)練、采樣、評(píng)估、再訓(xùn)練的循環(huán)。如果只是做個(gè)簡(jiǎn)單的文本模型可能還說(shuō)明不了太多問(wèn)題但世界模型這個(gè)選擇確實(shí)是一張很有分量的考卷。2.3 通信和調(diào)度集群越大越容易露餡單卡把訓(xùn)練跑通只是第一步真實(shí)生產(chǎn)環(huán)境里沒(méi)人用單卡訓(xùn)大模型千卡集群才是常態(tài)。千卡并行的時(shí)候每一輪迭代都要做梯度同步尤其在數(shù)據(jù)并行下每個(gè)step都要把幾十億參數(shù)的梯度通過(guò)集群網(wǎng)絡(luò)做AllReduce匯總。通信占的比重越高集群整體算力利用率就越難看。打個(gè)比方單卡算力像發(fā)動(dòng)機(jī)馬力集群互聯(lián)就像變速箱。馬力再大變速箱傳動(dòng)效率不行車一樣跑不快。世界模型這種長(zhǎng)序列訓(xùn)練更是如此切分方式復(fù)雜通信拓?fù)涠嘧儗?duì)集合通信庫(kù)的優(yōu)化要求非常高。國(guó)產(chǎn)GPU在單卡算力上追得很快但在集群通信和調(diào)度層面屬于后發(fā)追趕。從公開(kāi)信息看摩爾線程這幾年一直在補(bǔ)集群方案包括構(gòu)建自己的智算集群和分布式訓(xùn)練工具鏈這次世界模型的訓(xùn)練結(jié)果也間接說(shuō)明他們的集群方案至少能達(dá)到可用水平。至于和英偉達(dá)那套積累了十幾年的互聯(lián)和通信優(yōu)化比到底差多少我們需要看更系統(tǒng)的實(shí)測(cè)數(shù)據(jù)。3. 拿H100當(dāng)尺子五個(gè)維度看差距比空口強(qiáng)3.1 單卡峰值不等于有效算力很多人喜歡拿“多少TFLOPS”來(lái)比卡這個(gè)數(shù)值只能當(dāng)參考。H100的公開(kāi)規(guī)格大家都很熟悉80GB HBM3顯存、FP16稠密算力接近1 PFLOPS級(jí)別、功耗700瓦。這些是峰值但真實(shí)訓(xùn)練里沒(méi)有人能跑到峰值實(shí)際吞吐要看算子實(shí)現(xiàn)得有多好、顯存帶寬夠不夠、計(jì)算和通信能不能重疊。國(guó)產(chǎn)卡的紙面規(guī)格這幾年提升很快部分指標(biāo)已經(jīng)接近或達(dá)到英偉達(dá)前代產(chǎn)品的水準(zhǔn)。但要注意兩個(gè)坑一是很多宣傳數(shù)字是稀疏算力模型不剪枝的情況下根本用不上二是通用矩陣乘的峰值算力高不代表attention、卷積、歸一化這些具體算子都能逼近峰值。是否好用得在真實(shí)模型上跑過(guò)才知道。3.2 集群效率通信生態(tài)的長(zhǎng)期積累很難速成千卡集群里真正決定訓(xùn)練效率的除了互聯(lián)帶寬還有通信庫(kù)對(duì)集群拓?fù)涞睦斫狻Ｓミ_(dá)從CUDA誕生起就做GPU直連通信大家熟知的NCCL庫(kù)已經(jīng)迭代了十幾年對(duì)各種網(wǎng)絡(luò)拓?fù)?、擁塞控制、通信調(diào)度都做了大量底層優(yōu)化。國(guó)產(chǎn)GPU現(xiàn)在普遍有自己或基于開(kāi)源的集合通信庫(kù)兼容層也能把很多CUDA通信調(diào)用翻譯過(guò)來(lái)但通信庫(kù)的優(yōu)化深度不是一朝一夕能追上的。同樣是AllReduce拓?fù)涓兄龅煤貌缓孟⑶蟹至６群喜缓侠矶嗔髡{(diào)度優(yōu)不優(yōu)化傳輸層有沒(méi)有針對(duì)國(guó)產(chǎn)網(wǎng)絡(luò)硬件做適配每一項(xiàng)都影響最終的表現(xiàn)。這也是現(xiàn)階段國(guó)產(chǎn)卡在千卡以上規(guī)模擴(kuò)展性方面的主要瓶頸之一。3.3 軟件生態(tài)“八二法則”里最折磨人的部分一個(gè)殘酷的事實(shí)是模型訓(xùn)練的效率硬件只占一部分軟件生態(tài)占了極重的分量。CUDA生態(tài)積累這么多年已經(jīng)把底層算子、調(diào)試工具、性能分析器、容器鏡像、訓(xùn)練框架適配全部打磨得非常成熟。很多從業(yè)者習(xí)慣用的FlashAttention在H100上有專門為Hopper架構(gòu)優(yōu)化過(guò)的kernel國(guó)內(nèi)GPU如果沒(méi)有對(duì)應(yīng)的底層實(shí)現(xiàn)要么退化成標(biāo)準(zhǔn)attention顯存占用和速度雙雙吃虧要么得自己動(dòng)手寫。國(guó)產(chǎn)GPU的兼容方案已經(jīng)能做到很多CUDA代碼直接編譯運(yùn)行但“能編譯通過(guò)”和“性能不掉”是兩回事。我在實(shí)際項(xiàng)目里見(jiàn)過(guò)最典型的情況某個(gè)自定義算子沒(méi)有對(duì)應(yīng)實(shí)現(xiàn)代碼能跑但運(yùn)行時(shí)悄悄回退到CPU模型吞吐掉了幾十倍。這種坑極難發(fā)現(xiàn)因?yàn)槿罩纠锊蛔屑?xì)看根本不會(huì)注意。軟件生態(tài)的補(bǔ)齊比我預(yù)想的更需要耐心。3.4 能效比、交付周期和運(yùn)維成本H100的700W功耗在數(shù)據(jù)中心里是個(gè)什么概念單獨(dú)看一張卡還好堆到千卡規(guī)模機(jī)房散熱和電費(fèi)就是一筆巨款。國(guó)產(chǎn)卡在功耗上也沒(méi)有低到哪里去比較的時(shí)候不能只看每張卡的單價(jià)要把單位token訓(xùn)練成本、能效比、散熱改造費(fèi)用一起算進(jìn)去。交付周期也值得注意。英偉達(dá)的高端卡在供應(yīng)緊張階段需要排隊(duì)等貨國(guó)產(chǎn)卡在這個(gè)環(huán)節(jié)有先天優(yōu)勢(shì)本地供給穩(wěn)定廠商服務(wù)響應(yīng)相對(duì)直接你可以直接找原廠的技術(shù)支持不用隔著時(shí)差。對(duì)時(shí)間敏感的團(tuán)隊(duì)來(lái)說(shuō)這本身就是一種價(jià)值。3.5 生產(chǎn)可用性穩(wěn)定壓倒一切最后說(shuō)一點(diǎn)很多人忽略的AI訓(xùn)練是長(zhǎng)期工程一次訓(xùn)練任務(wù)經(jīng)常連續(xù)跑幾周甚至幾個(gè)月。生產(chǎn)能力不只看“能不能跑”還要看中途掉卡了怎么辦、checkpoint自動(dòng)保存是否靠譜、集群故障能否快速自愈、監(jiān)控告警是否完善。英偉達(dá)生態(tài)在這些方面積累了大量最佳實(shí)踐運(yùn)維工具鏈豐富。國(guó)產(chǎn)方案現(xiàn)在也能做到斷點(diǎn)續(xù)訓(xùn)和故障恢復(fù)但從成熟度來(lái)說(shuō)和一線云廠商基于英偉達(dá)卡的運(yùn)維體系相比還有差距。好消息是隨著國(guó)產(chǎn)卡在真實(shí)生產(chǎn)環(huán)境里的部署量越來(lái)越大這些工程能力會(huì)快速補(bǔ)齊。我把這五個(gè)維度整理成一張表方便對(duì)照對(duì)比維度英偉達(dá)H100摩爾線程/國(guó)產(chǎn)GPU現(xiàn)階段單卡顯存80GB HBM3低于H100依賴顯存優(yōu)化策略彌補(bǔ)理論算力行業(yè)標(biāo)桿逐步接近前代國(guó)際主流水平軟件生態(tài)CUDA體系成熟算子覆蓋廣MUSA兼容層可用冷門算子仍需自研集群互聯(lián)通信庫(kù)多年優(yōu)化拓?fù)溥m配成熟方案已落地大規(guī)模優(yōu)化仍在追趕生產(chǎn)可用性運(yùn)維工具豐富案例多已具備斷點(diǎn)續(xù)訓(xùn)能力仍在積累規(guī)模經(jīng)驗(yàn)4. 真要遷移到國(guó)產(chǎn)算力得跨過(guò)這幾道坎4.1 第一步別讓PyTorch跑在“坑”里如果你是算法工程師想把手里的訓(xùn)練任務(wù)遷到國(guó)產(chǎn)GPU上第一道坎就是軟件棧。拿摩爾線程來(lái)說(shuō)MUSA提供了一套CUDA兼容層很多用PyTorch寫的模型確實(shí)能做到代碼級(jí)遷移直接編譯就能跑。但真正復(fù)雜的是自定義算子你的項(xiàng)目里一旦用了FlashAttention的特殊版本、某個(gè)冷門的高斯濾波算子、或者自己手寫的CUDA kernel遷移時(shí)就得單獨(dú)排查適配方案。實(shí)操建議是遷移初期不要盲目開(kāi)全量訓(xùn)練先把模型跑一個(gè)小的profiling用工具統(tǒng)計(jì)哪些算子沒(méi)有原生實(shí)現(xiàn)、哪些操作回退到了CPU、哪些kernel效率異常。把這份清單整理出來(lái)優(yōu)先替換影響面大的熱區(qū)算子比如attention、LayerNorm、激活函數(shù)冷門算子可以先用純PyTorch實(shí)現(xiàn)頂一頂后續(xù)再逐個(gè)優(yōu)化。這一套流程下來(lái)大部分模型的遷移工作其實(shí)沒(méi)有想象中那么可怕。4.2 通信畫(huà)像先在集群規(guī)模上測(cè)透單機(jī)多卡和跨節(jié)點(diǎn)訓(xùn)練的表現(xiàn)是兩回事。如果是單機(jī)八卡用標(biāo)準(zhǔn)DDP或者FSDP問(wèn)題一般不大因?yàn)榭ㄩg通信基本走PCIe或NVLink這類直連方式。一旦跨節(jié)點(diǎn)通信庫(kù)對(duì)網(wǎng)絡(luò)拓?fù)涞母兄芰统闪藳Q定性因素。如果你要把一個(gè)分布式訓(xùn)練任務(wù)遷到國(guó)產(chǎn)算力集群我的建議是先跑一個(gè)小規(guī)模的“通信畫(huà)像”用兩到四個(gè)節(jié)點(diǎn)跑一個(gè)標(biāo)準(zhǔn)的AllReduce基準(zhǔn)觀察各個(gè)節(jié)點(diǎn)的有效帶寬、時(shí)延和通信與計(jì)算的重疊情況。然后在不同batch size和不同并行策略下對(duì)比MFU變化。有了這組數(shù)據(jù)你就能提前判斷這個(gè)集群能不能承載你的目標(biāo)規(guī)模訓(xùn)練而不是等任務(wù)跑了一天才發(fā)現(xiàn)效率低得離譜。另外一個(gè)工程經(jīng)驗(yàn)對(duì)于顯存吃緊的任務(wù)梯度檢查點(diǎn)gradient checkpointing是性價(jià)比最高的優(yōu)化手段能大幅降低顯存需求雖然會(huì)帶來(lái)約20%-30%的重計(jì)算開(kāi)銷但在國(guó)產(chǎn)卡顯存相對(duì)有限的階段這個(gè)交換是值得的。4.3 混合算力調(diào)度不必一次all in我見(jiàn)過(guò)很多團(tuán)隊(duì)聽(tīng)到國(guó)產(chǎn)卡的第一個(gè)反應(yīng)是“要不要把整個(gè)集群都換掉”我的回答是沒(méi)有必要也不建議?，F(xiàn)階段更穩(wěn)妥的路線是搭建混合算力池。在Kubernetes環(huán)境里給不同GPU節(jié)點(diǎn)池打上標(biāo)簽比如gpu-typecuda和gpu-typemusa然后通過(guò)調(diào)度器的節(jié)點(diǎn)親和性把不同任務(wù)分發(fā)到對(duì)應(yīng)的池子上。日常的探索性實(shí)驗(yàn)、數(shù)據(jù)預(yù)處理、模型微調(diào)、小規(guī)模訓(xùn)練放在國(guó)產(chǎn)算力上跑跑通了再逐步擴(kuò)大規(guī)模核心超大實(shí)驗(yàn)繼續(xù)留在原有CUDA集群上。這樣既降低了遷移風(fēng)險(xiǎn)也能在真實(shí)負(fù)載里摸清國(guó)產(chǎn)卡的脾氣和坑點(diǎn)。這種小步快跑的策略還有一個(gè)額外好處你會(huì)在日常使用中積累大量一手經(jīng)驗(yàn)比如哪些算子回退過(guò)、哪些訓(xùn)練配置不穩(wěn)、哪些地方的日志不清晰。這些經(jīng)驗(yàn)會(huì)直接轉(zhuǎn)化成你和廠商溝通優(yōu)化需求時(shí)的依據(jù)。5. 個(gè)人判斷先別問(wèn)“能不能打”先算“能不能用”5.1 我看到的真正進(jìn)展摩爾線程這次用自家GPU訓(xùn)練世界模型放在整個(gè)國(guó)產(chǎn)算力發(fā)展的時(shí)間軸上看確實(shí)是一個(gè)有價(jià)值的節(jié)點(diǎn)。它說(shuō)明國(guó)產(chǎn)GPU已經(jīng)不只是“能推理”而是能支撐完整的模型訓(xùn)練閉環(huán)不只是能跑文本模型而是能扛視頻級(jí)序列這種硬任務(wù)。這個(gè)進(jìn)展是實(shí)打?qū)嵉?。但要說(shuō)“能打H100”我目前不會(huì)這么說(shuō)。H100的問(wèn)題不在于單卡性能而在于它背后那套被打磨了十幾年、讓全球AI團(tuán)隊(duì)都非常依賴的軟件生態(tài)和運(yùn)維體系。這個(gè)體系不是一朝一夕能復(fù)制的但它也不是不可追趕的。5.2 給不同背景讀者的一句實(shí)在話如果你是算法工程師選型時(shí)先關(guān)注算子兼容性和分布式訓(xùn)練效率別被紙面算力忽悠實(shí)際跑一個(gè)基準(zhǔn)模型比什么都強(qiáng)。如果你是AI基建負(fù)責(zé)人關(guān)注點(diǎn)應(yīng)該放在運(yùn)維成熟度、故障恢復(fù)速度和單位有效算力成本上建議把H100和國(guó)產(chǎn)卡放進(jìn)同一個(gè)計(jì)費(fèi)模型里算一算賬。如果你在管理層不要被“能打H100”這種二元問(wèn)題帶偏。把問(wèn)題換成“在某些場(chǎng)景下國(guó)產(chǎn)卡是否已經(jīng)有足夠的性價(jià)比”結(jié)論可能會(huì)讓你意外。5.3 一個(gè)樸素有效的驗(yàn)證方法最后分享一個(gè)我常用的笨辦法拿一個(gè)有代表性的模型比如一個(gè)7B或者13B規(guī)模的開(kāi)源大模型配同一份訓(xùn)練數(shù)據(jù)、同一個(gè)超參數(shù)設(shè)定分別在H100和國(guó)產(chǎn)算力集群上跑相同步數(shù)記錄端到端耗時(shí)、峰值顯存、MFU、故障次數(shù)和人均維護(hù)成本。這個(gè)對(duì)照實(shí)驗(yàn)做完答案自然浮出水面比任何宣傳材料都有說(shuō)服力。我自己在實(shí)際項(xiàng)目里接觸國(guó)產(chǎn)算力時(shí)最大的體會(huì)是別指望它一夜之間全面替代你熟悉的方案但也不要再用老眼光看它。芯片層面的指標(biāo)差距會(huì)逐年縮小軟件生態(tài)和工程運(yùn)維能力也會(huì)隨著更多真實(shí)負(fù)載跑上去而慢慢變厚。世界模型這一炮打出來(lái)之后我更關(guān)注的是接下來(lái)有沒(méi)有更多團(tuán)隊(duì)愿意在國(guó)產(chǎn)算力上跑真實(shí)生產(chǎn)任務(wù)。這個(gè)問(wèn)題比“能不能打H100”更有意義。