隨著大語言模型的能力持續(xù)飆升一個長期困擾行業(yè)的最后一公里問題正在被逐步攻克如何在算力受限、功耗受限的終端設(shè)備上高效運行數(shù)十億乃至數(shù)百億參數(shù)的大模型2026 年 7 月多款面向端側(cè)的大模型推理芯片在行業(yè)展會上集中亮相其中基于軟件定義近存計算Near-Memory Computing架構(gòu)的 3D 堆疊芯片成為最受關(guān)注的技術(shù)突破。這類芯片通過在三維空間內(nèi)將計算單元與存儲單元極致靠近排布大幅縮短數(shù)據(jù)搬運距離從而在遠低于傳統(tǒng)方案的功耗下實現(xiàn)本地大模型的實時推理。這不僅是一次芯片架構(gòu)層面的創(chuàng)新更是 AI 普惠進程中的關(guān)鍵節(jié)點。當模型推理不再依賴云端連接隱私、成本、可靠性等一系列長期制約 AI 落地的瓶頸將得到根本性緩解。一、為什么端側(cè) AI 是必爭之地過去幾年AI 推理主要發(fā)生在云端數(shù)據(jù)中心。廠商購買或租用 GPU 集群通過 API 的方式對外提供服務(wù)。這種模式的優(yōu)勢在于集中算力、彈性擴展但劣勢同樣明顯每一次推理請求都需要將用戶數(shù)據(jù)上傳至服務(wù)器這對隱私敏感型場景醫(yī)療記錄、財務(wù)信息、私人對話構(gòu)成了天然的法律與信任障礙同時持續(xù)的 API 調(diào)用費用在大規(guī)模部署時將成為顯著的運營成本此外網(wǎng)絡(luò)延遲與可用性也限制了實時性要求極高的應(yīng)用場景。端側(cè) AI 的核心價值在于數(shù)據(jù)不動模型動。推理在設(shè)備本地完成數(shù)據(jù)從未離開終端既滿足了隱私合規(guī)要求也消除了網(wǎng)絡(luò)依賴。想象一下一部手機可以在離線狀態(tài)下完成文檔摘要、實時翻譯、圖像生成一輛智能汽車可以在隧道、地下車庫等無網(wǎng)絡(luò)區(qū)域持續(xù)運行智能座艙功能一臺工業(yè)巡檢相機可以在現(xiàn)場即時分析設(shè)備異常無需等待云端返回結(jié)果——這些場景正在從概念走向現(xiàn)實。二、3D 近存計算打破存儲墻傳統(tǒng)芯片架構(gòu)中計算單元與存儲單元通常分別放置在芯片的不同區(qū)域數(shù)據(jù)在兩者之間通過總線傳輸。隨著模型規(guī)模增大每一次矩陣運算都需要頻繁從內(nèi)存讀取權(quán)重數(shù)據(jù)而內(nèi)存帶寬的增長速度遠跟不上計算需求的增長形成所謂的存儲墻Memory Wall問題。3D 近存計算的核心思路是將存儲單元主要是 SRAM 或 DRAM以芯片堆疊3D Stacking的方式直接放置在計算單元上方或相鄰位置大幅縮短互連距離降低數(shù)據(jù)搬運能耗與延遲。近存計算更進一步不只是讓存儲更近而是在存儲陣列附近直接完成部分計算操作減少數(shù)據(jù)在存儲與計算之間的往返次數(shù)。這兩項技術(shù)結(jié)合使得在數(shù)瓦功耗約束下運行數(shù)十億參數(shù)模型成為可能。值得注意的是本次亮相的多款芯片還引入了軟件定義的設(shè)計理念——即芯片的運算單元可根據(jù)不同的模型架構(gòu)與任務(wù)類型進行動態(tài)配置而不僅限于固定的功能模塊。這使得同一塊芯片可以通過軟件更新適配未來出現(xiàn)的新模型架構(gòu)大幅延長了硬件的生命周期降低了終端廠商的迭代成本。三、落地場景從消費電子到工業(yè) IoT端側(cè) AI 芯片的第一波落地將集中在以下幾個場景AI 手機搭載專用 NPU 的旗艦手機可在本地運行 70 億~130 億參數(shù)的語言模型實現(xiàn)實時語音助手、文檔處理、AI 攝影增強等功能隱私數(shù)據(jù)全程不離手機。智能座艙車載系統(tǒng)在離線環(huán)境下提供語音交互、導(dǎo)航增強、駕駛員狀態(tài)監(jiān)測等服務(wù)端側(cè)推理確保了毫秒級的響應(yīng)延遲。工業(yè) IoT 與邊緣計算工廠、電站、礦山等場景中的巡檢相機、傳感器網(wǎng)關(guān)可在邊緣側(cè)完成異常檢測與初步?jīng)Q策減少數(shù)據(jù)傳輸量與決策延遲?？纱┐髟O(shè)備智能眼鏡、AR 頭顯借助端側(cè)芯片實現(xiàn)實時翻譯、物體識別、信息疊加擺脫對手機或網(wǎng)絡(luò)的依賴。這些場景的共同特征是對延遲敏感、對隱私要求高、需要離線可用或間歇性聯(lián)網(wǎng)。端側(cè) AI 芯片精準命中這些需求痛點。四、模型壓縮與芯片共同演進的關(guān)鍵技術(shù)端側(cè) AI 的落地不僅是芯片的功勞模型壓縮技術(shù)的同步成熟同樣不可或缺。主流的壓縮技術(shù)包括量化Quantization——將模型權(quán)重從 FP32 壓縮至 INT8、INT4 甚至更低精度大幅減少存儲需求與計算量知識蒸餾Distillation——用大模型監(jiān)督訓(xùn)練一個小模型使其繼承大模型的泛化能力同時具備更快的推理速度稀疏化Pruning——剪除對輸出貢獻較小的神經(jīng)元或連接減少無效計算。這些技術(shù)與端側(cè)芯片的硬件特性定點運算單元、近存計算架構(gòu)深度配合形成了算法-硬件協(xié)同優(yōu)化的完整鏈條。單獨依靠任何一方都難以實現(xiàn)理想效果只有兩者同步推進端側(cè) AI 才能真正達到用起來和云端差不多的體驗。五、挑戰(zhàn)與未來方向端側(cè) AI 芯片賽道雖然熱鬧但仍面臨多重挑戰(zhàn)。首先是芯片制造成本3D 堆疊工藝對封裝技術(shù)要求極高良率控制難度大導(dǎo)致單芯片成本仍處于較高水平其次是散熱管理端側(cè)設(shè)備的被動散熱能力有限在持續(xù)高負載推理時如何控制芯片溫度是一大工程難題第三是應(yīng)用生態(tài)開發(fā)者需要針對端側(cè)硬件重新優(yōu)化模型與工作流現(xiàn)有的工具鏈與遷移路徑還不夠成熟。展望未來三到五年端側(cè) AI 芯片有望經(jīng)歷從能用到好用的跨越。隨著制程工藝進步、封裝成本下降以及開源壓縮工具鏈的成熟十億參數(shù)級別的模型在手機、汽車等消費級設(shè)備上流暢運行將成為常態(tài)。這一進程的深入將重新定義 AI 應(yīng)用的分布格局——本地智能與云端智能各司其職、互為補充共同服務(wù)于一個更加普惠、隱私友好的 AI 時代。