放計(jì)算項(xiàng)目(OCP)框架內(nèi)貢獻(xiàn)OmniConnect Scale-In互連方案,破解AI推理“內(nèi)存墻“難題)
基于標(biāo)準(zhǔn)化互聯(lián)技術(shù)推動(dòng)構(gòu)建由Credo及第三方組成的OmniConnect產(chǎn)品開(kāi)放生態(tài)系統(tǒng)降低對(duì)高帶寬內(nèi)存HBM的依賴(lài)Credo Technology Group Holding Ltd Credo納斯達(dá)克代碼CRDO一家通過(guò)快速、可靠且高能效的系統(tǒng)解決方案提供規(guī)?;B接服務(wù)的創(chuàng)新企業(yè)近日宣布公司 正計(jì)劃在開(kāi)放計(jì)算項(xiàng)目Open Compute Project簡(jiǎn)稱(chēng)OCP社區(qū)內(nèi)推動(dòng)一項(xiàng)互連標(biāo)準(zhǔn)的制定工作旨在應(yīng)對(duì)日益嚴(yán)峻的內(nèi)存墻挑戰(zhàn)。所謂內(nèi)存墻是指處理器的計(jì)算速度與內(nèi)存的數(shù)據(jù)供給速度之間存在的巨大鴻溝導(dǎo)致大量昂貴的算力資源因等待數(shù)據(jù)而被迫閑置。在當(dāng)今AI推理環(huán)境中制約系統(tǒng)性能的往往不再是算力本身而是內(nèi)存帶寬與容量。新聞要點(diǎn)Credo 計(jì)劃在 開(kāi)放計(jì)算項(xiàng)目 (OCP) 社區(qū)內(nèi)推動(dòng)互連技術(shù)的標(biāo)準(zhǔn)化以助力解決“內(nèi)存墻”問(wèn)題即處理器性能與內(nèi)存訪問(wèn)速度之間日益擴(kuò)大的差距。Credo 已成立開(kāi)放芯粒經(jīng)濟(jì)(Open Chiplet Economy ,OCE) 輕量級(jí)序列互聯(lián)(Lightweight Serial Interconnect ,LSI) 工作小組并計(jì)劃貢獻(xiàn)其 OmniConnect 輕量級(jí) AXI framer 規(guī)范。該舉措旨在通過(guò)實(shí)現(xiàn)可組合 AI 架構(gòu)降低對(duì)成本高昂且產(chǎn)能受限的 HBM 的依賴(lài)Credo 正助力構(gòu)建一個(gè)開(kāi)放、可通的生態(tài)系統(tǒng)用于實(shí)現(xiàn)內(nèi)存解耦Memory Disaggregation與芯片間通信技術(shù)的發(fā)展與應(yīng)用。Credo已在OCP開(kāi)放芯粒經(jīng)濟(jì)Open Chiplet Economy簡(jiǎn)稱(chēng)OCE子項(xiàng)目下發(fā)起輕量級(jí)串行互連Lightweight Serial Interconnect簡(jiǎn)稱(chēng)LSI工作組致力于開(kāi)發(fā)突破性互連方案消除制約AI推理規(guī)模擴(kuò)展的內(nèi)存瓶頸。同時(shí)結(jié)合該工作組的成立Credo 計(jì)劃向 OCP 貢獻(xiàn)其 OmniConnect 輕量級(jí) AXI framer 規(guī)范以期推動(dòng)構(gòu)建一個(gè)由 Credo 及第三方 OmniConnect 產(chǎn)品組成的開(kāi)放生態(tài)系統(tǒng)從而實(shí)現(xiàn)內(nèi)存解耦及芯片間通信。當(dāng)前高帶寬內(nèi)存HBM面臨成本居高不下、供應(yīng)緊張以及密度受限等突出問(wèn)題。輕量級(jí)、高效率串行互連標(biāo)準(zhǔn)的建立將有力推動(dòng)基于芯粒的模塊化AI系統(tǒng)的靈活組合有效降低對(duì)HBM的依賴(lài)。AI系統(tǒng)設(shè)計(jì)師可據(jù)此靈活構(gòu)建面向多樣化、持續(xù)演進(jìn)的AI模型、數(shù)據(jù)流及工作負(fù)載特征的領(lǐng)域?qū)S眉軜?gòu)——與HBM4相比相同的帶寬內(nèi)存容量提升很多倍。這一舉措順應(yīng)了行業(yè)向可組合基礎(chǔ)設(shè)施演進(jìn)的大趨勢(shì)即實(shí)現(xiàn)計(jì)算、內(nèi)存與存儲(chǔ)資源的最優(yōu)配置從而在大規(guī)模AI部署中釋放更高性能、更優(yōu)資源利用率與更強(qiáng)成本效益。Credo產(chǎn)品副總裁Vishal Shah表示我們發(fā)起OCP LSI工作組正是為了回應(yīng)行業(yè)對(duì)創(chuàng)新互連方案的迫切需求——既要破解內(nèi)存墻難題也要為AI系統(tǒng)打造新一代高帶寬、低功耗優(yōu)化的模塊化架構(gòu)。推進(jìn)輕量級(jí)成幀與串行互連的開(kāi)放路線對(duì)于實(shí)現(xiàn)靈活的芯粒集成至關(guān)重要包括近封裝可插拔配置。這將成為下一輪AI推理技術(shù)演進(jìn)的關(guān)鍵支撐。OCP開(kāi)放芯粒經(jīng)濟(jì)子項(xiàng)目聯(lián)合負(fù)責(zé)人Anu Ramamurthy表示我們非常歡迎Credo在OCP LSI工作組中發(fā)揮引領(lǐng)作用助力定義開(kāi)放框架與標(biāo)準(zhǔn)加速整個(gè)生態(tài)系統(tǒng)的創(chuàng)新與規(guī)?;l(fā)展。Credo計(jì)劃將輕量級(jí)AXI成幀器規(guī)范貢獻(xiàn)給OCP是推動(dòng)行業(yè)在AI互連架構(gòu)上形成共識(shí)的重要一步——這些架構(gòu)將實(shí)現(xiàn)互操作性、降低系統(tǒng)復(fù)雜度并充分滿足下一代AI基礎(chǔ)設(shè)施對(duì)高性能的嚴(yán)苛要求。輕量級(jí)串行互連LSI工作組隸屬于OCP服務(wù)器項(xiàng)目下的開(kāi)放芯粒經(jīng)濟(jì)子項(xiàng)目。如需了解LSI工作組更多信息請(qǐng)點(diǎn)擊此處。Credo計(jì)劃向OCP貢獻(xiàn)的OmniConnect輕量級(jí)AXI成幀器規(guī)范是Credo OmniConnect多功能AXI-over-VSR超短距SerDes總線方案的核心組成部分。該方案通過(guò)連接多個(gè)外部芯粒計(jì)算引擎可同時(shí)實(shí)現(xiàn)裸片間互連與縱向擴(kuò)展組網(wǎng)。如需了解更多Credo OmniConnect產(chǎn)品信息請(qǐng)?jiān)L問(wèn)此處產(chǎn)品頁(yè)面。關(guān)于CredoCredo 的使命是通過(guò)提供快速、可靠且高能效的系統(tǒng)解決方案引領(lǐng)規(guī)?;ヂ?lián)變革。我們的高速有源電纜與光互連產(chǎn)品最高支持 1.6T 速率提供行業(yè)領(lǐng)先的功耗與性能表現(xiàn)以應(yīng)對(duì) AI 領(lǐng)域不斷增長(zhǎng)的數(shù)據(jù)基礎(chǔ)設(shè)施需求。我們的產(chǎn)品組合包括 ZeroFlap (ZF) AEC、ZF 光模塊、OmniConnect 內(nèi)存解決方案以及一系列用于光/銅纜的以太網(wǎng)/PCIe Retimer與DSP芯片所有產(chǎn)品均配有PILOT診斷與分析軟件平臺(tái)。Credo以創(chuàng)新技術(shù)賦能客戶構(gòu)建互聯(lián)新世界。Credo、Credo徽標(biāo)及與AEC產(chǎn)品關(guān)聯(lián)使用的紫色均為Credo Technology Group Ltd.在美國(guó)及其他司法管轄區(qū)的注冊(cè)商標(biāo)。本文所涉其他商標(biāo)均歸其各自所有者所有。