在AI應(yīng)用加速落地的今天如何讓模型變得“靠譜”正成為企業(yè)數(shù)字化過(guò)程中繞不開的新命題。9月2日專注于人工智能模型安全的初創(chuàng)公司HiddenLayer宣布完成1億美元B輪融資。資方陣容包括Delta-v Capital、Ten Eleven Ventures、Morgan Stanley微軟旗下風(fēng)投M12和Booz Allen Hamilton也參與其中?！癏iddenLayer”這個(gè)略顯低調(diào)的名字恰好映射了它的使命——防守潛藏于大模型內(nèi)部、不易被傳統(tǒng)工具察覺(jué)的安全盲區(qū)。HiddenLayer是一家面向AI安全賽道的新銳公司其核心邏輯并不復(fù)雜既然企業(yè)已把模型視為核心資產(chǎn)那么模型本身理應(yīng)擁有專屬安全防護(hù)。傳統(tǒng)網(wǎng)絡(luò)安全產(chǎn)品關(guān)注網(wǎng)絡(luò)流量、端點(diǎn)進(jìn)程而HiddenLayer瞄準(zhǔn)的是機(jī)器學(xué)習(xí)模型在訓(xùn)練、部署和調(diào)用過(guò)程中遭遇的各類攻擊。本輪融資將用于產(chǎn)品研發(fā)、團(tuán)隊(duì)擴(kuò)張以及開拓更多企業(yè)級(jí)客戶。大模型帶來(lái)了新的“脆弱面”在ChatGPT等生成式AI快速普及的背景下企業(yè)一邊享受效率紅利一邊把越來(lái)越多核心數(shù)據(jù)交給模型處理。然而不少安全團(tuán)隊(duì)對(duì)AI模型仍處于“不設(shè)防”狀態(tài)。傳統(tǒng)安全設(shè)施既無(wú)法理解提示詞中的惡意意圖也難以識(shí)別模型輸出的異常偏離。攻擊者可以通過(guò)精心構(gòu)造的提示詞讓模型泄露訓(xùn)練數(shù)據(jù)、生成違規(guī)內(nèi)容或使用對(duì)抗樣本使圖像識(shí)別與風(fēng)控系統(tǒng)在特定條件下失靈。這類攻擊并非傳統(tǒng)意義上的漏洞利用而是基于語(yǔ)義和統(tǒng)計(jì)層面的“欺騙”。惡意行為者甚至可以在開源模型供應(yīng)鏈中植入后門令模型在特定輸入下產(chǎn)生錯(cuò)誤結(jié)果。對(duì)金融、醫(yī)療、國(guó)防等領(lǐng)域而言這種攻擊可能造成災(zāi)難性后果。由此可見建立一套覆蓋AI生命周期本身的安全監(jiān)控體系已成為企業(yè)從“試探AI”走向“信任AI”的必經(jīng)之路。為AI模型打造“免疫系統(tǒng)”HiddenLayer的做法是在模型外圍增加一層實(shí)時(shí)檢測(cè)機(jī)制。它采用非侵入式設(shè)計(jì)無(wú)需讀取模型權(quán)重也不會(huì)干擾正常推理結(jié)果。平臺(tái)通過(guò)記錄與分析所有API請(qǐng)求識(shí)別可能包含攻擊意圖的行為模式例如請(qǐng)求中暗含特定口令、訪問(wèn)頻率突然異?；蜉斎雰?nèi)容與已知攻擊指紋高度相似。一旦判定為惡意行為系統(tǒng)可實(shí)時(shí)阻斷并告警盡量將威脅擋在模型大門之外。有安全行業(yè)分析人士評(píng)價(jià)“AI安全不是傳統(tǒng)安全的簡(jiǎn)單延伸而是一場(chǎng)全新的攻防博弈。模型既是防守對(duì)象也可能成為攻擊者的跳板。HiddenLayer抓住的正是這種場(chǎng)景下的結(jié)構(gòu)性空白。”這種思路正在獲得市場(chǎng)認(rèn)可。過(guò)去一年AI安全領(lǐng)域的投融資熱度明顯升溫。相比單純追逐“大模型能力”投資機(jī)構(gòu)更加青睞那些能解決“模型可信與可用”問(wèn)題的創(chuàng)業(yè)公司。HiddenLayer拿下如此大額的融資也讓外界看到AI安全正從網(wǎng)絡(luò)安全的一個(gè)子集演變?yōu)楠?dú)立的戰(zhàn)略性賽道。資本何以集體下注梳理HiddenLayer本輪投資名單會(huì)發(fā)現(xiàn)Tene Eleven Ventures長(zhǎng)期聚焦網(wǎng)絡(luò)安全投資具有明確的產(chǎn)業(yè)協(xié)同訴求Morgan Stanley以傳統(tǒng)金融機(jī)構(gòu)身份入場(chǎng)側(cè)面說(shuō)明AI風(fēng)險(xiǎn)正被納入主流投融資評(píng)估框架微軟M12的加入暗示云巨頭希望將AI安全能力整合進(jìn)自身生態(tài)Booz Allen Hamilton則服務(wù)政府和國(guó)防客戶其參與反映出公共部門已經(jīng)開始為AI系統(tǒng)建立安全采購(gòu)標(biāo)準(zhǔn)。四類背景迥異的機(jī)構(gòu)同時(shí)看好一個(gè)項(xiàng)目意味著AI安全已不再是科技圈的小眾議題而成為跨行業(yè)的普遍剛需。隨著歐盟《人工智能法案》等監(jiān)管框架陸續(xù)落地企業(yè)對(duì)AI模型的可解釋性、抗攻擊能力和數(shù)據(jù)隱私的要求不斷提高。合規(guī)壓力疊加層出不窮的攻擊案例促使決策者不再將AI安全視為“可選成本”而是部署AI的前提條件。HiddenLayer此輪融資的成功既是其自身產(chǎn)品價(jià)值的體現(xiàn)也是整個(gè)行業(yè)風(fēng)向轉(zhuǎn)變的注腳。編者按安全必須跟上AI的速度AI的發(fā)展速度遠(yuǎn)超現(xiàn)有安全基礎(chǔ)設(shè)施的完善程度。這既是風(fēng)險(xiǎn)也是機(jī)遇。HiddenLayer讓“安全人員理解AI模型”的難度降低但它仍面臨諸多挑戰(zhàn)如何覆蓋多模態(tài)模型和AI智能體等新形態(tài)如何將檢測(cè)能力前置到模型訓(xùn)練階段以及如何避免給業(yè)務(wù)帶來(lái)明顯延遲。這些問(wèn)題目前沒(méi)有標(biāo)準(zhǔn)答案卻決定了AI安全市場(chǎng)能走多遠(yuǎn)。對(duì)于所有重倉(cāng)AI的企業(yè)來(lái)說(shuō)與HiddenLayer這樣的公司共同成長(zhǎng)或許正是應(yīng)對(duì)未知風(fēng)險(xiǎn)的最優(yōu)解。本文編譯自TechCrunch。本文首發(fā)于贏政天下 (https://www.winzheng.com/article/hiddenlayer-100m-series-b-ai-security)獲取更多深度技術(shù)內(nèi)容與資源歡迎訪問(wèn)官網(wǎng)。