VisualAD: Language-Free Zero-Shot Anomaly Detection via Vision Transformer論文地址https://arxiv.org/abs/2603.07952項(xiàng)目頁面https://github.com/7HHHHH/VisualAD學(xué)術(shù)交流922230617目錄1. 引言3. 方法3.1 問題設(shè)定3.2 空間感知交叉注意力SCA3.3 自對(duì)齊函數(shù)與異常評(píng)分3.4 訓(xùn)練目標(biāo)4. 實(shí)驗(yàn)4.1 實(shí)驗(yàn)設(shè)置4.2 與最先進(jìn)方法的性能比較4.3 消融研究4.4 可視化1. 引言零樣本異常檢測zero-shot anomaly detectionZSAD旨在不使用任何類別內(nèi)圖像訓(xùn)練的情況下檢測未見類別的異常從而將異常檢測與逐類別數(shù)據(jù)收集負(fù)擔(dān)解耦。在此背景下大規(guī)模預(yù)訓(xùn)練模型為 ZSAD 提供了可行路徑。預(yù)訓(xùn)練視覺-語言模型如 CLIP通過在共享embedding空間中對(duì)齊視覺與文本語義展現(xiàn)出強(qiáng)遷移性。利用此特性一系列工作將表示正常與異常的提示輸入文本編碼器并將所得文本embedding與圖像特征對(duì)比以實(shí)現(xiàn)開集異常檢測。該范式下的文本提示通常分為兩類手工設(shè)計(jì)類如 WinCLIP依賴固定模板將類別上下文詞與狀態(tài)描述詞結(jié)合以表達(dá)正常與異常狀態(tài)雖無需訓(xùn)練且易用但對(duì)措辭敏感且可能難以覆蓋多樣異常模式?？蓪W(xué)習(xí)類如 AnomalyCLIP將上下文詞參數(shù)化為可訓(xùn)練向量在小規(guī)模輔助數(shù)據(jù)集上優(yōu)化得到可跨類別泛化的對(duì)象無關(guān)正常/異常表示。盡管方式不同這些方法暗示一個(gè)簡單原則異?？捎蓛山M對(duì)應(yīng)正常與異常的參考特征來描述。然而該原則引出一個(gè)問題若最終決策僅由正常和異常兩組潛在向量決定語言模態(tài)是否真的不可或缺從純視覺角度看異常表現(xiàn)為紋理、形狀或顏色上的結(jié)構(gòu)或統(tǒng)計(jì)偏差這些都可在視覺域內(nèi)捕獲。為驗(yàn)證此假設(shè)本文對(duì) AnomalyCLIP 進(jìn)行了小規(guī)模改動(dòng)移除文本編碼器直接優(yōu)化兩個(gè)表示正常與異常的可學(xué)習(xí)向量。所得檢測性能幾乎未降而可訓(xùn)練參數(shù)數(shù)量減少超過 99%。如上圖所示訓(xùn)練輪次間的評(píng)估曲線在泛化行為上呈現(xiàn)明顯差異本文的純視覺變體穩(wěn)定提升并保持平滑上升趨勢而原始 AnomalyCLIP 在各輪次間波動(dòng)顯著。該發(fā)現(xiàn)表明在基于 CLIP 的 ZSAD 流程中文本提示可能主要作為塑造一對(duì)判別性視覺原型的間接途徑而非提供必要的語義基礎(chǔ)。受此觀察啟發(fā)本文提出 VisualAD——一個(gè)基于凍結(jié) Vision Transformer 的純視覺零樣本異常檢測框架。VisualAD 不依賴文本編碼器而是直接在 ViT token 序列中引入兩個(gè)可學(xué)習(xí) token異常 token 和正常 token。通過多層自注意力這些 token 與 patch token 交互逐漸獲取正常與異常的高層概念同時(shí)引導(dǎo) patch 突出異常相關(guān)線索。為使高層語義 token 與跨層細(xì)粒度圖像特征對(duì)齊本文采用空間感知交叉注意力Spatial-AwareCross-AttentionSCA模塊為 token 提供顯式空間線索和局部細(xì)節(jié)并配合輕量級(jí)自對(duì)齊函數(shù)Self-Alignment FunctionSAF實(shí)現(xiàn)為小型 MLP在 token-patch 對(duì)齊前重新校準(zhǔn) patch 特征。與直接對(duì)齊到 patch 級(jí)特征的方法不同SCA 利用細(xì)粒度視覺證據(jù)動(dòng)態(tài)更新 token從而提升 ZSAD 性能。本文通過整合多個(gè)更新后 token 與跨層重新校準(zhǔn)后 patch 特征之間的對(duì)齊結(jié)果來合成異常圖并從異常得分最高的前 1% 像素中獲取圖像級(jí)異常判定。貢獻(xiàn)總結(jié)如下重新審視文本在零樣本異常檢測中的必要性表明判別性異常特征可僅從視覺線索中學(xué)習(xí)。提出 VisualAD一個(gè)純 ViT 的零樣本異常檢測框架在凍結(jié)主干中注入兩個(gè)可學(xué)習(xí) token使其通過多層自注意力與 patch token 交互編碼正常與異常。提出 SCA 和 SAF 模塊其中 SCA 向 token 注入顯式空間證據(jù)SAF 重新校準(zhǔn) patch 特征實(shí)現(xiàn)穩(wěn)定的多層對(duì)齊和改進(jìn)的定位。在工業(yè)和醫(yī)學(xué)基準(zhǔn)上的大量實(shí)驗(yàn)證明了其對(duì)未見類別和數(shù)據(jù)集的強(qiáng)零樣本泛化能力。3. 方法3.1 問題設(shè)定本文遵循零樣本異常檢測協(xié)議。模型在可見類別 C_s來自工業(yè)數(shù)據(jù)集上以監(jiān)督方式訓(xùn)練并直接評(píng)估于未見類別 C_u?來自其他工業(yè)或醫(yī)學(xué)數(shù)據(jù)集。根據(jù)定義 Cu∩Cs?輔助訓(xùn)練類別與測試類別來自不同數(shù)據(jù)集存在顯著領(lǐng)域偏移。該設(shè)定評(píng)估跨域泛化能力無需任何類別特定的微調(diào)。如上圖所示本文提出 VisualAD一個(gè)基于凍結(jié) Vision Transformer 的零樣本異常檢測框架。給定如 ViT-L/14336px 的主干網(wǎng)絡(luò)本文插入兩個(gè)可學(xué)習(xí)全局 token即異常 token t_a 和正常 token t_n?直接在視覺特征空間中編碼異常與正常。輸入序列為其中t_c 為類別 token{p_i}_{i1}^N 為圖像 patch token所有 token 均為 d 維。為捕獲多樣空間與語義線索本文從一組中間層 L{l_1, …, l_K} 中提取特征默認(rèn)對(duì) ViT-L/14 使用 {6,12,18,24}。對(duì)每個(gè)選定層引入空間感知交叉注意力SCA模塊從 patch 特征中聚合局部空間證據(jù)以增強(qiáng) token 表示。同時(shí)輕量級(jí)自對(duì)齊函數(shù)SAF在該層重新校準(zhǔn) patch 特征。增強(qiáng)后的 token 與 SAF 重新校準(zhǔn)的 patch 共同生成層間異常圖并在各層間融合。像素級(jí)和圖像級(jí)異常得分從融合圖中獲得。訓(xùn)練與推理共享相同計(jì)算路徑無文本編碼器或跨模態(tài)對(duì)齊。3.2 空間感知交叉注意力SCA全局 token 編碼高層語義但缺乏顯式空間基礎(chǔ)。為在保持 ViT 流程完整的同時(shí)注入局部證據(jù)本文在每個(gè)選定層 ? 應(yīng)用單個(gè) SCA 模塊。給定 patch 特征 P_? ∈ R^{B×N×d}B 為批量大小N 為 patch 數(shù)量d 為特征維度首先添加層特定的可學(xué)習(xí)位置編碼 E_pos^(?)?使模塊能夠區(qū)分空間不同區(qū)域。為高效聚合空間線索SCA 采用 m 個(gè)可學(xué)習(xí) anchor query Q_anchor ∈ R^{m×d}其中 m?N。為清晰起見省略batch維度記 P_?^pos? ∈ R^{N×d}。交叉注意力權(quán)重與 anchor 聚合特征計(jì)算如下其中A_? ∈ R^{m×N} 為空間注意力分布U_? ∈ R^{m×d} 為 anchor 聚合特征其第 i 行記為 a_i?。隨后SCA 通過 token 引導(dǎo)的門控機(jī)制將 anchor 特征適配到每個(gè) token。計(jì)算門控向量其中t∈{t_a?, t_n?} 為增強(qiáng)前的全局 tokenW_g 在各 anchor 間共享。增強(qiáng)后 token 為α 為可學(xué)習(xí)殘差縮放因子g_i(t) 為 g(t) 的第 i 項(xiàng)。該公式在保留全局 token 語義角色的同時(shí)以 anchor 特定方式選擇性注入空間信息。本文為每個(gè) ?∈L 獨(dú)立實(shí)例化 SCA產(chǎn)生 ~t_a^(?) 和 ~t_n^(?)?隨后與重新校準(zhǔn)的 patch 特征匹配以形成層間異常圖。由于注意力和門控為每張圖像重新計(jì)算SCA 動(dòng)態(tài)調(diào)整全局 token 的異常敏感性以適應(yīng)每個(gè)測試樣本的局部結(jié)構(gòu)。3.3 自對(duì)齊函數(shù)與異常評(píng)分除 SCA 外本文使用可學(xué)習(xí)的自對(duì)齊函數(shù)Self-Alignment FunctionSAF精煉 patch 表示。對(duì)每個(gè)選定層 ?SAF 實(shí)現(xiàn)為單隱層 MLP隱層維度與輸入尺寸相同其中F_? 表示層 ? 的 SAF。該非線性重新校準(zhǔn)使 patch 特征與不斷演化的正常和異常 token 對(duì)齊。隨后通過自對(duì)齊的余弦對(duì)比計(jì)算 patch 級(jí)異常得分。使用 ?2 歸一化特征層 ? 第 i 個(gè) patch 的得分為得分重塑為空間圖 H_? ∈ R^{H×W} 并上采樣至輸入尺寸。多層融合得到最終異常圖圖像級(jí)異常得分 S 通過取前 k 個(gè)最異常像素的平均值計(jì)算其中 k?0.01HW? 表示所有像素的 1% 向下取整H(i) 為 H 中第 i 大值。至此完成 VisualAD 中異常圖與圖像級(jí)得分的構(gòu)建。3.4 訓(xùn)練目標(biāo)本文在統(tǒng)一目標(biāo)下聯(lián)合優(yōu)化圖像級(jí)分類、像素級(jí)分割和 token 對(duì)比分離同時(shí)保持 ViT 主干凍結(jié)僅更新異常/正常 token t_a?,t_n?、SCA 模塊和每層變換 {F_??}。對(duì)于圖像級(jí)監(jiān)督對(duì)得分 S 應(yīng)用二元交叉熵對(duì)于像素級(jí)監(jiān)督在每個(gè)選定層圖上結(jié)合 Focal Loss 和 Dice Loss其中^M^(?)σ(H_??) 為預(yù)測掩碼M 為二值真實(shí)掩碼為顯式分離異常與正常 token在最大層索引 L即 L 中最大元素處施加余弦間隔懲罰鼓勵(lì)其相似度低于 ?0.5對(duì)應(yīng)角距離大于 120°總損失為訓(xùn)練與推理嚴(yán)格共享同一流程包括層集合 L、SCA、變換 F_??、跨層融合和 top-k 聚合無文本分支或跨模態(tài)對(duì)齊。4. 實(shí)驗(yàn)4.1 實(shí)驗(yàn)設(shè)置數(shù)據(jù)集為評(píng)估 ZSAD 性能在 13 個(gè)真實(shí)數(shù)據(jù)集上實(shí)驗(yàn)涵蓋工業(yè)和醫(yī)學(xué)領(lǐng)域。工業(yè)領(lǐng)域采用 MVTec-AD、VisA、BTAD、KSDD2、DAGM 和 DTD-Synthetic醫(yī)學(xué)領(lǐng)域采用 OCT17、BrainMRI、BrainAD、HIS、CVC-ClinicDB、Endo 和 Kvasir覆蓋多樣成像模態(tài)和任務(wù)。OCT17 包含視網(wǎng)膜 OCT 用于疾病分類BrainMRI 和 BrainAD 提供腦 MRI 用于腫瘤或病變分類HIS 為組織病理圖像用于異常組織分析CVC-ClinicDB、Endo 和 Kvasir 為結(jié)腸鏡數(shù)據(jù)集帶像素級(jí)息肉分割標(biāo)注。遵循先前工作在一個(gè)工業(yè)數(shù)據(jù)集上訓(xùn)練直接在其他工業(yè)和醫(yī)學(xué)數(shù)據(jù)集上推理無需進(jìn)一步微調(diào)。因 VisA 包含與其他類別不相交的對(duì)象類別將其用作輔助訓(xùn)練集。評(píng)估 VisA 自身時(shí)在 MVTec-AD 上微調(diào)。評(píng)估指標(biāo)分類報(bào)告圖像級(jí) AUROC、最大 F1?F1?-max和 AP。分割評(píng)估像素級(jí) AUROC、F1?-max、AP 和 Per-Region OverlapPRO以評(píng)估定位能力。實(shí)現(xiàn)細(xì)節(jié)采用公開主干CLIPViT-L/14336px和 DINOv2ViT-L/14。輸入圖像縮放至 518×518。從 24 層視覺編碼器中提取層 {6,12,18,24} 的 patch token。SCA 中 anchor query 數(shù)默認(rèn) m4。VisualAD 使用 Adam 優(yōu)化器初始學(xué)習(xí)率 1×10?3批量大小 8。4.2 與最先進(jìn)方法的性能比較本文比較 VisualAD 與五種最先進(jìn)方法WinCLIP、APRIL-GAN、CLIP-AD、AnomalyCLIP 和 AdaCLIP。由于本文方法可適配多種主干報(bào)告了 CLIP 的 ViT-L/14336px 和 DINOv2ViT-L/14的結(jié)果以展示其在不同視覺架構(gòu)上的靈活性。表 1 報(bào)告了工業(yè)和醫(yī)學(xué)基準(zhǔn)上的定量 ZSAD 結(jié)果。與現(xiàn)有方法相比VisualAD 在幾乎所有數(shù)據(jù)集的圖像和像素級(jí)別均達(dá)到最先進(jìn)性能。尤其在工業(yè)數(shù)據(jù)集上使用 CLIP ViT-L/14336px 的 VisualAD 在所有分類指標(biāo)上取得最佳結(jié)果。進(jìn)一步觀察到基于 CLIP 和基于 DINOv2 的 VisualAD 實(shí)例呈現(xiàn)互補(bǔ)優(yōu)勢前者略偏向圖像級(jí)分類后者在像素級(jí)分割上表現(xiàn)更強(qiáng)。圖 3 可視化了來自代表性工業(yè)和醫(yī)學(xué)數(shù)據(jù)集的異常圖與其他方法相比VisualAD 提供了更清晰、更精確的異常定位。4.3 消融研究模塊消融實(shí)驗(yàn)結(jié)果如表 2 所示移除任意單個(gè)組件都會(huì)導(dǎo)致性能持續(xù)下降表明每個(gè)模塊都對(duì)框架有積極貢獻(xiàn)。去除 SCA 會(huì)削弱空間對(duì)齊和細(xì)粒度證據(jù)聚合能力而移除 SAF 則會(huì)破壞高層語義的非線性重校準(zhǔn)同時(shí)移除兩者時(shí)性能下降最為顯著凸顯了二者之間的互補(bǔ)作用。在損失函數(shù)消融實(shí)驗(yàn)中排除 Focal、Dice 或 Ctr 目標(biāo)中的任一一項(xiàng)均會(huì)導(dǎo)致明顯性能下降說明混合監(jiān)督機(jī)制有效平衡了分類關(guān)注、區(qū)域一致性與特征可分離性。總體而言完整模型在圖像級(jí)和像素級(jí)上均取得了最優(yōu)結(jié)果驗(yàn)證了所有組件的有效性及其協(xié)同效應(yīng)。不同預(yù)訓(xùn)練視覺主干的影響圖 4 比較了從 small 到 large 規(guī)模的 CLIP 和 DINO 變體。更大主干和更高輸入分辨率通常帶來像素級(jí)和樣本級(jí)指標(biāo)的持續(xù)提升。在 CLIP 系列中 ViT-L/14336px 取得最佳樣本級(jí)結(jié)果而在 DINO 系列中 ViT-g/14 取得最高像素級(jí)精度。anchor 數(shù)量的影響如表 3 所示像素級(jí)上anchor 從 1 增至 4 時(shí) AUROC、F1?-max 和 AP 穩(wěn)步提升m4 取得最強(qiáng)整體結(jié)果。超過 4如 8-32則引入冗余略微降低像素級(jí)精度表明過多 anchor 會(huì)稀釋空間聚焦而非增強(qiáng)。圖像級(jí)指標(biāo)趨勢較平緩m16 雖提供最高 AUROC、F1F1?-max 和 AP但相對(duì) m4 的提升在 1-2 個(gè)百分點(diǎn)內(nèi)。因此默認(rèn)采用 m4在像素級(jí)精度與圖像級(jí)魯棒性間取得平衡。不同層組合的影響如表 4 所示單層中中層{18}相比淺層或深層產(chǎn)生更強(qiáng)表示在局部細(xì)節(jié)與全局語義間達(dá)到最佳平衡。多層組合性能持續(xù)提升{6,12,18} 已在像素和樣本級(jí)指標(biāo)上帶來明顯增益擴(kuò)展至 {6,12,18,24} 進(jìn)一步提升穩(wěn)定性和整體精度。表明多層特征集成有效捕獲跨尺度互補(bǔ)信息帶來更魯棒的異常定位與分類。SCA 中位置建模的影響如表 5 所示比較了六種變體無位置編碼、可學(xué)習(xí) 1D 絕對(duì) embedding、固定 1D 正弦編碼、可學(xué)習(xí) 2D 絕對(duì) embedding、固定 2D 正弦編碼和可學(xué)習(xí) 2D 相對(duì)位置偏置。簡單的可學(xué)習(xí) 1D 絕對(duì) embedding 在所有指標(biāo)上取得最佳整體權(quán)衡而更復(fù)雜的 2D 或相對(duì)公式僅帶來微小增益甚至損害穩(wěn)定性。因此默認(rèn)采用可學(xué)習(xí) 1D 絕對(duì)變體。4.4 可視化層間 anchor 注意力圖 6 展示了地毯carpet上的層間 anchor 注意力。同一層內(nèi)各 anchor 一致關(guān)注幾乎相同的空間區(qū)域表明穩(wěn)定連貫的局部證據(jù)。跨層看關(guān)注點(diǎn)以結(jié)構(gòu)化方式轉(zhuǎn)移中層如層 12強(qiáng)調(diào)細(xì)粒度缺陷邊界和細(xì)微紋理擾動(dòng)深層如層 24則突出更廣泛的正常區(qū)域。該遞進(jìn)反映了凍結(jié) ViT 編碼器的層次特性中層 anchor 捕獲細(xì)節(jié)不規(guī)則性高層 anchor 編碼整體正常模式產(chǎn)生互補(bǔ)線索增強(qiáng)異常定位。特征表示演變圖 5 繪制了三種配置下的 PCA 分布。原始 CLIP 特征中正常與異常樣本大量重疊PC1 僅占 8.8%表明可分離性差。引入可學(xué)習(xí)正常和異常 token 后 PC1 略升至 9.0%指示判別方向初步出現(xiàn)。應(yīng)用 SAF 后 PC1 升至 89.1%方差集中于單一主軸清晰分離兩個(gè)類別。異常聚類也更緊湊并遠(yuǎn)離正常聚類。表明 token 提供初始判別結(jié)構(gòu)而 SAF 增強(qiáng)類內(nèi)緊湊性并擴(kuò)大類間間隔。