這次我們來看一類偏理論、但直接決定模型該怎么選的問題An Optimal Agnostic PAC Algorithm。如果你做機(jī)器學(xué)習(xí)理論、模型選擇或者想搞清楚“為什么 ERM經(jīng)驗風(fēng)險最小化在很多場景下夠用”這篇文章值得往下看。這里討論的不是某個需要 24G 顯存的大模型而是一套關(guān)于樣本復(fù)雜度最優(yōu)的學(xué)習(xí)框架。它回答的問題很直接當(dāng)標(biāo)簽本身有噪聲、目標(biāo)概念不一定落在我們的假設(shè)類里時我們要多少樣本才能保證學(xué)到的模型誤差不超過“類內(nèi)最優(yōu)誤差 ε”。這個標(biāo)準(zhǔn)叫 Agnostic PAC也就是不可知 PAC。本文會做四件事先講清楚 Agnostic PAC 和“最優(yōu)”到底指什么再給出有限假設(shè)類和無限假設(shè)類下的樣本復(fù)雜度結(jié)論然后用 Python 寫一個可運行的 ERM 加聚合算法骨架最后給出一套驗證流程和常見坑位。全文不依賴 GPU單機(jī) CPU 就能跑通適合理論學(xué)習(xí)、課程實驗和算法對比。1. 核心概念速覽維度說明問題設(shè)定不可知 PACAgnostic PAC學(xué)習(xí)學(xué)習(xí)目標(biāo)以至少 1-δ 的概率輸出假設(shè) h使 R(h) ≤ OPT εOPT 定義假設(shè)類 H 內(nèi)的最小真實風(fēng)險即 min R(h)不要求目標(biāo)概念在 H 內(nèi)核心對象假設(shè)類 H、樣本復(fù)雜度、ERM、聚合算法、VC 維最優(yōu)含義樣本復(fù)雜度達(dá)到信息論下界常數(shù)意義下最優(yōu)典型算法ERM、最小不一致假設(shè)、權(quán)重聚合、結(jié)構(gòu)風(fēng)險最小化運行環(huán)境Python 3.9NumPy / scikit-learnCPU 足夠適合場景模型選擇、理論驗證、帶噪標(biāo)簽分類、算法對比實驗這個表里的每一項后面都會展開。第一步是把問題的定義理清楚。2. 不可知 PAC 學(xué)習(xí)要解決什么問題2.1 從標(biāo)準(zhǔn) PAC 到不可知 PAC標(biāo)準(zhǔn) PAC 學(xué)習(xí)有一個強(qiáng)假設(shè)存在一個目標(biāo)概念 c且 c 一定在假設(shè)類 H 中。學(xué)習(xí)器的目標(biāo)是輸出一個近似 c 的假設(shè)。這個設(shè)定在理論推導(dǎo)里很干凈但真實場景幾乎都不滿足標(biāo)簽有噪聲、特征表達(dá)不完整、模型族選錯了目標(biāo)概念根本不在我們枚舉的假設(shè)類里。Agnostic PAC 去掉了這個約束。它不要求目標(biāo)概念屬于 H只要求輸出假設(shè)的風(fēng)險接近 H 內(nèi)最優(yōu)假設(shè)的風(fēng)險。真實風(fēng)險定義為R(h) E_{(x,y)~D}[ 1{h(x) ≠ y} ]假設(shè)類 H 內(nèi)的最優(yōu)風(fēng)險是OPT min_{h∈H} R(h)算法希望以至少 1-δ 的概率輸出 h滿足R(h) ≤ OPT ε這才是 Agnostic PAC 的核心目標(biāo)。意味著即使數(shù)據(jù)存在不可消除的噪聲學(xué)習(xí)器也不比“假設(shè)類里最好的假設(shè)”差太多。2.2 “最優(yōu)”是什么意思在計算學(xué)習(xí)理論里“最優(yōu)算法”通常不是指某個具體代碼實現(xiàn)而是指樣本復(fù)雜度達(dá)到信息論下界。給定誤差 ε 和置信度 δ算法需要的最少樣本量如果能同時匹配上界和下界就稱它在樣本復(fù)雜度意義下最優(yōu)。對于有限假設(shè)類 |H|下界是Ω((log|H| log(1/δ)) / ε2)在常數(shù)因子范圍內(nèi)ERM 可以匹配這個下界所以它是統(tǒng)計意義上最優(yōu)的。這里要區(qū)分兩個概念統(tǒng)計最優(yōu)和計算最優(yōu)。理論上最優(yōu)的 ERM在實際計算中可能因為假設(shè)類復(fù)雜而 NP-hard。這也是后面引入聚合算法的原因之一用可計算的近似方式換取接近最優(yōu)的統(tǒng)計保證。2.3 誤差分解近似誤差與估計誤差理解不可知學(xué)習(xí)要把總誤差拆成兩部分。近似誤差approximation error來自 H 本身不夠強(qiáng)即 OPT 不為 0。這不是算法能消除的只能靠擴(kuò)大假設(shè)類解決。估計誤差estimation error來自有限樣本帶來的偏差即算法輸出的 h 與最優(yōu)假設(shè)之間的差距。Agnostic PAC 的目標(biāo)是控制估計誤差R(?) - OPT ≤ εERM 在有限樣本下做的事就是用經(jīng)驗風(fēng)險代替真實風(fēng)險在假設(shè)類里找一個經(jīng)驗風(fēng)險最低的模型。只要樣本量足夠經(jīng)驗風(fēng)險會一致逼近真實風(fēng)險估計誤差就會被壓到 ε 以內(nèi)。3. 最優(yōu)不可知 PAC 算法的理論框架3.1 有限假設(shè)類ERM 與 Union Bound先看最簡單的情況H 是有限集合比如 10 棵決策樹、5 個 SVM 變體一共 15 個候選模型。對每個 h∈H用 Hoeffding 不等式可以得到P(|R?(h) - R(h)| ε) ≤ 2exp(-2nε2)要讓所有 h 同時成立需要用 Union Bound 把所有假設(shè)的失敗概率加起來P(?h∈H, |R?(h) - R(h)| ε) ≤ 2|H|exp(-2nε2)令右側(cè)等于 δ可以反解出樣本復(fù)雜度n ≥ (log|H| log(2/δ)) / (2ε2)ERM 輸出經(jīng)驗風(fēng)險最低的假設(shè) ?那么R(?) ≤ OPT 2ε把 ε 換成 ε/2就得到標(biāo)準(zhǔn)的 Agnostic PAC 上界。誤差里出現(xiàn) log|H| 而不是 |H|說明假設(shè)類數(shù)量不要命只要候選模型數(shù)量是有限的ERM 的樣本復(fù)雜度就只隨 log|H| 增長。3.2 無限假設(shè)類VC 維與覆蓋數(shù)當(dāng) H 是無限集合時log|H| 沒有定義需要用 VC 維或覆蓋數(shù)來度量假設(shè)類的復(fù)雜度。VC 維刻畫的是 H 能打散的最大樣本數(shù)直觀理解是“假設(shè)類有多強(qiáng)的表達(dá)能力”。無限假設(shè)類下的樣本復(fù)雜度上界是n ≥ O((VC(H) log(1/δ)) / ε2)對應(yīng)下界同樣包含 VC(H)因此 ERM 在無限假設(shè)類下也能達(dá)到最優(yōu)量級。但如果 H 的 VC 維太大比如一個表達(dá)能力過強(qiáng)的深度網(wǎng)絡(luò)估計誤差會很大模型就過擬合了。這里引出一個實際建議不要盲目擴(kuò)大假設(shè)類。Agnostic PAC 的最優(yōu)性說的是“給定 H 時 ERM 最優(yōu)”但 H 本身的復(fù)雜度同樣進(jìn)入樣本復(fù)雜度。模型選擇要在近似誤差和估計誤差之間做權(quán)衡這就是結(jié)構(gòu)風(fēng)險最小化SRM的思路。3.3 聚合算法從在線學(xué)習(xí)到批量最優(yōu)ERM 統(tǒng)計最優(yōu)但計算可能困難。另一個方向是聚合算法不直接選一個假設(shè)而是給多個假設(shè)分配權(quán)重輸出加權(quán)投票結(jié)果。經(jīng)典范式來自在線學(xué)習(xí)的 Hedge 算法。每個假設(shè)當(dāng)作一個專家通過 multiplicative weights 更新權(quán)重最后用加權(quán)多數(shù)投票輸出。批處理版本需要在給定 n 個樣本時構(gòu)造一個聚合分布其風(fēng)險上界為R(agg) ≤ OPT O(sqrt((log|H|) / n))從量級看聚合算法和 ERM 一樣能達(dá)到 O(log|H| / n) 級別的估計誤差但常數(shù)因子會更大。好處是計算上更友好而且對“假設(shè)類里誰最優(yōu)”這件事不需要提前知道。如果 H 是無限集合可以把聚合建立在覆蓋數(shù)上先用覆蓋數(shù)把 H 離散化為有限集合再在覆蓋集合上做聚合。這樣得到的算法仍然有可證明的樣本復(fù)雜度上界。4. 最小可運行的實驗環(huán)境準(zhǔn)備這部分是實操。先準(zhǔn)備環(huán)境本文所有實驗不依賴 GPU。依賴用途版本建議Python運行環(huán)境3.9 或更高NumPy數(shù)組與隨機(jī)數(shù)1.24 或更高scikit-learn分類模型、交叉驗證、評估1.3 或更高安裝命令pip install numpy scikit-learn如果想要復(fù)現(xiàn)更嚴(yán)謹(jǐn)?shù)碾S機(jī)種子建議同時固定 Python 的隨機(jī)數(shù)避免交叉驗證劃分不一致導(dǎo)致結(jié)果抖動。5. 實現(xiàn)一個基礎(chǔ)版最優(yōu)不可知 PAC 算法這里實現(xiàn)一個“有限假設(shè)類上的 ERM 交叉驗證”骨架再加一個聚合版本。代碼是教學(xué)模板實際項目需要按自己的候選模型列表替換。5.1 候選假設(shè)類用 scikit-learn 自帶模型構(gòu)造一個有限的假設(shè)類集合from sklearn.tree import DecisionTreeClassifier from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC CANDIDATE_MODELS { tree_depth_1: DecisionTreeClassifier(max_depth1, random_state42), tree_depth_3: DecisionTreeClassifier(max_depth3, random_state42), logistic: LogisticRegression(max_iter1000), svm_rbf: SVC(C1.0, kernelrbf, probabilityTrue, random_state42), }這里故意放入不同復(fù)雜度的模型用來模擬一個常見的模型選擇場景。注意SVC的probabilityTrue是為了后面聚合時能輸出概率。5.2 最小經(jīng)驗風(fēng)險實現(xiàn)import numpy as np from sklearn.model_selection import KFold, cross_val_score def agnostic_erm(X, y, candidatesNone, cv_folds5, random_state42): ERM 交叉驗證選擇返回驗證誤差最小、再在全量數(shù)據(jù)上訓(xùn)練的模型 candidates candidates or CANDIDATE_MODELS cv KFold(n_splitscv_folds, shuffleTrue, random_staterandom_state) best_model None best_score -np.inf scores {} for name, model in candidates.items(): fold_scores cross_val_score(model, X, y, cvcv, scoringaccuracy) mean_score fold_scores.mean() scores[name] mean_score if mean_score best_score: best_score mean_score best_model model.fit(X, y) return best_model, scores邏輯很簡單對每個候選假設(shè)用同一組 K 折劃分計算交叉驗證準(zhǔn)確率取均值最高者再在全部訓(xùn)練集上重新訓(xùn)練。這與理論上“最小化經(jīng)驗風(fēng)險”的 ERM 略有差異但工程上更穩(wěn)因為交叉驗證能減少一次劃分帶來的方差。5.3 加權(quán)聚合實現(xiàn)聚合版本不需要選一個模型而是讓所有候選模型投票。這里用 scikit-learn 的軟投票from sklearn.ensemble import VotingClassifier def agnostic_voting(X, y, candidatesNone, random_state42): 加權(quán)聚合對所有候選模型的概率做軟投票 candidates candidates or CANDIDATE_MODELS estimators list(candidates.items()) ensemble VotingClassifier(estimatorsestimators, votingsoft) ensemble.fit(X, y) return ensemble注意VotingClassifier默認(rèn)每個模型權(quán)重相同。要接近理論上“根據(jù)經(jīng)驗表現(xiàn)分配權(quán)重”的聚合需要手動構(gòu)建權(quán)重或者用weights參數(shù)傳入交叉驗證準(zhǔn)確率。一個簡單做法是先跑agnostic_erm拿到scores再把準(zhǔn)確率歸一化后當(dāng)作權(quán)重def agnostic_weighted_voting(X, y, candidatesNone, cv_folds5, random_state42): candidates candidates or CANDIDATE_MODELS _, scores agnostic_erm(X, y, candidates, cv_folds, random_state) weights np.array([scores[name] for name in candidates.keys()]) weights np.clip(weights, 1e-6, None) weights weights / weights.sum() estimators list(candidates.items()) ensemble VotingClassifier( estimatorsestimators, votingsoft, weightsweights ) ensemble.fit(X, y) return ensemble這段代碼的意義在于它把“選擇最優(yōu)”改成了“按經(jīng)驗權(quán)重聚合”對應(yīng)理論里聚合算法的批處理版本。實際運行中它不一定比單個最優(yōu) ERM 更準(zhǔn)但通常更穩(wěn)定。6. 功能測試與效果驗證6.1 構(gòu)造帶噪聲標(biāo)簽的合成數(shù)據(jù)為了驗證算法在“不可知”設(shè)定下的表現(xiàn)用make_classification生成一組帶標(biāo)簽翻轉(zhuǎn)的合成數(shù)據(jù)from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split X, y make_classification( n_samples2000, n_features8, n_informative6, n_redundant2, flip_y0.2, random_state0 ) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42 )flip_y0.2表示有約 20% 的標(biāo)簽被隨機(jī)翻轉(zhuǎn)。在這個合成數(shù)據(jù)里即使假設(shè)類再強(qiáng)真實風(fēng)險也降不到 0所以這是一個典型的 agnostic 場景。6.2 驗證 ERM 在有限假設(shè)類上的行為運行 ERM 選擇model, scores agnostic_erm(X_train, y_train) print(候選模型交叉驗證準(zhǔn)確率, scores) print(測試集準(zhǔn)確率, model.score(X_test, y_test))預(yù)期結(jié)果是不同候選模型的交叉驗證準(zhǔn)確率有明顯差異ERM 會選擇交叉驗證得分最高的模型。判斷成功的標(biāo)準(zhǔn)是測試集準(zhǔn)確率與交叉驗證得分差異不大。如果差異過大優(yōu)先懷疑數(shù)據(jù)劃分泄漏、樣本量不足或假設(shè)類過擬合。6.3 觀察樣本量對泛化誤差的影響這是重點驗證樣本復(fù)雜度增長帶來的誤差下降趨勢。用不同規(guī)模的訓(xùn)練集重復(fù)實驗sample_sizes [100, 300, 500, 1000, 2000] for n in sample_sizes: subset_X, _, subset_y, _ train_test_split( X, y, train_sizen, random_state0, stratifyy ) model, scores agnostic_erm(subset_X, subset_y) test_acc model.score(X_test, y_test) print(fn{n}, test_acc{test_acc:.4f})不需要預(yù)設(shè)具體數(shù)字但通常會觀察到樣本量從 100 漲到 1000 時測試準(zhǔn)確率明顯上升再往后上升變緩。這個趨勢與不可知 PAC 的樣本復(fù)雜度 O(log|H| / ε2) 一致誤差減半所需的樣本量大致按平方增長。6.4 對比 ERM 與聚合再對比一下“選擇最優(yōu)”和“加權(quán)聚合”erm_model, _ agnostic_erm(X_train, y_train) vote_model agnostic_weighted_voting(X_train, y_train) print(ERM 測試準(zhǔn)確率, erm_model.score(X_test, y_test)) print(聚合測試準(zhǔn)確率, vote_model.score(X_test, y_test))單次實驗里結(jié)果可能互有勝負(fù)更嚴(yán)謹(jǐn)?shù)淖龇ㄊ嵌啻螕Q隨機(jī)種子跑然后比較均值和方差。聚合的優(yōu)勢通常體現(xiàn)在方差上少數(shù)幾次實驗里不明顯。判斷實驗是否成功的標(biāo)準(zhǔn)很明確ERM 選中的模型至少不能顯著差于隨機(jī)選擇聚合模型在多次重復(fù)中不應(yīng)出現(xiàn)極端壞結(jié)果。如果 ERM 選出來的模型測試準(zhǔn)確率反而最低說明交叉驗證劃分或候選模型集合配置有問題。7. 接口設(shè)計與批量任務(wù)上面的函數(shù)已經(jīng)具備接口雛形。實際工程里可以把算法封裝成統(tǒng)一入口def agnostic_pac_fit(X, y, modeerm, candidatesNone, cv_folds5, random_state42): if mode erm: return agnostic_erm(X, y, candidates, cv_folds, random_state) if mode voting: return agnostic_weighted_voting(X, y, candidates, cv_folds, random_state) raise ValueError(funknown mode: {mode})批量任務(wù)可以這樣組織把不同的樣本量、噪聲比例、候選模型列表寫成一個配置循環(huán)執(zhí)行并記錄結(jié)果。results [] configs [ {n_samples: 500, flip_y: 0.1, mode: erm}, {n_samples: 500, flip_y: 0.2, mode: erm}, {n_samples: 1000, flip_y: 0.2, mode: voting}, ] for cfg in configs: X, y make_classification( n_samplescfg[n_samples], n_features8, n_informative6, n_redundant2, flip_ycfg[flip_y], random_state0 ) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42 ) if cfg[mode] erm: model, scores agnostic_pac_fit(X_train, y_train, modeerm) else: model agnostic_pac_fit(X_train, y_train, modevoting) results.append({ **cfg, test_acc: model.score(X_test, y_test), }) print(results)跑批量任務(wù)時建議加日志和失敗重試。比如某個候選模型在特定數(shù)據(jù)上不收斂應(yīng)該捕獲異常并跳過而不是讓整個實驗中斷。8. 資源占用與性能觀察這一節(jié)不涉及顯存但同樣需要關(guān)注資源。Agnostic PAC 算法的計算開銷主要由三部分構(gòu)成開銷來源影響因素降低方式交叉驗證訓(xùn)練候選模型數(shù)量 × 折數(shù)減少候選模型、減少折數(shù)、并行計算模型擬合樣本量、特征維度降采樣、特征篩選聚合預(yù)測候選模型數(shù)量剪枝、權(quán)重稀疏化可以這樣粗略估算如果候選模型有 10 個K 折是 5那么一次函數(shù)調(diào)用最多觸發(fā) 50 次訓(xùn)練實際還有一次全量訓(xùn)練。幾百到幾千條樣本、8 個特征時訓(xùn)練通常在秒級完成具體耗時以本機(jī)測試為準(zhǔn)。觀察訓(xùn)練耗時可以用簡單的時間戳import time start time.perf_counter() model, scores agnostic_erm(X_train, y_train) elapsed time.perf_counter() - start print(f訓(xùn)練耗時{elapsed:.3f}s)內(nèi)存占用方面這種規(guī)模的數(shù)據(jù)集不會構(gòu)成壓力。特征維度上升到幾萬、候選模型變成隨機(jī)森林或核 SVM 時才需要關(guān)注內(nèi)存。常規(guī)手段是限制候選模型規(guī)模、使用線性模型做快速篩選、或者對特征做 PCA 降維。9. 常見問題與排查方法問題現(xiàn)象可能原因排查方式解決方案交叉驗證結(jié)果波動大折數(shù)太少、樣本不均衡、隨機(jī)種子不同打印每折得分增大折數(shù)、使用分層采樣、固定隨機(jī)種子訓(xùn)練很慢候選模型復(fù)雜、樣本量大統(tǒng)計每輪耗時降采樣、減少候選模型、并行訓(xùn)練ERM 選出的模型在測試集上很差假設(shè)類過擬合、交叉驗證泄漏對比訓(xùn)練集與測試集準(zhǔn)確率降低模型復(fù)雜度、使用結(jié)構(gòu)風(fēng)險最小化驗證準(zhǔn)確率和測試準(zhǔn)確率差距大數(shù)據(jù)分布不一致、劃分不隨機(jī)檢查數(shù)據(jù)切分邏輯使用分層 train_test_split、避免時間泄漏聚合結(jié)果不如單個最優(yōu)模型聚合權(quán)重分配不合理打印各候選模型得分與權(quán)重按交叉驗證準(zhǔn)確率歸一化權(quán)重某些候選模型訓(xùn)練報錯數(shù)據(jù)特征不適合該模型單獨測試該模型捕獲異常、跳過失敗模型增加樣本后準(zhǔn)確率不再提升近似誤差占主導(dǎo)觀察 OPT 是否遠(yuǎn)大于 0擴(kuò)大假設(shè)類或增加特征表達(dá)其中最容易踩的坑是交叉驗證泄漏如果先在全量數(shù)據(jù)上做特征縮放再劃分訓(xùn)練集和測試集驗證結(jié)果會虛高。本文實驗沒有做特征縮放所以不涉及這個問題。如果你用自己的數(shù)據(jù)務(wù)必把預(yù)處理放進(jìn)交叉驗證循環(huán)內(nèi)部。10. 最佳實踐與使用建議先在小樣本、低噪聲數(shù)據(jù)上跑通 ERM確認(rèn)候選假設(shè)類、交叉驗證、評估流程都正常再進(jìn)入正式實驗。固定隨機(jī)種子。Agnostic PAC 的結(jié)論是概率性的單次實驗不能說明問題多次重復(fù)取均值才有意義。候選假設(shè)類從小到大逐步加。先放兩個簡單模型確認(rèn)代碼無誤再引入復(fù)雜模型。把數(shù)據(jù)集、候選模型、交叉驗證折數(shù)、隨機(jī)種子、測試準(zhǔn)確率記錄成表。批量實驗尤其要留日志。聚合不一定總贏過 ERM但更穩(wěn)。如果只關(guān)心“選一個模型上線”用 ERM如果關(guān)心穩(wěn)定性用加權(quán)聚合。當(dāng)假設(shè)類本身很強(qiáng)但樣本不足時優(yōu)先考慮減少模型復(fù)雜度而不是繼續(xù)加候選模型。樣本復(fù)雜度隨 VC 維增長。11. 總結(jié)與下一步An Optimal Agnostic PAC Algorithm 的核心結(jié)論可以濃縮成一句話在不可知設(shè)定下ERM 已經(jīng)達(dá)到樣本復(fù)雜度的最優(yōu)量級而聚合算法提供了一種計算上更穩(wěn)的近似實現(xiàn)。它不是某個現(xiàn)成模型而是一種判斷“算法好不好”的標(biāo)準(zhǔn)。如果只驗證一個功能建議先跑通第 6 節(jié)的樣本量實驗親眼看一下誤差隨樣本量的變化曲線。最值得踩的坑是交叉驗證泄漏一定要在劃分之后再做任何預(yù)處理。下一步可以看兩個方向一是從有限假設(shè)類擴(kuò)展到無限假設(shè)類理解 VC 維和覆蓋數(shù)如何替代 log|H|二是把在線學(xué)習(xí)的聚合算法改寫成批處理版本重新推導(dǎo)權(quán)重更新過程和風(fēng)險上界。這套框架理解到位之后再去看深度學(xué)習(xí)里的模型選擇、早停和正則化會有完全不同的視角。