網(wǎng)絡(luò)：從零用numpy實(shí)現(xiàn)反向傳播與梯度更新)
簡(jiǎn)介面向深度學(xué)習(xí)初學(xué)者的簡(jiǎn)單全連接神經(jīng)網(wǎng)絡(luò)Python實(shí)現(xiàn)聚焦多層感知器的底層搭建原理適合想避開(kāi)TensorFlow/PyTorch、通過(guò)numpy理解前向傳播、反向傳播與梯度更新等核心機(jī)制的讀者。資源為zip壓縮包共7個(gè)Python文件、體積約4KB代碼涵蓋網(wǎng)絡(luò)定義、權(quán)重初始化、激活函數(shù)、前向傳播、損失計(jì)算、反向傳播、訓(xùn)練入口與預(yù)測(cè)腳本模塊劃分清晰可獨(dú)立運(yùn)行。已有4211人學(xué)習(xí)/下載。實(shí)現(xiàn)從sigmoid激活、均方誤差、鏈?zhǔn)椒▌t梯度更新到多輪迭代訓(xùn)練逐層展開(kāi)并演示了訓(xùn)練流程與預(yù)測(cè)調(diào)用讀者可修改數(shù)據(jù)規(guī)模、隱藏層維度與學(xué)習(xí)率直觀觀察損失變化與預(yù)測(cè)效果進(jìn)而快速構(gòu)建一個(gè)可運(yùn)行的簡(jiǎn)單全連接網(wǎng)絡(luò)。同時(shí)提供數(shù)據(jù)生成與公共配置輔助腳本方便替換數(shù)據(jù)集、調(diào)整網(wǎng)絡(luò)參數(shù)訓(xùn)練時(shí)打印損失值有助于理解收斂過(guò)程為后續(xù)深入學(xué)習(xí)深度學(xué)習(xí)框架打下基礎(chǔ)。1. 全連接神經(jīng)網(wǎng)絡(luò)不借框架用手寫代碼搞懂每一行很多人在網(wǎng)上搜python神經(jīng)網(wǎng)絡(luò)搜到的全是PyTorch、Keras兩三行搭完模型的教程。模型是跑通了但問(wèn)一句反向傳播到底在更新什么十個(gè)人里九個(gè)含糊。我這篇筆記要拆的這份資源是不借助任何深度學(xué)習(xí)框架、純用Python和numpy手寫全連接神經(jīng)網(wǎng)絡(luò)FNN的完整實(shí)現(xiàn)。它解決的是黑匣子問(wèn)題——讓你能逐行看懂前向傳播、反向傳播、梯度更新而不是調(diào)包調(diào)參。適合兩類人一類是剛?cè)腴T、想真正理解神經(jīng)網(wǎng)絡(luò)原理的初學(xué)者另一類是已經(jīng)會(huì)用框架、但總覺(jué)得哪里差了點(diǎn)火候想把手底下的數(shù)學(xué)推導(dǎo)補(bǔ)扎實(shí)的從業(yè)者。閱讀之前先確認(rèn)你的環(huán)境Python 3.8以上、numpy、matplotlib即可不建議用更高版本Python個(gè)別語(yǔ)法會(huì)有兼容差異。2. 從零構(gòu)建全連接層前向傳播與激活函數(shù)選型2.1 全連接層的矩陣運(yùn)算本質(zhì)全連接層的計(jì)算規(guī)律可以用一句話概括輸入向量與權(quán)重矩陣相乘加上偏置再過(guò)一個(gè)激活函數(shù)。用數(shù)學(xué)式子寫就是h f(XW b)。但真正寫代碼時(shí)有兩個(gè)細(xì)節(jié)特別容易絆倒新手——矩陣形狀和批量數(shù)據(jù)的維度。這份資源的代碼里輸入 X 的shape是(batch_size, input_dim)權(quán)重 W 的shape是(input_dim, output_dim)偏置 b 是(output_dim,)。矩陣相乘結(jié)果是(batch_size, output_dim)。很多初學(xué)者把 W 的維度搞反寫成(output_dim, input_dim)結(jié)果就是維度報(bào)錯(cuò)或者更隱蔽的問(wèn)題是轉(zhuǎn)置來(lái)轉(zhuǎn)置去邏輯全亂。class FullyConnectedLayer: def __init__(self, input_dim, output_dim, activationrelu): # 權(quán)重初始化用He初始化適合ReLU家族激活函數(shù) self.W np.random.randn(input_dim, output_dim) * np.sqrt(2.0 / input_dim) self.b np.zeros(output_dim) self.activation activation self.input None self.z None # 線性輸出反向傳播要用 def forward(self, x): self.input x self.z np.dot(x, self.W) self.b if self.activation relu: self.output np.maximum(0, self.z) elif self.activation sigmoid: self.output 1 / (1 np.exp(-self.z)) elif self.activation tanh: self.output np.tanh(self.z) elif self.activation linear: self.output self.z return self.output邏輯說(shuō)明forward方法接收上一層傳入的數(shù)據(jù)先做線性變換xW b然后把結(jié)果按激活函數(shù)類型做非線性映射。self.input和self.z必須存下來(lái)因?yàn)榉聪騻鞑ビ?jì)算梯度時(shí)需要用到前向傳播時(shí)的中間結(jié)果。參數(shù)說(shuō)明input_dim是上一層神經(jīng)元的個(gè)數(shù)output_dim是當(dāng)前層神經(jīng)元個(gè)數(shù)activation是激活函數(shù)的字符串標(biāo)識(shí)。這里用np.random.randn生成標(biāo)準(zhǔn)正態(tài)分布隨機(jī)數(shù)再乘上np.sqrt(2.0 / input_dim)——這個(gè)系數(shù)就是 He 初始化的關(guān)鍵目的是讓每一層的輸出方差保持穩(wěn)定不會(huì)隨層數(shù)加深而爆炸或消失。2.2 激活函數(shù)怎么選sigmoid、tanh還是ReLU激活函數(shù)的選擇直接決定網(wǎng)絡(luò)能不能訓(xùn)練起來(lái)。sigmoid 在二分類輸出層幾乎是必須的因?yàn)樗敵鲈?(0, 1) 區(qū)間天然對(duì)應(yīng)概率tanh 輸出在 (-1, 1)均值接近 0比 sigmoid 更容易收斂ReLU 是隱藏層的主力計(jì)算簡(jiǎn)單、梯度不衰減。但這三個(gè)函數(shù)各有各的坑。sigmoid 在輸入絕對(duì)值很大時(shí)梯度趨近于 0層數(shù)一深梯度就消失ReLU 在輸入為負(fù)數(shù)時(shí)梯度完全為 0某個(gè)神經(jīng)元一旦死掉后續(xù)永遠(yuǎn)不會(huì)被激活。這份資源里給的解決方案是隱藏層用 ReLU輸出層按任務(wù)選——回歸任務(wù)用 linear二分類用 sigmoid多分類用 softmax后面單獨(dú)實(shí)現(xiàn)。def softmax(logits): # 減去最大值防止指數(shù)溢出 shifted logits - np.max(logits, axis1, keepdimsTrue) exp_logits np.exp(shifted) return exp_logits / np.sum(exp_logits, axis1, keepdimsTrue)邏輯說(shuō)明softmax 先把每個(gè)樣本的 logits 減去該樣本的最大值這是數(shù)值穩(wěn)定的關(guān)鍵——如果不減exp(1000)會(huì)直接溢出成inf。然后逐行做指數(shù)運(yùn)算并歸一化輸出每一行的和為 1。參數(shù)說(shuō)明logits的 shape 是(batch_size, num_classes)axis1表示按行每個(gè)樣本計(jì)算。這個(gè)函數(shù)在反向傳播里配合交叉熵?fù)p失有特別好的性質(zhì)下文會(huì)講到。2.3 初始化方法與參數(shù)說(shuō)明權(quán)重初始化是新手最容易忽略卻影響巨大的細(xì)節(jié)。全零初始化是絕對(duì)禁忌——所有神經(jīng)元變成對(duì)稱的梯度更新后依然對(duì)稱網(wǎng)絡(luò)退化成單神經(jīng)元。固定值初始化也不行會(huì)導(dǎo)致某些神經(jīng)元永遠(yuǎn)無(wú)法被激活。這份資源里實(shí)現(xiàn)了幾種常見(jiàn)初始化我一般會(huì)按層數(shù)選擇單隱藏層用np.random.randn * 0.01就能跑因?yàn)閷訑?shù)淺、梯度可以自然傳導(dǎo)兩層以上的網(wǎng)絡(luò)必須用 He 或 Xavier。He 初始化方差是2/input_dim適合 ReLUXavier 初始化方差是1/input_dim適合 sigmoid和tanh。如果搞混了最直接的癥狀是深層網(wǎng)絡(luò)的損失在前期下降極慢甚至完全不動(dòng)。3. 反向傳播手推梯度與代碼對(duì)表3.1 損失函數(shù)與梯度推導(dǎo)反向傳播的核心是鏈?zhǔn)椒▌t。拿一個(gè)三層的全連接網(wǎng)絡(luò)舉例輸入層784維→ 隱藏層128神經(jīng)元ReLU→ 輸出層10神經(jīng)元softmax損失函數(shù)用交叉熵。交叉熵?fù)p失的梯度有一個(gè)非常漂亮的性質(zhì)如果輸出層是 softmax損失對(duì) logits 的梯度恰好等于(softmax輸出 - onehot標(biāo)簽)。這個(gè)結(jié)論可以直接用不需要手動(dòng)對(duì)每個(gè)分量求導(dǎo)。代碼里我會(huì)把這一步寫成注釋防止自己三個(gè)月后忘了為什么。class CrossEntropyLoss: def forward(self, logits, labels): self.probs softmax(logits) batch_size logits.shape[0] # 取每個(gè)樣本真實(shí)類別對(duì)應(yīng)的概率加對(duì)數(shù) correct_log_probs -np.log(self.probs[range(batch_size), labels] 1e-9) return np.mean(correct_log_probs) def backward(self, labels): batch_size labels.shape[0] grad self.probs.copy() grad[range(batch_size), labels] - 1 return grad / batch_size邏輯說(shuō)明forward計(jì)算交叉熵?fù)p失1e-9是個(gè)小常數(shù)防止log(0)出現(xiàn)負(fù)無(wú)窮。backward實(shí)現(xiàn)了上面說(shuō)的那個(gè)漂亮性質(zhì)——梯度是 softmax 輸出減去 onehot 標(biāo)簽然后除以批量大小做平均。參數(shù)說(shuō)明logits是模型原始的線性輸出labels是整數(shù)形式的類別標(biāo)簽shape 是(batch_size,)。grad / batch_size這里用的是平均梯度對(duì)應(yīng)損失里np.mean的求平均操作兩端必須保持一致否則訓(xùn)練會(huì)不穩(wěn)定。3.2 反向傳播的實(shí)現(xiàn)細(xì)節(jié)鏈?zhǔn)椒▌t逐層回傳反向傳播的實(shí)現(xiàn)核心就一句話從損失開(kāi)始逐層反推。每一層需要做兩件事——算出當(dāng)前層的權(quán)重梯度dW和偏置梯度db再算出傳給上一層的梯度dx。def backward(self, grad_output, learning_rate): batch_size grad_output.shape[0] # 先過(guò)激活函數(shù)的導(dǎo)數(shù) if self.activation relu: mask (self.z 0).astype(float) grad_z grad_output * mask elif self.activation sigmoid: sig 1 / (1 np.exp(-self.z)) grad_z grad_output * sig * (1 - sig) elif self.activation tanh: tanh_out np.tanh(self.z) grad_z grad_output * (1 - tanh_out ** 2) else: # linear grad_z grad_output # 權(quán)重梯度、偏置梯度、傳給上一層的梯度 self.dW np.dot(self.input.T, grad_z) / batch_size self.db np.mean(grad_z, axis0) dx np.dot(grad_z, self.W.T) # 原地更新參數(shù) self.W - learning_rate * self.dW self.b - learning_rate * self.db return dx邏輯說(shuō)明mask (self.z 0)是 ReLU 的導(dǎo)數(shù)——大于 0 的地方導(dǎo)數(shù)是 1小于等于 0 的地方導(dǎo)數(shù)是 0。sigmoid 和 tanh 的導(dǎo)數(shù)都可以用輸出值本身表示所以要先算一遍輸出。dx是把當(dāng)前層的梯度投影回輸入空間讓上一層能繼續(xù)回傳。參數(shù)說(shuō)明grad_output是從后面一層傳回來(lái)的梯度learning_rate是學(xué)習(xí)率。注意這里self.dW np.dot(self.input.T, grad_z) / batch_size——input.T是(input_dim, batch_size)乘以(batch_size, output_dim)得到(input_dim, output_dim)正好對(duì)齊 W 的shape。除以batch_size是因?yàn)閾p失用了平均梯度也要跟著平均。3.3 梯度檢查驗(yàn)證反向傳播的代碼沒(méi)寫錯(cuò)反向傳播一旦寫錯(cuò)訓(xùn)練時(shí)表現(xiàn)為損失先降后升、或者完全亂跳。最煩的是這種錯(cuò)誤不像維度報(bào)錯(cuò)那么明顯。所以在正式訓(xùn)練前我會(huì)做一次數(shù)值梯度檢查——用數(shù)值差分近似梯度和反向傳播算出來(lái)的梯度對(duì)比如果相對(duì)誤差在1e-6量級(jí)說(shuō)明代碼是對(duì)的。def numerical_gradient(layer, x, y, eps1e-7): grad_W np.zeros_like(layer.W) # 對(duì)權(quán)重矩陣每個(gè)元素做數(shù)值差分 for i in range(layer.W.shape[0]): for j in range(layer.W.shape[1]): W_plus layer.W.copy() W_minus layer.W.copy() W_plus[i, j] eps W_minus[i, j] - eps layer.W W_plus out_plus forward_pass(x, y) layer.W W_minus out_minus forward_pass(x, y) grad_W[i, j] (out_plus - out_minus) / (2 * eps) layer.W original_W # 恢復(fù)原權(quán)重 return grad_W邏輯說(shuō)明數(shù)值梯度用中心差分公式(f(xeps) - f(x-eps)) / (2*eps)比單側(cè)差分更精確。每次改一個(gè)權(quán)重元素重新做完整前向傳播比較兩個(gè)損失值差。參數(shù)說(shuō)明eps取1e-7比較合適——太小會(huì)有浮點(diǎn)精度問(wèn)題太大則近似誤差大。注意用完后必須恢復(fù)layer.W這是新手最容易漏的忘了恢復(fù)會(huì)把權(quán)重污染掉。4. 訓(xùn)練手寫數(shù)字識(shí)別完整流程與超參數(shù)調(diào)優(yōu)4.1 數(shù)據(jù)準(zhǔn)備從哪里拿、怎么預(yù)處理這份資源用的是 MNIST 手寫數(shù)字?jǐn)?shù)據(jù)集每張圖是 28×28 像素的灰度圖拉平就是 784 維向量標(biāo)簽是 0 到 9 的整數(shù)。數(shù)據(jù)集自帶訓(xùn)練集 60000 張、測(cè)試集 10000 張。數(shù)據(jù)預(yù)處理有兩個(gè)關(guān)鍵動(dòng)作歸一化和 onehot 編碼。歸一化把像素值從 0~255 壓縮到 0~1直接除以 255.0 即可這一步對(duì)收斂速度影響極大——不做的話輸入范圍太大梯度更新會(huì)非常不穩(wěn)定。onehot 編碼是把整數(shù)標(biāo)簽轉(zhuǎn)成 10 維向量雖然交叉熵?fù)p失直接用整數(shù)標(biāo)簽計(jì)算但如果你換成均方誤差損失就必須用 onehot。def load_mnist_data(): # 假設(shè)已經(jīng)從官網(wǎng)下載好四個(gè).gz文件并放在data目錄 with open(data/train-images.idx3-ubyte, rb) as f: magic struct.unpack(I, f.read(4))[0] num_images struct.unpack(I, f.read(4))[0] rows struct.unpack(I, f.read(4))[0] cols struct.unpack(I, f.read(4))[0] images np.frombuffer(f.read(), dtypenp.uint8).reshape(num_images, rows*cols) images images / 255.0 # 歸一化到[0,1] with open(data/train-labels.idx1-ubyte, rb) as f: magic struct.unpack(I, f.read(4))[0] num_labels struct.unpack(I, f.read(4))[0] labels np.frombuffer(f.read(), dtypenp.uint8) return images, labels邏輯說(shuō)明MNIST 的 idx 文件是二進(jìn)制格式有固定的頭部結(jié)構(gòu)。struct.unpack(I, ...)按大端序讀取 4 字節(jié)無(wú)符號(hào)整數(shù)跳過(guò)頭部后剩余內(nèi)容就是像素?cái)?shù)據(jù)用np.frombuffer讀成數(shù)組再 reshape。參數(shù)說(shuō)明rows*cols是 784歸一化用255.0而不是255是為了保持浮點(diǎn)除法。這套解析代碼在很多數(shù)據(jù)集上通用還有一個(gè)坑是文件頭偏移——train-images 是 16 字節(jié)頭train-labels 是 8 字節(jié)頭搞錯(cuò)了讀出來(lái)的數(shù)據(jù)全是亂的訓(xùn)練準(zhǔn)確率會(huì)停留在 10% 左右純隨機(jī)水平。4.2 訓(xùn)練循環(huán)與超參數(shù)設(shè)置learning_rate、epochs、batch_size訓(xùn)練循環(huán)是最容易寫得松散的部分。全批量梯度下降每輪更新一次權(quán)重mini-batch 每輪更新多次。這份資源里默認(rèn)用全批量代碼結(jié)構(gòu)清晰先跑通再改 mini-batch。def train(model, X_train, y_train, epochs50, learning_rate0.1): losses [] accuracies [] for epoch in range(epochs): # 前向傳播 output model.forward(X_train) # 計(jì)算損失和準(zhǔn)確率 loss model.loss_fn.forward(output, y_train) preds np.argmax(output, axis1) accuracy np.mean(preds y_train) # 反向傳播 grad model.loss_fn.backward(y_train) model.backward(grad, learning_rate) losses.append(loss) accuracies.append(accuracy) print(fEpoch {epoch1}/{epochs}, Loss: {loss:.4f}, Acc: {accuracy:.4f}) return losses, accuracies邏輯說(shuō)明每輪循環(huán)做一次完整的前向傳播、損失計(jì)算、反向傳播、參數(shù)更新。np.argmax取最大概率的類別索引作為預(yù)測(cè)結(jié)果和真實(shí)標(biāo)簽算準(zhǔn)確率。參數(shù)說(shuō)明learning_rate0.1對(duì) MNIST 單隱藏層網(wǎng)絡(luò)是個(gè)比較穩(wěn)的起點(diǎn)。如果損失震蕩改成 0.01如果每輪下降很慢可以試 0.5。注意這里用的是全批量建議先用 5000 張子集試跑一遍5 分鐘能跑完再上全量。模型結(jié)構(gòu)我用三層網(wǎng)絡(luò)784→128→10隱藏層 ReLU。這個(gè)配置下50 輪訓(xùn)練準(zhǔn)確率可以到 96% 以上不用任何正則化。但如果想上 98%需要加正則化和調(diào)優(yōu)這個(gè)在第六章講。4.3 驗(yàn)證集與過(guò)擬合的判斷方法過(guò)擬合在你持續(xù)訓(xùn)練時(shí)會(huì)越來(lái)越明顯訓(xùn)練準(zhǔn)確率不斷攀升驗(yàn)證準(zhǔn)確率卻停滯甚至下降。MNIST 因?yàn)閿?shù)據(jù)比較干凈單隱藏層網(wǎng)絡(luò)不太容易過(guò)擬合但這個(gè)判斷習(xí)慣必須養(yǎng)成。def train_with_validation(model, X_train, y_train, X_val, y_val, epochs50, learning_rate0.1): for epoch in range(epochs): output model.forward(X_train) train_loss model.loss_fn.forward(output, y_train) grad model.loss_fn.backward(y_train) model.backward(grad, learning_rate) # 每個(gè)epoch結(jié)束在驗(yàn)證集上做一次評(píng)估 val_output model.forward(X_val) val_preds np.argmax(val_output, axis1) val_acc np.mean(val_preds y_val) print(fEpoch {epoch1}: train_loss{train_loss:.4f}, fval_acc{val_acc:.4f}) # 早停連續(xù)5輪驗(yàn)證準(zhǔn)確率無(wú)提升就中斷 if epoch 5 and val_acc best_val_acc: patience - 1 if patience 0: print(Early stopping triggered.) break else: best_val_acc val_acc patience 5邏輯說(shuō)明驗(yàn)證集每輪評(píng)估一次不參與梯度更新超參數(shù)也不會(huì)根據(jù)驗(yàn)證集調(diào)那是測(cè)試集的職責(zé)。早停邏輯是連續(xù) 5 輪沒(méi)有新紀(jì)錄就中斷訓(xùn)練避免浪費(fèi)算力。參數(shù)說(shuō)明patience是早停的容忍輪數(shù)best_val_acc記錄歷史最佳準(zhǔn)確率。注意val_output model.forward(X_val)時(shí)模型內(nèi)部會(huì)覆蓋self.input等緩存所以驗(yàn)證集前向傳播必須放在反向傳播之后否則會(huì)把訓(xùn)練狀態(tài)污染掉。5. 常見(jiàn)問(wèn)題與排查神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的五個(gè)典型坑5.1 損失變成 NaN 或 inf現(xiàn)象訓(xùn)練幾輪后損失打印變成nan重跑一遍可能一開(kāi)始就是nan。原因最常見(jiàn)的是np.exp溢出。softmax 里如果logits出現(xiàn) 100 以上的值exp(100)直接爆掉。其次可能是學(xué)習(xí)率太大導(dǎo)致權(quán)重更新幅度過(guò)大梯度爆炸。解決分兩步排查。先確認(rèn) softmax 里做了最大值偏移——看了代碼里shifted logits - np.max(logits, axis1, keepdimsTrue)這能解決大部分溢出的 case。如果還是 nan把學(xué)習(xí)率調(diào)小兩個(gè)數(shù)量級(jí)試試從 0.1 改到 0.001。我的習(xí)慣是每個(gè) epoch 結(jié)束后檢查 loss 是否有限用np.isfinite判斷一旦發(fā)現(xiàn)異常就停止訓(xùn)練并打印關(guān)鍵中間變量不要硬跑完整輪。5.2 準(zhǔn)確率一直停在 10% 左右現(xiàn)象準(zhǔn)確率始終在 0.1 附近相當(dāng)于隨機(jī)亂猜。原因數(shù)據(jù)讀取錯(cuò)誤是頭號(hào)嫌疑。MNIST 文件讀錯(cuò)了字節(jié)偏移得到的是隨機(jī)噪聲。第二個(gè)常見(jiàn)原因是標(biāo)簽和特征沒(méi)對(duì)齊——讀圖用了 train-images 文件讀標(biāo)簽卻用了 test-labels 文件兩張表的順序不一致。解決先用print(X_train[0].shape)確認(rèn)數(shù)據(jù)維度是(784,)再打印前 10 個(gè)標(biāo)簽的獨(dú)特性應(yīng)該有 0~9 全出現(xiàn)最后用plt.imshow(X_train[0].reshape(28,28))可視化第一張圖確認(rèn)看起來(lái)像一個(gè)數(shù)字。我自己就犯過(guò)這個(gè)錯(cuò)花了整整兩天——某個(gè)數(shù)據(jù)讀取腳本里復(fù)制粘貼錯(cuò)了文件名準(zhǔn)確率卡在 10%最后畫了圖才發(fā)現(xiàn)數(shù)據(jù)全亂。5.3 損失震蕩完全不平滑現(xiàn)象損失曲線像鋸齒一樣上下亂跳或者前幾輪下降明顯但后面越來(lái)越劇烈。原因?qū)W習(xí)率過(guò)大。梯度計(jì)算沒(méi)問(wèn)題的時(shí)候過(guò)大的學(xué)習(xí)率會(huì)讓權(quán)重在最優(yōu)解附近來(lái)回穿越甚至越跳越遠(yuǎn)。另一個(gè)常見(jiàn)原因是批量大小和損失函數(shù)的平均操作不匹配——損失用了np.mean而梯度用了np.sum梯度方向被放大了 batch_size 倍。解決先把學(xué)習(xí)率降到 0.001 試跑 10 輪觀察損失是否變平滑。如果平滑了就說(shuō)明是學(xué)習(xí)率問(wèn)題可以逐步調(diào)大。如果還沒(méi)用檢查backward里self.db np.mean(grad_z, axis0)和self.dW np.dot(self.input.T, grad_z) / batch_size是否保持一致。這兩個(gè)操作一個(gè)用了 mean 一個(gè)用了除 batch_size數(shù)值上等價(jià)但容易在復(fù)制代碼時(shí)只改一半。5.4 深層網(wǎng)絡(luò)訓(xùn)練不動(dòng)梯度消失的典型表現(xiàn)現(xiàn)象三層以內(nèi)網(wǎng)絡(luò)正常加到五六層后前幾層幾乎學(xué)不到東西準(zhǔn)確率一直上不去。原因sigmoid 或 tanh 激活函數(shù)在深層網(wǎng)絡(luò)里梯度逐層遞減——每層最多乘 0.25十層以后梯度直接是0.25^10前幾層的權(quán)重根本收不到有效梯度。解決把隱藏層全部換成 ReLU。ReLU 在正半軸導(dǎo)數(shù)是 1不會(huì)衰減梯度。如果已經(jīng)用了 ReLU 還是很慢檢查初始化——確認(rèn)用的是 He 初始化np.sqrt(2.0 / input_dim)這個(gè)細(xì)節(jié)直接決定深層網(wǎng)絡(luò)能不能訓(xùn)練起來(lái)。還有一個(gè)注意點(diǎn)最后一層如果做二分類用 sigmoid倒數(shù)第二層不要用 sigmoid這會(huì)讓梯度在最后兩個(gè)全連接層之間被打兩次折扣。5.5 驗(yàn)證集評(píng)估污染訓(xùn)練狀態(tài)現(xiàn)象驗(yàn)證集準(zhǔn)確率忽高忽低而且訓(xùn)練幾輪后驗(yàn)證準(zhǔn)確率反而比訓(xùn)練準(zhǔn)確率還高。原因一個(gè)非常隱蔽的坑——模型類里緩存了self.input和self.z如果驗(yàn)證集前向傳播發(fā)生在反向傳播之前這些緩存會(huì)被驗(yàn)證集數(shù)據(jù)覆蓋。那么下一輪訓(xùn)練的梯度計(jì)算就會(huì)用驗(yàn)證集的數(shù)據(jù)導(dǎo)致梯度方向完全錯(cuò)誤。解決固定前向傳播和反向傳播的執(zhí)行順序先backward后val_forward或者干脆每次反向傳播前無(wú)視緩存、直接從當(dāng)前輸入計(jì)算梯度把self.input和self.z做成局部變量而不是實(shí)例屬性。這個(gè) bug 的癥狀非常迷惑人我遇到過(guò)兩三次最后都是一行一行打日志才發(fā)現(xiàn)是緩存被覆蓋了。6. 進(jìn)階技巧把玩具網(wǎng)絡(luò)改造成真正能用的工具6.1 從全批量到 mini-batch三步改完訓(xùn)練速度提升一個(gè)量級(jí)全批量訓(xùn)練的缺點(diǎn)是每次更新都要看全部數(shù)據(jù)數(shù)據(jù)量大時(shí)內(nèi)存開(kāi)銷大、收斂慢。改成 mini-batch 只需要三步打亂數(shù)據(jù) → 切分批次 → 逐批更新權(quán)重。def train_minibatch(model, X_train, y_train, batch_size64, epochs10, learning_rate0.01): num_samples X_train.shape[0] num_batches num_samples // batch_size for epoch in range(epochs): # 每個(gè)epoch隨機(jī)打亂數(shù)據(jù)避免批次間的順序偏差 shuffle_idx np.random.permutation(num_samples) X_shuffled X_train[shuffle_idx] y_shuffled y_train[shuffle_idx] epoch_loss 0.0 for batch_idx in range(num_batches): start batch_idx * batch_size end start batch_size X_batch X_shuffled[start:end] y_batch y_shuffled[start:end] output model.forward(X_batch) loss model.loss_fn.forward(output, y_batch) grad model.loss_fn.backward(y_batch) model.backward(grad, learning_rate) epoch_loss loss print(fEpoch {epoch1}/{epochs}, Avg Loss: {epoch_loss / num_batches:.4f})邏輯說(shuō)明np.random.permutation返回一個(gè)打亂的下標(biāo)數(shù)組用它同時(shí)重排特征和標(biāo)簽保持對(duì)應(yīng)關(guān)系。每個(gè) batch 獨(dú)立做前向、反向、更新一個(gè) epoch 內(nèi)的權(quán)重會(huì)更新num_batches次。參數(shù)說(shuō)明batch_size取 32 或 64 比較合適。太大則梯度方向接近全批量、更新慢太小則梯度噪聲大、損失曲線抖動(dòng)明顯。mini-batch 配合稍小的學(xué)習(xí)率0.01 左右通常比全批量更快收斂到相同精度。6.2 學(xué)習(xí)率衰減前半程大步學(xué)后半程小步精調(diào)固定學(xué)習(xí)率有個(gè)兩難問(wèn)題設(shè)大了前期學(xué)得快但后期震蕩設(shè)小了前期收斂太慢。最簡(jiǎn)單的解決方式是指數(shù)衰減每過(guò)固定輪數(shù)把學(xué)習(xí)率乘一個(gè)衰減系數(shù)。def train_lr_decay(model, X_train, y_train, epochs30, initial_lr0.1, decay_interval10, decay_rate0.5): lr initial_lr for epoch in range(epochs): output model.forward(X_train) loss model.loss_fn.forward(output, y_train) grad model.loss_fn.backward(y_train) model.backward(grad, lr) if (epoch 1) % decay_interval 0: lr * decay_rate print(fEpoch {epoch1}: learning rate decayed to {lr:.5f})邏輯說(shuō)明每decay_interval輪學(xué)習(xí)率乘以decay_rate逐漸變小。這樣前半程用大步長(zhǎng)快速跨過(guò)損失曲面的平坦區(qū)后半程用小步長(zhǎng)精調(diào)避免在最優(yōu)解附近反復(fù)橫跳。參數(shù)說(shuō)明decay_interval10表示每 10 輪衰減一次decay_rate0.5表示每次減半。這兩個(gè)參數(shù)按訓(xùn)練時(shí)長(zhǎng)調(diào)整——如果總共只訓(xùn)練 30 輪這個(gè)配置大概衰減兩次如果訓(xùn)練 100 輪每 20 輪衰減 0.5 更合適。有一個(gè)反直覺(jué)的經(jīng)驗(yàn)學(xué)習(xí)率衰減比使用更復(fù)雜優(yōu)化器比如 Adam在數(shù)據(jù)集上更平滑尤其對(duì)小型網(wǎng)絡(luò)而言Adam 反而容易把最優(yōu)解附近的步長(zhǎng)調(diào)得過(guò)于精細(xì)導(dǎo)致泛化性不如簡(jiǎn)單的衰減策略。6.3 正則化L2 讓權(quán)重更均勻Dropout 讓神經(jīng)元更獨(dú)立過(guò)擬合的本質(zhì)是模型記住了訓(xùn)練集的噪聲。兩種最常用的手段L2 正則化在損失函數(shù)里加一項(xiàng)權(quán)重的平方和懲罰權(quán)重過(guò)大的神經(jīng)元Dropout 在訓(xùn)練時(shí)隨機(jī)丟棄一部分神經(jīng)元的輸出讓網(wǎng)絡(luò)不能依賴單個(gè)神經(jīng)元的輸出。class L2Regularization: def __init__(self, lambda_value0.001): self.lambda_value lambda_value def cost(self, model): reg_loss 0.0 for layer in model.layers: reg_loss np.sum(layer.W ** 2) return 0.5 * self.lambda_value * reg_loss def gradient(self, model): # L2的梯度是λW直接疊加到權(quán)重梯度上 for layer in model.layers: layer.dW self.lambda_value * layer.W邏輯說(shuō)明L2 正則化的梯度等于lambda * W把它加到dW上再更新權(quán)重。直觀來(lái)看每次更新都會(huì)對(duì)權(quán)重做一點(diǎn)縮水權(quán)重越大縮得越多于是網(wǎng)絡(luò)傾向使用更多小權(quán)重而非少數(shù)大權(quán)重泛化性隨之提升。參數(shù)說(shuō)明lambda_value太小等于沒(méi)加太大則欠擬合——訓(xùn)練準(zhǔn)確率和驗(yàn)證準(zhǔn)確率都低。我通常從0.01開(kāi)始試每次除以 10觀察驗(yàn)證集準(zhǔn)確率的變化。Dropout 實(shí)現(xiàn)時(shí)注意推理階段要關(guān)閉隨機(jī)丟棄否則驗(yàn)證集的輸出會(huì)被隨機(jī)性干擾結(jié)果不穩(wěn)定。邊界說(shuō)明這份資源適合處理中小規(guī)模數(shù)據(jù)、理解神經(jīng)網(wǎng)絡(luò)原理、快速驗(yàn)證想法。如果是真實(shí)業(yè)務(wù)場(chǎng)景下的海量數(shù)據(jù)和復(fù)雜模型還是用成熟框架更穩(wěn)妥——手寫的價(jià)值在于你把基礎(chǔ)打透了用框架時(shí)心里有底。從那以后我每次訓(xùn)練任何模型都會(huì)把損失曲線和驗(yàn)證集準(zhǔn)確率打印成一個(gè)文件強(qiáng)制完整走一遍先驗(yàn)證數(shù)據(jù)讀取→再調(diào)學(xué)習(xí)率→再調(diào)結(jié)構(gòu)→最后加正則的順序不會(huì)跳過(guò)任何一步。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取 手寫全連接神經(jīng)網(wǎng)絡(luò)：從零用numpy實(shí)現(xiàn)反向傳播與梯度更新
簡(jiǎn)介面向深度學(xué)習(xí)初學(xué)者的簡(jiǎn)單全連接神經(jīng)網(wǎng)絡(luò)Python實(shí)現(xiàn)聚焦多層感知器的底層搭建原理適合想避開(kāi)TensorFlow/PyTorch、通過(guò)numpy理解前向傳播、反向傳播與梯度更新等核心機(jī)制的讀者。資源為zip壓縮包共7個(gè)Python文件、體積約4KB代碼涵蓋網(wǎng)絡(luò)定義、權(quán)重初始化、激活函數(shù)、前向傳播、損失計(jì)算、反向傳播、訓(xùn)練入口與預(yù)測(cè)腳本模塊劃分清晰可獨(dú)立運(yùn)行。已有4211人學(xué)習(xí)/下載。實(shí)現(xiàn)從sigmoid激活、均方誤差、鏈?zhǔn)椒▌t梯度更新到多輪迭代訓(xùn)練逐層展開(kāi)并演示了訓(xùn)練流程與預(yù)測(cè)調(diào)用讀者可修改數(shù)據(jù)規(guī)模、隱藏層維度與學(xué)習(xí)率直觀觀察損失變化與預(yù)測(cè)效果進(jìn)而快速構(gòu)建一個(gè)可運(yùn)行的簡(jiǎn)單全連接網(wǎng)絡(luò)。同時(shí)提供數(shù)據(jù)生成與公共配置輔助腳本方便替換數(shù)據(jù)集、調(diào)整網(wǎng)絡(luò)參數(shù)訓(xùn)練時(shí)打印損失值有助于理解收斂過(guò)程為后續(xù)深入學(xué)習(xí)深度學(xué)習(xí)框架打下基礎(chǔ)。1. 全連接神經(jīng)網(wǎng)絡(luò)不借框架用手寫代碼搞懂每一行很多人在網(wǎng)上搜python神經(jīng)網(wǎng)絡(luò)搜到的全是PyTorch、Keras兩三行搭完模型的教程。模型是跑通了但問(wèn)一句反向傳播到底在更新什么十個(gè)人里九個(gè)含糊。我這篇筆記要拆的這份資源是不借助任何深度學(xué)習(xí)框架、純用Python和numpy手寫全連接神經(jīng)網(wǎng)絡(luò)FNN的完整實(shí)現(xiàn)。它解決的是黑匣子問(wèn)題——讓你能逐行看懂前向傳播、反向傳播、梯度更新而不是調(diào)包調(diào)參。適合兩類人一類是剛?cè)腴T、想真正理解神經(jīng)網(wǎng)絡(luò)原理的初學(xué)者另一類是已經(jīng)會(huì)用框架、但總覺(jué)得哪里差了點(diǎn)火候想把手底下的數(shù)學(xué)推導(dǎo)補(bǔ)扎實(shí)的從業(yè)者。閱讀之前先確認(rèn)你的環(huán)境Python 3.8以上、numpy、matplotlib即可不建議用更高版本Python個(gè)別語(yǔ)法會(huì)有兼容差異。2. 從零構(gòu)建全連接層前向傳播與激活函數(shù)選型2.1 全連接層的矩陣運(yùn)算本質(zhì)全連接層的計(jì)算規(guī)律可以用一句話概括輸入向量與權(quán)重矩陣相乘加上偏置再過(guò)一個(gè)激活函數(shù)。用數(shù)學(xué)式子寫就是h f(XW b)。但真正寫代碼時(shí)有兩個(gè)細(xì)節(jié)特別容易絆倒新手——矩陣形狀和批量數(shù)據(jù)的維度。這份資源的代碼里輸入 X 的shape是(batch_size, input_dim)權(quán)重 W 的shape是(input_dim, output_dim)偏置 b 是(output_dim,)。矩陣相乘結(jié)果是(batch_size, output_dim)。很多初學(xué)者把 W 的維度搞反寫成(output_dim, input_dim)結(jié)果就是維度報(bào)錯(cuò)或者更隱蔽的問(wèn)題是轉(zhuǎn)置來(lái)轉(zhuǎn)置去邏輯全亂。class FullyConnectedLayer: def __init__(self, input_dim, output_dim, activationrelu): # 權(quán)重初始化用He初始化適合ReLU家族激活函數(shù) self.W np.random.randn(input_dim, output_dim) * np.sqrt(2.0 / input_dim) self.b np.zeros(output_dim) self.activation activation self.input None self.z None # 線性輸出反向傳播要用 def forward(self, x): self.input x self.z np.dot(x, self.W) self.b if self.activation relu: self.output np.maximum(0, self.z) elif self.activation sigmoid: self.output 1 / (1 np.exp(-self.z)) elif self.activation tanh: self.output np.tanh(self.z) elif self.activation linear: self.output self.z return self.output邏輯說(shuō)明forward方法接收上一層傳入的數(shù)據(jù)先做線性變換xW b然后把結(jié)果按激活函數(shù)類型做非線性映射。self.input和self.z必須存下來(lái)因?yàn)榉聪騻鞑ビ?jì)算梯度時(shí)需要用到前向傳播時(shí)的中間結(jié)果。參數(shù)說(shuō)明input_dim是上一層神經(jīng)元的個(gè)數(shù)output_dim是當(dāng)前層神經(jīng)元個(gè)數(shù)activation是激活函數(shù)的字符串標(biāo)識(shí)。這里用np.random.randn生成標(biāo)準(zhǔn)正態(tài)分布隨機(jī)數(shù)再乘上np.sqrt(2.0 / input_dim)——這個(gè)系數(shù)就是 He 初始化的關(guān)鍵目的是讓每一層的輸出方差保持穩(wěn)定不會(huì)隨層數(shù)加深而爆炸或消失。2.2 激活函數(shù)怎么選sigmoid、tanh還是ReLU激活函數(shù)的選擇直接決定網(wǎng)絡(luò)能不能訓(xùn)練起來(lái)。sigmoid 在二分類輸出層幾乎是必須的因?yàn)樗敵鲈?(0, 1) 區(qū)間天然對(duì)應(yīng)概率tanh 輸出在 (-1, 1)均值接近 0比 sigmoid 更容易收斂ReLU 是隱藏層的主力計(jì)算簡(jiǎn)單、梯度不衰減。但這三個(gè)函數(shù)各有各的坑。sigmoid 在輸入絕對(duì)值很大時(shí)梯度趨近于 0層數(shù)一深梯度就消失ReLU 在輸入為負(fù)數(shù)時(shí)梯度完全為 0某個(gè)神經(jīng)元一旦死掉后續(xù)永遠(yuǎn)不會(huì)被激活。這份資源里給的解決方案是隱藏層用 ReLU輸出層按任務(wù)選——回歸任務(wù)用 linear二分類用 sigmoid多分類用 softmax后面單獨(dú)實(shí)現(xiàn)。def softmax(logits): # 減去最大值防止指數(shù)溢出 shifted logits - np.max(logits, axis1, keepdimsTrue) exp_logits np.exp(shifted) return exp_logits / np.sum(exp_logits, axis1, keepdimsTrue)邏輯說(shuō)明softmax 先把每個(gè)樣本的 logits 減去該樣本的最大值這是數(shù)值穩(wěn)定的關(guān)鍵——如果不減exp(1000)會(huì)直接溢出成inf。然后逐行做指數(shù)運(yùn)算并歸一化輸出每一行的和為 1。參數(shù)說(shuō)明logits的 shape 是(batch_size, num_classes)axis1表示按行每個(gè)樣本計(jì)算。這個(gè)函數(shù)在反向傳播里配合交叉熵?fù)p失有特別好的性質(zhì)下文會(huì)講到。2.3 初始化方法與參數(shù)說(shuō)明權(quán)重初始化是新手最容易忽略卻影響巨大的細(xì)節(jié)。全零初始化是絕對(duì)禁忌——所有神經(jīng)元變成對(duì)稱的梯度更新后依然對(duì)稱網(wǎng)絡(luò)退化成單神經(jīng)元。固定值初始化也不行會(huì)導(dǎo)致某些神經(jīng)元永遠(yuǎn)無(wú)法被激活。這份資源里實(shí)現(xiàn)了幾種常見(jiàn)初始化我一般會(huì)按層數(shù)選擇單隱藏層用np.random.randn * 0.01就能跑因?yàn)閷訑?shù)淺、梯度可以自然傳導(dǎo)兩層以上的網(wǎng)絡(luò)必須用 He 或 Xavier。He 初始化方差是2/input_dim適合 ReLUXavier 初始化方差是1/input_dim適合 sigmoid和tanh。如果搞混了最直接的癥狀是深層網(wǎng)絡(luò)的損失在前期下降極慢甚至完全不動(dòng)。3. 反向傳播手推梯度與代碼對(duì)表3.1 損失函數(shù)與梯度推導(dǎo)反向傳播的核心是鏈?zhǔn)椒▌t。拿一個(gè)三層的全連接網(wǎng)絡(luò)舉例輸入層784維→ 隱藏層128神經(jīng)元ReLU→ 輸出層10神經(jīng)元softmax損失函數(shù)用交叉熵。交叉熵?fù)p失的梯度有一個(gè)非常漂亮的性質(zhì)如果輸出層是 softmax損失對(duì) logits 的梯度恰好等于(softmax輸出 - onehot標(biāo)簽)。這個(gè)結(jié)論可以直接用不需要手動(dòng)對(duì)每個(gè)分量求導(dǎo)。代碼里我會(huì)把這一步寫成注釋防止自己三個(gè)月后忘了為什么。class CrossEntropyLoss: def forward(self, logits, labels): self.probs softmax(logits) batch_size logits.shape[0] # 取每個(gè)樣本真實(shí)類別對(duì)應(yīng)的概率加對(duì)數(shù) correct_log_probs -np.log(self.probs[range(batch_size), labels] 1e-9) return np.mean(correct_log_probs) def backward(self, labels): batch_size labels.shape[0] grad self.probs.copy() grad[range(batch_size), labels] - 1 return grad / batch_size邏輯說(shuō)明forward計(jì)算交叉熵?fù)p失1e-9是個(gè)小常數(shù)防止log(0)出現(xiàn)負(fù)無(wú)窮。backward實(shí)現(xiàn)了上面說(shuō)的那個(gè)漂亮性質(zhì)——梯度是 softmax 輸出減去 onehot 標(biāo)簽然后除以批量大小做平均。參數(shù)說(shuō)明logits是模型原始的線性輸出labels是整數(shù)形式的類別標(biāo)簽shape 是(batch_size,)。grad / batch_size這里用的是平均梯度對(duì)應(yīng)損失里np.mean的求平均操作兩端必須保持一致否則訓(xùn)練會(huì)不穩(wěn)定。3.2 反向傳播的實(shí)現(xiàn)細(xì)節(jié)鏈?zhǔn)椒▌t逐層回傳反向傳播的實(shí)現(xiàn)核心就一句話從損失開(kāi)始逐層反推。每一層需要做兩件事——算出當(dāng)前層的權(quán)重梯度dW和偏置梯度db再算出傳給上一層的梯度dx。def backward(self, grad_output, learning_rate): batch_size grad_output.shape[0] # 先過(guò)激活函數(shù)的導(dǎo)數(shù) if self.activation relu: mask (self.z 0).astype(float) grad_z grad_output * mask elif self.activation sigmoid: sig 1 / (1 np.exp(-self.z)) grad_z grad_output * sig * (1 - sig) elif self.activation tanh: tanh_out np.tanh(self.z) grad_z grad_output * (1 - tanh_out ** 2) else: # linear grad_z grad_output # 權(quán)重梯度、偏置梯度、傳給上一層的梯度 self.dW np.dot(self.input.T, grad_z) / batch_size self.db np.mean(grad_z, axis0) dx np.dot(grad_z, self.W.T) # 原地更新參數(shù) self.W - learning_rate * self.dW self.b - learning_rate * self.db return dx邏輯說(shuō)明mask (self.z 0)是 ReLU 的導(dǎo)數(shù)——大于 0 的地方導(dǎo)數(shù)是 1小于等于 0 的地方導(dǎo)數(shù)是 0。sigmoid 和 tanh 的導(dǎo)數(shù)都可以用輸出值本身表示所以要先算一遍輸出。dx是把當(dāng)前層的梯度投影回輸入空間讓上一層能繼續(xù)回傳。參數(shù)說(shuō)明grad_output是從后面一層傳回來(lái)的梯度learning_rate是學(xué)習(xí)率。注意這里self.dW np.dot(self.input.T, grad_z) / batch_size——input.T是(input_dim, batch_size)乘以(batch_size, output_dim)得到(input_dim, output_dim)正好對(duì)齊 W 的shape。除以batch_size是因?yàn)閾p失用了平均梯度也要跟著平均。3.3 梯度檢查驗(yàn)證反向傳播的代碼沒(méi)寫錯(cuò)反向傳播一旦寫錯(cuò)訓(xùn)練時(shí)表現(xiàn)為損失先降后升、或者完全亂跳。最煩的是這種錯(cuò)誤不像維度報(bào)錯(cuò)那么明顯。所以在正式訓(xùn)練前我會(huì)做一次數(shù)值梯度檢查——用數(shù)值差分近似梯度和反向傳播算出來(lái)的梯度對(duì)比如果相對(duì)誤差在1e-6量級(jí)說(shuō)明代碼是對(duì)的。def numerical_gradient(layer, x, y, eps1e-7): grad_W np.zeros_like(layer.W) # 對(duì)權(quán)重矩陣每個(gè)元素做數(shù)值差分 for i in range(layer.W.shape[0]): for j in range(layer.W.shape[1]): W_plus layer.W.copy() W_minus layer.W.copy() W_plus[i, j] eps W_minus[i, j] - eps layer.W W_plus out_plus forward_pass(x, y) layer.W W_minus out_minus forward_pass(x, y) grad_W[i, j] (out_plus - out_minus) / (2 * eps) layer.W original_W # 恢復(fù)原權(quán)重 return grad_W邏輯說(shuō)明數(shù)值梯度用中心差分公式(f(xeps) - f(x-eps)) / (2*eps)比單側(cè)差分更精確。每次改一個(gè)權(quán)重元素重新做完整前向傳播比較兩個(gè)損失值差。參數(shù)說(shuō)明eps取1e-7比較合適——太小會(huì)有浮點(diǎn)精度問(wèn)題太大則近似誤差大。注意用完后必須恢復(fù)layer.W這是新手最容易漏的忘了恢復(fù)會(huì)把權(quán)重污染掉。4. 訓(xùn)練手寫數(shù)字識(shí)別完整流程與超參數(shù)調(diào)優(yōu)4.1 數(shù)據(jù)準(zhǔn)備從哪里拿、怎么預(yù)處理這份資源用的是 MNIST 手寫數(shù)字?jǐn)?shù)據(jù)集每張圖是 28×28 像素的灰度圖拉平就是 784 維向量標(biāo)簽是 0 到 9 的整數(shù)。數(shù)據(jù)集自帶訓(xùn)練集 60000 張、測(cè)試集 10000 張。數(shù)據(jù)預(yù)處理有兩個(gè)關(guān)鍵動(dòng)作歸一化和 onehot 編碼。歸一化把像素值從 0~255 壓縮到 0~1直接除以 255.0 即可這一步對(duì)收斂速度影響極大——不做的話輸入范圍太大梯度更新會(huì)非常不穩(wěn)定。onehot 編碼是把整數(shù)標(biāo)簽轉(zhuǎn)成 10 維向量雖然交叉熵?fù)p失直接用整數(shù)標(biāo)簽計(jì)算但如果你換成均方誤差損失就必須用 onehot。def load_mnist_data(): # 假設(shè)已經(jīng)從官網(wǎng)下載好四個(gè).gz文件并放在data目錄 with open(data/train-images.idx3-ubyte, rb) as f: magic struct.unpack(I, f.read(4))[0] num_images struct.unpack(I, f.read(4))[0] rows struct.unpack(I, f.read(4))[0] cols struct.unpack(I, f.read(4))[0] images np.frombuffer(f.read(), dtypenp.uint8).reshape(num_images, rows*cols) images images / 255.0 # 歸一化到[0,1] with open(data/train-labels.idx1-ubyte, rb) as f: magic struct.unpack(I, f.read(4))[0] num_labels struct.unpack(I, f.read(4))[0] labels np.frombuffer(f.read(), dtypenp.uint8) return images, labels邏輯說(shuō)明MNIST 的 idx 文件是二進(jìn)制格式有固定的頭部結(jié)構(gòu)。struct.unpack(I, ...)按大端序讀取 4 字節(jié)無(wú)符號(hào)整數(shù)跳過(guò)頭部后剩余內(nèi)容就是像素?cái)?shù)據(jù)用np.frombuffer讀成數(shù)組再 reshape。參數(shù)說(shuō)明rows*cols是 784歸一化用255.0而不是255是為了保持浮點(diǎn)除法。這套解析代碼在很多數(shù)據(jù)集上通用還有一個(gè)坑是文件頭偏移——train-images 是 16 字節(jié)頭train-labels 是 8 字節(jié)頭搞錯(cuò)了讀出來(lái)的數(shù)據(jù)全是亂的訓(xùn)練準(zhǔn)確率會(huì)停留在 10% 左右純隨機(jī)水平。4.2 訓(xùn)練循環(huán)與超參數(shù)設(shè)置learning_rate、epochs、batch_size訓(xùn)練循環(huán)是最容易寫得松散的部分。全批量梯度下降每輪更新一次權(quán)重mini-batch 每輪更新多次。這份資源里默認(rèn)用全批量代碼結(jié)構(gòu)清晰先跑通再改 mini-batch。def train(model, X_train, y_train, epochs50, learning_rate0.1): losses [] accuracies [] for epoch in range(epochs): # 前向傳播 output model.forward(X_train) # 計(jì)算損失和準(zhǔn)確率 loss model.loss_fn.forward(output, y_train) preds np.argmax(output, axis1) accuracy np.mean(preds y_train) # 反向傳播 grad model.loss_fn.backward(y_train) model.backward(grad, learning_rate) losses.append(loss) accuracies.append(accuracy) print(fEpoch {epoch1}/{epochs}, Loss: {loss:.4f}, Acc: {accuracy:.4f}) return losses, accuracies邏輯說(shuō)明每輪循環(huán)做一次完整的前向傳播、損失計(jì)算、反向傳播、參數(shù)更新。np.argmax取最大概率的類別索引作為預(yù)測(cè)結(jié)果和真實(shí)標(biāo)簽算準(zhǔn)確率。參數(shù)說(shuō)明learning_rate0.1對(duì) MNIST 單隱藏層網(wǎng)絡(luò)是個(gè)比較穩(wěn)的起點(diǎn)。如果損失震蕩改成 0.01如果每輪下降很慢可以試 0.5。注意這里用的是全批量建議先用 5000 張子集試跑一遍5 分鐘能跑完再上全量。模型結(jié)構(gòu)我用三層網(wǎng)絡(luò)784→128→10隱藏層 ReLU。這個(gè)配置下50 輪訓(xùn)練準(zhǔn)確率可以到 96% 以上不用任何正則化。但如果想上 98%需要加正則化和調(diào)優(yōu)這個(gè)在第六章講。4.3 驗(yàn)證集與過(guò)擬合的判斷方法過(guò)擬合在你持續(xù)訓(xùn)練時(shí)會(huì)越來(lái)越明顯訓(xùn)練準(zhǔn)確率不斷攀升驗(yàn)證準(zhǔn)確率卻停滯甚至下降。MNIST 因?yàn)閿?shù)據(jù)比較干凈單隱藏層網(wǎng)絡(luò)不太容易過(guò)擬合但這個(gè)判斷習(xí)慣必須養(yǎng)成。def train_with_validation(model, X_train, y_train, X_val, y_val, epochs50, learning_rate0.1): for epoch in range(epochs): output model.forward(X_train) train_loss model.loss_fn.forward(output, y_train) grad model.loss_fn.backward(y_train) model.backward(grad, learning_rate) # 每個(gè)epoch結(jié)束在驗(yàn)證集上做一次評(píng)估 val_output model.forward(X_val) val_preds np.argmax(val_output, axis1) val_acc np.mean(val_preds y_val) print(fEpoch {epoch1}: train_loss{train_loss:.4f}, fval_acc{val_acc:.4f}) # 早停連續(xù)5輪驗(yàn)證準(zhǔn)確率無(wú)提升就中斷 if epoch 5 and val_acc best_val_acc: patience - 1 if patience 0: print(Early stopping triggered.) break else: best_val_acc val_acc patience 5邏輯說(shuō)明驗(yàn)證集每輪評(píng)估一次不參與梯度更新超參數(shù)也不會(huì)根據(jù)驗(yàn)證集調(diào)那是測(cè)試集的職責(zé)。早停邏輯是連續(xù) 5 輪沒(méi)有新紀(jì)錄就中斷訓(xùn)練避免浪費(fèi)算力。參數(shù)說(shuō)明patience是早停的容忍輪數(shù)best_val_acc記錄歷史最佳準(zhǔn)確率。注意val_output model.forward(X_val)時(shí)模型內(nèi)部會(huì)覆蓋self.input等緩存所以驗(yàn)證集前向傳播必須放在反向傳播之后否則會(huì)把訓(xùn)練狀態(tài)污染掉。5. 常見(jiàn)問(wèn)題與排查神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的五個(gè)典型坑5.1 損失變成 NaN 或 inf現(xiàn)象訓(xùn)練幾輪后損失打印變成nan重跑一遍可能一開(kāi)始就是nan。原因最常見(jiàn)的是np.exp溢出。softmax 里如果logits出現(xiàn) 100 以上的值exp(100)直接爆掉。其次可能是學(xué)習(xí)率太大導(dǎo)致權(quán)重更新幅度過(guò)大梯度爆炸。解決分兩步排查。先確認(rèn) softmax 里做了最大值偏移——看了代碼里shifted logits - np.max(logits, axis1, keepdimsTrue)這能解決大部分溢出的 case。如果還是 nan把學(xué)習(xí)率調(diào)小兩個(gè)數(shù)量級(jí)試試從 0.1 改到 0.001。我的習(xí)慣是每個(gè) epoch 結(jié)束后檢查 loss 是否有限用np.isfinite判斷一旦發(fā)現(xiàn)異常就停止訓(xùn)練并打印關(guān)鍵中間變量不要硬跑完整輪。5.2 準(zhǔn)確率一直停在 10% 左右現(xiàn)象準(zhǔn)確率始終在 0.1 附近相當(dāng)于隨機(jī)亂猜。原因數(shù)據(jù)讀取錯(cuò)誤是頭號(hào)嫌疑。MNIST 文件讀錯(cuò)了字節(jié)偏移得到的是隨機(jī)噪聲。第二個(gè)常見(jiàn)原因是標(biāo)簽和特征沒(méi)對(duì)齊——讀圖用了 train-images 文件讀標(biāo)簽卻用了 test-labels 文件兩張表的順序不一致。解決先用print(X_train[0].shape)確認(rèn)數(shù)據(jù)維度是(784,)再打印前 10 個(gè)標(biāo)簽的獨(dú)特性應(yīng)該有 0~9 全出現(xiàn)最后用plt.imshow(X_train[0].reshape(28,28))可視化第一張圖確認(rèn)看起來(lái)像一個(gè)數(shù)字。我自己就犯過(guò)這個(gè)錯(cuò)花了整整兩天——某個(gè)數(shù)據(jù)讀取腳本里復(fù)制粘貼錯(cuò)了文件名準(zhǔn)確率卡在 10%最后畫了圖才發(fā)現(xiàn)數(shù)據(jù)全亂。5.3 損失震蕩完全不平滑現(xiàn)象損失曲線像鋸齒一樣上下亂跳或者前幾輪下降明顯但后面越來(lái)越劇烈。原因?qū)W習(xí)率過(guò)大。梯度計(jì)算沒(méi)問(wèn)題的時(shí)候過(guò)大的學(xué)習(xí)率會(huì)讓權(quán)重在最優(yōu)解附近來(lái)回穿越甚至越跳越遠(yuǎn)。另一個(gè)常見(jiàn)原因是批量大小和損失函數(shù)的平均操作不匹配——損失用了np.mean而梯度用了np.sum梯度方向被放大了 batch_size 倍。解決先把學(xué)習(xí)率降到 0.001 試跑 10 輪觀察損失是否變平滑。如果平滑了就說(shuō)明是學(xué)習(xí)率問(wèn)題可以逐步調(diào)大。如果還沒(méi)用檢查backward里self.db np.mean(grad_z, axis0)和self.dW np.dot(self.input.T, grad_z) / batch_size是否保持一致。這兩個(gè)操作一個(gè)用了 mean 一個(gè)用了除 batch_size數(shù)值上等價(jià)但容易在復(fù)制代碼時(shí)只改一半。5.4 深層網(wǎng)絡(luò)訓(xùn)練不動(dòng)梯度消失的典型表現(xiàn)現(xiàn)象三層以內(nèi)網(wǎng)絡(luò)正常加到五六層后前幾層幾乎學(xué)不到東西準(zhǔn)確率一直上不去。原因sigmoid 或 tanh 激活函數(shù)在深層網(wǎng)絡(luò)里梯度逐層遞減——每層最多乘 0.25十層以后梯度直接是0.25^10前幾層的權(quán)重根本收不到有效梯度。解決把隱藏層全部換成 ReLU。ReLU 在正半軸導(dǎo)數(shù)是 1不會(huì)衰減梯度。如果已經(jīng)用了 ReLU 還是很慢檢查初始化——確認(rèn)用的是 He 初始化np.sqrt(2.0 / input_dim)這個(gè)細(xì)節(jié)直接決定深層網(wǎng)絡(luò)能不能訓(xùn)練起來(lái)。還有一個(gè)注意點(diǎn)最后一層如果做二分類用 sigmoid倒數(shù)第二層不要用 sigmoid這會(huì)讓梯度在最后兩個(gè)全連接層之間被打兩次折扣。5.5 驗(yàn)證集評(píng)估污染訓(xùn)練狀態(tài)現(xiàn)象驗(yàn)證集準(zhǔn)確率忽高忽低而且訓(xùn)練幾輪后驗(yàn)證準(zhǔn)確率反而比訓(xùn)練準(zhǔn)確率還高。原因一個(gè)非常隱蔽的坑——模型類里緩存了self.input和self.z如果驗(yàn)證集前向傳播發(fā)生在反向傳播之前這些緩存會(huì)被驗(yàn)證集數(shù)據(jù)覆蓋。那么下一輪訓(xùn)練的梯度計(jì)算就會(huì)用驗(yàn)證集的數(shù)據(jù)導(dǎo)致梯度方向完全錯(cuò)誤。解決固定前向傳播和反向傳播的執(zhí)行順序先backward后val_forward或者干脆每次反向傳播前無(wú)視緩存、直接從當(dāng)前輸入計(jì)算梯度把self.input和self.z做成局部變量而不是實(shí)例屬性。這個(gè) bug 的癥狀非常迷惑人我遇到過(guò)兩三次最后都是一行一行打日志才發(fā)現(xiàn)是緩存被覆蓋了。6. 進(jìn)階技巧把玩具網(wǎng)絡(luò)改造成真正能用的工具6.1 從全批量到 mini-batch三步改完訓(xùn)練速度提升一個(gè)量級(jí)全批量訓(xùn)練的缺點(diǎn)是每次更新都要看全部數(shù)據(jù)數(shù)據(jù)量大時(shí)內(nèi)存開(kāi)銷大、收斂慢。改成 mini-batch 只需要三步打亂數(shù)據(jù) → 切分批次 → 逐批更新權(quán)重。def train_minibatch(model, X_train, y_train, batch_size64, epochs10, learning_rate0.01): num_samples X_train.shape[0] num_batches num_samples // batch_size for epoch in range(epochs): # 每個(gè)epoch隨機(jī)打亂數(shù)據(jù)避免批次間的順序偏差 shuffle_idx np.random.permutation(num_samples) X_shuffled X_train[shuffle_idx] y_shuffled y_train[shuffle_idx] epoch_loss 0.0 for batch_idx in range(num_batches): start batch_idx * batch_size end start batch_size X_batch X_shuffled[start:end] y_batch y_shuffled[start:end] output model.forward(X_batch) loss model.loss_fn.forward(output, y_batch) grad model.loss_fn.backward(y_batch) model.backward(grad, learning_rate) epoch_loss loss print(fEpoch {epoch1}/{epochs}, Avg Loss: {epoch_loss / num_batches:.4f})邏輯說(shuō)明np.random.permutation返回一個(gè)打亂的下標(biāo)數(shù)組用它同時(shí)重排特征和標(biāo)簽保持對(duì)應(yīng)關(guān)系。每個(gè) batch 獨(dú)立做前向、反向、更新一個(gè) epoch 內(nèi)的權(quán)重會(huì)更新num_batches次。參數(shù)說(shuō)明batch_size取 32 或 64 比較合適。太大則梯度方向接近全批量、更新慢太小則梯度噪聲大、損失曲線抖動(dòng)明顯。mini-batch 配合稍小的學(xué)習(xí)率0.01 左右通常比全批量更快收斂到相同精度。6.2 學(xué)習(xí)率衰減前半程大步學(xué)后半程小步精調(diào)固定學(xué)習(xí)率有個(gè)兩難問(wèn)題設(shè)大了前期學(xué)得快但后期震蕩設(shè)小了前期收斂太慢。最簡(jiǎn)單的解決方式是指數(shù)衰減每過(guò)固定輪數(shù)把學(xué)習(xí)率乘一個(gè)衰減系數(shù)。def train_lr_decay(model, X_train, y_train, epochs30, initial_lr0.1, decay_interval10, decay_rate0.5): lr initial_lr for epoch in range(epochs): output model.forward(X_train) loss model.loss_fn.forward(output, y_train) grad model.loss_fn.backward(y_train) model.backward(grad, lr) if (epoch 1) % decay_interval 0: lr * decay_rate print(fEpoch {epoch1}: learning rate decayed to {lr:.5f})邏輯說(shuō)明每decay_interval輪學(xué)習(xí)率乘以decay_rate逐漸變小。這樣前半程用大步長(zhǎng)快速跨過(guò)損失曲面的平坦區(qū)后半程用小步長(zhǎng)精調(diào)避免在最優(yōu)解附近反復(fù)橫跳。參數(shù)說(shuō)明decay_interval10表示每 10 輪衰減一次decay_rate0.5表示每次減半。這兩個(gè)參數(shù)按訓(xùn)練時(shí)長(zhǎng)調(diào)整——如果總共只訓(xùn)練 30 輪這個(gè)配置大概衰減兩次如果訓(xùn)練 100 輪每 20 輪衰減 0.5 更合適。有一個(gè)反直覺(jué)的經(jīng)驗(yàn)學(xué)習(xí)率衰減比使用更復(fù)雜優(yōu)化器比如 Adam在數(shù)據(jù)集上更平滑尤其對(duì)小型網(wǎng)絡(luò)而言Adam 反而容易把最優(yōu)解附近的步長(zhǎng)調(diào)得過(guò)于精細(xì)導(dǎo)致泛化性不如簡(jiǎn)單的衰減策略。6.3 正則化L2 讓權(quán)重更均勻Dropout 讓神經(jīng)元更獨(dú)立過(guò)擬合的本質(zhì)是模型記住了訓(xùn)練集的噪聲。兩種最常用的手段L2 正則化在損失函數(shù)里加一項(xiàng)權(quán)重的平方和懲罰權(quán)重過(guò)大的神經(jīng)元Dropout 在訓(xùn)練時(shí)隨機(jī)丟棄一部分神經(jīng)元的輸出讓網(wǎng)絡(luò)不能依賴單個(gè)神經(jīng)元的輸出。class L2Regularization: def __init__(self, lambda_value0.001): self.lambda_value lambda_value def cost(self, model): reg_loss 0.0 for layer in model.layers: reg_loss np.sum(layer.W ** 2) return 0.5 * self.lambda_value * reg_loss def gradient(self, model): # L2的梯度是λW直接疊加到權(quán)重梯度上 for layer in model.layers: layer.dW self.lambda_value * layer.W邏輯說(shuō)明L2 正則化的梯度等于lambda * W把它加到dW上再更新權(quán)重。直觀來(lái)看每次更新都會(huì)對(duì)權(quán)重做一點(diǎn)縮水權(quán)重越大縮得越多于是網(wǎng)絡(luò)傾向使用更多小權(quán)重而非少數(shù)大權(quán)重泛化性隨之提升。參數(shù)說(shuō)明lambda_value太小等于沒(méi)加太大則欠擬合——訓(xùn)練準(zhǔn)確率和驗(yàn)證準(zhǔn)確率都低。我通常從0.01開(kāi)始試每次除以 10觀察驗(yàn)證集準(zhǔn)確率的變化。Dropout 實(shí)現(xiàn)時(shí)注意推理階段要關(guān)閉隨機(jī)丟棄否則驗(yàn)證集的輸出會(huì)被隨機(jī)性干擾結(jié)果不穩(wěn)定。邊界說(shuō)明這份資源適合處理中小規(guī)模數(shù)據(jù)、理解神經(jīng)網(wǎng)絡(luò)原理、快速驗(yàn)證想法。如果是真實(shí)業(yè)務(wù)場(chǎng)景下的海量數(shù)據(jù)和復(fù)雜模型還是用成熟框架更穩(wěn)妥——手寫的價(jià)值在于你把基礎(chǔ)打透了用框架時(shí)心里有底。從那以后我每次訓(xùn)練任何模型都會(huì)把損失曲線和驗(yàn)證集準(zhǔn)確率打印成一個(gè)文件強(qiáng)制完整走一遍先驗(yàn)證數(shù)據(jù)讀取→再調(diào)學(xué)習(xí)率→再調(diào)結(jié)構(gòu)→最后加正則的順序不會(huì)跳過(guò)任何一步。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取