練、評估與推理全流程實(shí)戰(zhàn)：以 icdar2015 為例)
PaddleOCR 文本檢測模型訓(xùn)練、評估與推理全流程實(shí)戰(zhàn)以 icdar2015 為例【免費(fèi)下載鏈接】PaddleOCRTurn any PDF or image document into structured data for your AI. A powerful, lightweight OCR toolkit that bridges the gap between images/PDFs and LLMs. Supports 100 languages.項目地址: https://gitcode.com/GitHub_Trending/pa/PaddleOCR本文以 PaddleOCR 倉庫中的 檢測模型訓(xùn)練文檔 為核心骨架結(jié)合 tools/train.py、tools/eval.py、tools/export_model.py 等源碼與 det_mv3_db.yml 配置逐項對照驗(yàn)證系統(tǒng)講解從數(shù)據(jù)準(zhǔn)備、權(quán)重下載、訓(xùn)練啟動單卡/多卡/多機(jī)/混合精度、評估指標(biāo)、單圖/批量測試到推理模型導(dǎo)出的完整鏈路。1. 數(shù)據(jù)與預(yù)訓(xùn)練權(quán)重準(zhǔn)備1.1 數(shù)據(jù)準(zhǔn)備PaddleOCR 的檢測模型訓(xùn)練以icdar2015數(shù)據(jù)集作為官方示例。數(shù)據(jù)集的下載、標(biāo)注格式與目錄組織方式請參考 OCR 數(shù)據(jù)集文檔。訓(xùn)練集與驗(yàn)證集的標(biāo)注文件分別對應(yīng)配置文件中的Train.dataset.label_file_list與Eval.dataset.label_file_list例如Train: dataset: name: SimpleDataSet data_dir: ./train_data/icdar2015/text_localization/ label_file_list: - ./train_data/icdar2015/text_localization/train_icdar2015_label.txt Eval: dataset: name: SimpleDataSet data_dir: ./train_data/icdar2015/text_localization/ label_file_list: - ./train_data/icdar2015/text_localization/test_icdar2015_label.txt在 det_mv3_db.yml 中可以看到Train.dataset使用SimpleDataSet通過data_dir label_file_list定位圖片與標(biāo)簽Eval.dataset則指向test_icdar2015_label.txt且Eval.loader.batch_size_per_card必須為1評估過程逐圖進(jìn)行。1.2 下載預(yù)訓(xùn)練骨干權(quán)重PaddleOCR 的檢測模型目前支持 3 種骨干網(wǎng)絡(luò)MobileNetV3、ResNet18_vd、ResNet50_vd。預(yù)訓(xùn)練權(quán)重統(tǒng)一放到./pretrain_models/目錄下cd PaddleOCR/ # 下載 MobileNetV3 預(yù)訓(xùn)練模型 wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/MobileNetV3_large_x0_5_pretrained.pdparams # 或下載 ResNet18_vd 預(yù)訓(xùn)練模型 wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/ResNet18_vd_pretrained.pdparams # 或下載 ResNet50_vd 預(yù)訓(xùn)練模型 wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/ResNet50_vd_ssld_pretrained.pdparams說明預(yù)訓(xùn)練權(quán)重下載后訓(xùn)練時通過Global.pretrained_model指定路徑不帶.pdparams后綴如./pretrain_models/MobileNetV3_large_x0_5_pretrained。這些骨干權(quán)重來自 PaddleClas 的分類預(yù)訓(xùn)練模型僅用于初始化特征提取層。2. 訓(xùn)練2.1 啟動訓(xùn)練使用tools/train.py啟動訓(xùn)練-c指定配置文件-o用于覆蓋配置項python3 tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained若安裝的是 CPU 版本 PaddlePaddle請將配置中的use_gpu設(shè)為false。-o支持任意層級的鍵值覆蓋無需修改 yml 文件。例如將學(xué)習(xí)率調(diào)整為 0.0001# 單 GPU 訓(xùn)練 python3 tools/train.py -c configs/det/det_mv3_db.yml -o \ Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained \ Optimizer.base_lr0.0001 # 多 GPU 訓(xùn)練通過 --gpus 指定使用的 GPU ID python3 -m paddle.distributed.launch --gpus 0,1,2,3 tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained # 多機(jī)多卡訓(xùn)練通過 --ips 指定節(jié)點(diǎn) IP--gpus 指定 GPU ID python3 -m paddle.distributed.launch --ipsxx.xx.xx.xx,xx.xx.xx.xx --gpus 0,1,2,3 \ tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained多機(jī)訓(xùn)練注意事項--ips必須替換為各機(jī)器的實(shí)際地址且機(jī)器之間需能互相 ping 通需要在多臺機(jī)器上分別啟動訓(xùn)練命令查看本機(jī) IP 可用ifconfig。想要進(jìn)一步加速訓(xùn)練可開啟自動混合精度訓(xùn)練。單卡訓(xùn)練命令如下python3 tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained \ Global.use_ampTrue Global.scale_loss1024.0 Global.use_dynamic_loss_scalingTrue從源碼看訓(xùn)練主流程在 tools/train.py 中main()依次完成分布式環(huán)境初始化dist.init_parallel_env、構(gòu)建訓(xùn)練/驗(yàn)證 DataLoaderbuild_dataloader、構(gòu)建后處理build_post_process、構(gòu)建模型build_model、構(gòu)建損失build_loss、構(gòu)建優(yōu)化器build_optimizer與評估指標(biāo)build_metric最后調(diào)用program.train()進(jìn)入訓(xùn)練循環(huán)。use_amp開啟時會在 tools/train.py 中構(gòu)造paddle.amp.GradScaler并按amp_level默認(rèn)O2對模型與優(yōu)化器進(jìn)行paddle.amp.decorate封裝同時設(shè)置master_weightTrue保證主權(quán)重精度。2.2 加載已訓(xùn)練模型繼續(xù)訓(xùn)練若希望加載訓(xùn)練中間產(chǎn)物checkpoints斷點(diǎn)續(xù)訓(xùn)指定Global.checkpoints即可python3 tools/train.py -c configs/det/det_mv3_db.yml -o Global.checkpoints./your/trained/model注意Global.checkpoints的優(yōu)先級高于Global.pretrained_model當(dāng)兩者同時指定時優(yōu)先加載Global.checkpoints指向的模型若該路徑錯誤則回退加載Global.pretrained_model指向的模型。這一加載邏輯由 ppocr/utils/save_load.py 中的load_model實(shí)現(xiàn)。2.3 使用新骨干網(wǎng)絡(luò)訓(xùn)練PaddleOCR 將檢測網(wǎng)絡(luò)劃分為四個串聯(lián)模塊數(shù)據(jù)依次經(jīng)過transforms - backbones - necks - heads相關(guān)代碼位于 ppocr/modeling 目錄├── architectures # 網(wǎng)絡(luò)構(gòu)建代碼 ├── transforms # 圖像變換模塊 ├── backbones # 特征提取模塊 ├── necks # 特征增強(qiáng)模塊 └── heads # 輸出模塊如果目標(biāo)骨干在 PaddleOCR 中已有實(shí)現(xiàn)直接修改配置文件Backbone部分即可若需引入全新的 Backbone步驟如下在 ppocr/modeling/backbones 目錄下新建文件例如my_backbone.py在其中編寫繼承paddle.nn.Layer的網(wǎng)絡(luò)類import paddle import paddle.nn as nn import paddle.nn.functional as F class MyBackbone(nn.Layer): def __init__(self, *args, **kwargs): super(MyBackbone, self).__init__() # 你的初始化代碼 self.conv nn.xxxx def forward(self, inputs): # 你的網(wǎng)絡(luò)前向邏輯 y self.conv(inputs) return y在 ppocr/modeling/backbones/init.py 中導(dǎo)入新模塊。四個模塊添加完成后只需在配置文件中聲明即可使用Backbone: name: MyBackbone args1: args1說明替換 Backbone 及其他模塊的完整規(guī)范見 新增算法文檔。從配置看Architecture采用模塊化注冊機(jī)制如DBFPNNeck、DBHeadHead、DBLossLoss、DBPostProcess后處理各模塊通過name字段在對應(yīng)目錄的__init__.py中完成注冊與實(shí)例化。2.4 混合精度訓(xùn)練希望進(jìn)一步加速訓(xùn)練時可使用自動混合精度訓(xùn)練。以單機(jī)單卡為例python3 tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained \ Global.use_ampTrue Global.scale_loss1024.0 Global.use_dynamic_loss_scalingTrue其中Global.scale_loss為梯度縮放初始值init_loss_scalingGlobal.use_dynamic_loss_scaling決定是否啟用動態(tài)損失縮放二者直接傳入paddle.amp.GradScaler見 tools/train.py。2.5 分布式訓(xùn)練多機(jī)多卡訓(xùn)練時--ips指定機(jī)器 IP--gpus指定 GPU IDpython3 -m paddle.distributed.launch --ipsxx.xx.xx.xx,xx.xx.xx.xx --gpus 0,1,2,3 \ tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained注意事項--ips需替換為各機(jī)器實(shí)際地址且機(jī)器之間可互相 ping 通需在多個機(jī)器上分別啟動訓(xùn)練查看本機(jī) IP 使用ifconfig更多分布式訓(xùn)練加速比細(xì)節(jié)見 分布式訓(xùn)練教程。從源碼結(jié)構(gòu)可以推斷配置文件中Global.distributed為真時訓(xùn)練代碼會先執(zhí)行dist.init_parallel_env()并將模型包裝為paddle.DataParallel見 tools/train.py 與 tools/train.py。2.6 知識蒸餾訓(xùn)練PaddleOCR 的文本檢測訓(xùn)練支持知識蒸餾Knowledge Distillation通常用于訓(xùn)練輕量級學(xué)生模型細(xì)節(jié)參考 知識蒸餾文檔。蒸餾配置在Architecture中聲明多個子模型teacher/student后處理則使用DistillationDBPostProcess見 ppocr/postprocess/db_postprocess.py其內(nèi)部為每個子模型默認(rèn)model_name[student]分別執(zhí)行 DB 后處理。2.7 其他平臺訓(xùn)練Windows / macOS / Linux DCUWindows GPU/CPUWindows 平臺僅支持單 GPU 訓(xùn)練與推理用set CUDA_VISIBLE_DEVICES0指定 GPUDataLoader 僅支持單進(jìn)程模式需將num_workers設(shè)為 0。macOS不支持 GPU 模式需在配置文件中將use_gpu設(shè)為False其余訓(xùn)練/評估/預(yù)測命令與 Linux GPU 完全一致。Linux DCU在 DCU 設(shè)備上運(yùn)行需設(shè)置環(huán)境變量export HIP_VISIBLE_DEVICES0,1,2,3其余命令與 Linux GPU 一致。2.8 微調(diào)實(shí)際業(yè)務(wù)中推薦加載官方預(yù)訓(xùn)練模型并在自有數(shù)據(jù)集上微調(diào)。檢測模型的微調(diào)方法詳見 模型微調(diào)教程。微調(diào)核心要點(diǎn)數(shù)據(jù)集至少準(zhǔn)備500 張檢測標(biāo)注圖標(biāo)注框需與語義內(nèi)容一致例如火車票場景中姓名雖相距較遠(yuǎn)但語義同一字段應(yīng)標(biāo)注為一個檢測框推薦使用 PP-OCRv3 檢測模型作為預(yù)訓(xùn)練權(quán)重配置文件 PP-OCRv3_mobile_det.yml權(quán)重包解壓后使用其中的student.pdparams即僅使用學(xué)生模型微調(diào)時最重要的三個超參數(shù)是pretrained_model、learning_rate與batch_size。PaddleOCR 官方配置面向 8 卡訓(xùn)練總 batch size 8×864你的場景需按總 batch size 線性縮放學(xué)習(xí)率單卡 batch_size8 時建議學(xué)習(xí)率約1e-4單卡受顯存限制 batch_size4 時建議約5e-5推理階段可調(diào)整預(yù)測圖像尺度與 DB 后處理參數(shù)來提升小文本檢測效果常用推理超參數(shù)如下表超參數(shù)類型默認(rèn)值含義det_db_threshfloat0.3DB 輸出的概率圖中得分大于該閾值的像素被視為文本像素det_db_box_threshfloat0.6檢測結(jié)果框內(nèi)所有像素平均得分大于該閾值時才判定為文本區(qū)域det_db_unclip_ratiofloat1.5Vatti clipping 擴(kuò)張系數(shù)用于擴(kuò)張文本區(qū)域max_batch_sizeint10batch 大小use_dilationboolFalse是否對分割結(jié)果做膨脹以得到更優(yōu)檢測結(jié)果det_db_score_modestrfastDB 檢測結(jié)果的得分計算方式支持fast按多邊形外接矩形內(nèi)所有像素計算平均分與slow按原始多邊形內(nèi)所有像素計算平均分速度較慢但更準(zhǔn)確3. 評估PaddleOCR 使用Precision精確率、Recall召回率、HmeanF1 分?jǐn)?shù)三項指標(biāo)評估文本檢測性能。在 ppocr/metrics/det_metric.py 中DetMetric通過DetectionIoUEvaluator逐圖比對預(yù)測多邊形與 GT 多邊形最終由get_metric()匯總輸出precision、recall、hmean三項指標(biāo)配置項Metric.main_indicator: hmean表明以 Hmean 作為早停/模型篩選的主指標(biāo)。運(yùn)行以下命令計算評估指標(biāo)結(jié)果保存在配置文件中Global.save_res_path指定的文件里python3 tools/eval.py -c configs/det/det_mv3_db.yml \ -o Global.checkpoints{path/to/weights}/best_accuracy \ PostProcess.box_thresh0.6 PostProcess.unclip_ratio1.5評估要點(diǎn)評估時建議設(shè)置后處理參數(shù)box_thresh0.6、unclip_ratio1.5若使用不同數(shù)據(jù)集/模型訓(xùn)練這兩個參數(shù)需要相應(yīng)調(diào)整以獲得更優(yōu)結(jié)果訓(xùn)練過程中保存的模型參數(shù)默認(rèn)存放在Global.save_model_dir目錄評估時需將Global.checkpoints指向保存的參數(shù)文件如best_accuracy注意box_thresh與unclip_ratio是 DB 后處理所需參數(shù)評估 EAST、SAST 模型時無需設(shè)置。從源碼看評估流程tools/eval.py 構(gòu)建 Eval DataLoader 與模型后通過load_model加載Global.checkpoints指定的權(quán)重再調(diào)用program.eval()完成推理與指標(biāo)計算program.eval()內(nèi)部使用build_post_process得到的DBPostProcess對網(wǎng)絡(luò)輸出的概率圖做二值化與多邊形提取見 ppocr/postprocess/db_postprocess.py并將box_thresh、unclip_ratio等參數(shù)直接用于框篩選與擴(kuò)張。4. 測試對單張圖片測試檢測結(jié)果python3 tools/infer_det.py -c configs/det/det_mv3_db.yml \ -o Global.infer_img./doc/imgs_en/img_10.jpg \ Global.pretrained_model./output/det_db/best_accuracy測試 DB 模型時可調(diào)整后處理閾值python3 tools/infer_det.py -c configs/det/det_mv3_db.yml \ -o Global.infer_img./doc/imgs_en/img_10.jpg \ Global.pretrained_model./output/det_db/best_accuracy \ PostProcess.box_thresh0.6 PostProcess.unclip_ratio2.0對文件夾內(nèi)所有圖片測試python3 tools/infer_det.py -c configs/det/det_mv3_db.yml \ -o Global.infer_img./doc/imgs_en/ \ Global.pretrained_model./output/det_db/best_accuracy配置文件中Global.infer_img的默認(rèn)值為doc/imgs_en/img_10.jpg見 det_mv3_db.ymlinfer_det.py同時支持傳入單圖路徑與目錄路徑。5. 推理5.1 訓(xùn)練模型與推理模型的區(qū)別推理模型由paddle.jit.save保存的固化模型模型結(jié)構(gòu)與參數(shù)已全部固化為文件便于部署與實(shí)際系統(tǒng)集成checkpoints 模型訓(xùn)練過程中保存的參數(shù)快照主要用于斷點(diǎn)續(xù)訓(xùn)。與 checkpoints 相比推理模型額外保存了模型結(jié)構(gòu)信息因此部署更簡單。5.2 導(dǎo)出推理模型將 DB 訓(xùn)練模型轉(zhuǎn)換為推理模型python3 tools/export_model.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./output/det_db/best_accuracy \ Global.save_inference_dir./output/det_db_inference/從源碼看tools/export_model.py 通過ArgsParser解析參數(shù)、load_config加載配置、merge_config合并-o覆蓋項最終調(diào)用ppocr.utils.export_model.export(config)完成模型固化。5.3 推理模型預(yù)測python3 tools/infer/predict_det.py --det_algorithmDB \ --det_model_dir./output/det_db_inference/ \ --image_dir./doc/imgs/ --use_gpuTrue若使用其他檢測算法如 EAST修改det_algorithm參數(shù)即可默認(rèn)為 DBpython3 tools/infer/predict_det.py --det_algorithmEAST \ --det_model_dir./output/det_db_inference/ \ --image_dir./doc/imgs/ --use_gpuTrue6. FAQQ1訓(xùn)練模型與推理模型的預(yù)測結(jié)果不一致A絕大多數(shù)情況是由訓(xùn)練模型預(yù)測時的預(yù)處理/后處理參數(shù)與推理模型預(yù)測時的參數(shù)不一致導(dǎo)致。以det_mv3_db.yml訓(xùn)練出的模型為例排查思路如下檢查預(yù)處理是否一致對比 訓(xùn)練模型預(yù)處理配置Eval.dataset.transforms中的DetResizeForTest其image_shape: [736, 1280]與推理模型的預(yù)測預(yù)處理函數(shù)。評估時輸入圖像尺寸會影響精度——為與論文一致icdar15 訓(xùn)練配置將圖像 resize 到[736, 1280]而推理模型預(yù)測時只有一套默認(rèn)參數(shù)出于速度考慮默認(rèn)將圖像最長邊限制為 960 進(jìn)行 resize。兩者的預(yù)處理函數(shù)均位于 ppocr/data/imaug/operators.pyDetResizeForTest等算子。檢查后處理是否一致對比 訓(xùn)練模型后處理配置PostProcess中的thresh、box_thresh、unclip_ratio等與推理的后處理參數(shù)是否一致。附檢測配置深度解讀det_mv3_db.yml原文檔對應(yīng)的示例配置 configs/det/det_mv3_db.yml 是理解整個訓(xùn)練流程的關(guān)鍵各模塊與源碼的對應(yīng)關(guān)系如下配置模塊關(guān)鍵參數(shù)對應(yīng)源碼/說明Globaluse_gpu、epoch_num: 1200、save_model_dir、eval_batch_step: [0, 2000]、pretrained_model、checkpoints、use_amp訓(xùn)練全局控制eval_batch_step表示每 2000 個 iteration 評估一次tools/train.py 中由program.train執(zhí)行Architecturemodel_type: det、algorithm: DBBackbone: MobileNetV3(scale0.5, large)Neck: DBFPN(out_channels256)Head: DBHead(k50)四段式網(wǎng)絡(luò)組裝transforms→backbones→necks→headsLossDBLossalpha: 5、beta: 10、ohem_ratio: 3、main_loss_type: DiceLossppocr/losses/det_db_loss.py總損失 alpha×shrink_map損失 beta×threshold_map損失 binary_map的Dice損失其中ohem_ratio控制負(fù)樣本采樣比例negative_ratioOptimizerAdam(beta10.9, beta20.999)、lr.learning_rate: 0.001、L2 regularizer(factor0)-o Optimizer.base_lr0.0001可在線調(diào)整學(xué)習(xí)率PostProcessDBPostProcessthresh: 0.3、box_thresh: 0.6、max_candidates: 1000、unclip_ratio: 1.5ppocr/postprocess/db_postprocess.pythresh為概率圖二值化閾值box_thresh為框內(nèi)平均分閾值unclip_ratio為 Vatti 擴(kuò)張系數(shù)MetricDetMetric、main_indicator: hmeanppocr/metrics/det_metric.pyTrain/Eval.datasetSimpleDataSetIaaAugment、EastRandomCropData、MakeBorderMap(shrink_ratio0.4)、MakeShrinkMap等變換訓(xùn)練側(cè)生成 shrink_map/threshold_map 監(jiān)督信號評估側(cè)使用DetResizeForTest(image_shape[736, 1280])整體流程可以概括為數(shù)據(jù)加載與增強(qiáng)含邊界/收縮圖生成→ 四段式網(wǎng)絡(luò)前向DB 輸出 probability map、threshold map、binary map 三通道→ DBLoss 計算二值化可微化訓(xùn)練→ 反向傳播優(yōu)化 → DBPostProcess 后處理提取文本框 → DetMetric 計算 Precision/Recall/Hmean → 周期性評估與模型保存 → export_model 固化推理模型 → predict_det 部署推理?！久赓M(fèi)下載鏈接】PaddleOCRTurn any PDF or image document into structured data for your AI. A powerful, lightweight OCR toolkit that bridges the gap between images/PDFs and LLMs. Supports 100 languages.項目地址: https://gitcode.com/GitHub_Trending/pa/PaddleOCR創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 PaddleOCR 文本檢測模型訓(xùn)練、評估與推理全流程實(shí)戰(zhàn)：以 icdar2015 為例
PaddleOCR 文本檢測模型訓(xùn)練、評估與推理全流程實(shí)戰(zhàn)以 icdar2015 為例【免費(fèi)下載鏈接】PaddleOCRTurn any PDF or image document into structured data for your AI. A powerful, lightweight OCR toolkit that bridges the gap between images/PDFs and LLMs. Supports 100 languages.項目地址: https://gitcode.com/GitHub_Trending/pa/PaddleOCR本文以 PaddleOCR 倉庫中的 檢測模型訓(xùn)練文檔 為核心骨架結(jié)合 tools/train.py、tools/eval.py、tools/export_model.py 等源碼與 det_mv3_db.yml 配置逐項對照驗(yàn)證系統(tǒng)講解從數(shù)據(jù)準(zhǔn)備、權(quán)重下載、訓(xùn)練啟動單卡/多卡/多機(jī)/混合精度、評估指標(biāo)、單圖/批量測試到推理模型導(dǎo)出的完整鏈路。1. 數(shù)據(jù)與預(yù)訓(xùn)練權(quán)重準(zhǔn)備1.1 數(shù)據(jù)準(zhǔn)備PaddleOCR 的檢測模型訓(xùn)練以icdar2015數(shù)據(jù)集作為官方示例。數(shù)據(jù)集的下載、標(biāo)注格式與目錄組織方式請參考 OCR 數(shù)據(jù)集文檔。訓(xùn)練集與驗(yàn)證集的標(biāo)注文件分別對應(yīng)配置文件中的Train.dataset.label_file_list與Eval.dataset.label_file_list例如Train: dataset: name: SimpleDataSet data_dir: ./train_data/icdar2015/text_localization/ label_file_list: - ./train_data/icdar2015/text_localization/train_icdar2015_label.txt Eval: dataset: name: SimpleDataSet data_dir: ./train_data/icdar2015/text_localization/ label_file_list: - ./train_data/icdar2015/text_localization/test_icdar2015_label.txt在 det_mv3_db.yml 中可以看到Train.dataset使用SimpleDataSet通過data_dir label_file_list定位圖片與標(biāo)簽Eval.dataset則指向test_icdar2015_label.txt且Eval.loader.batch_size_per_card必須為1評估過程逐圖進(jìn)行。1.2 下載預(yù)訓(xùn)練骨干權(quán)重PaddleOCR 的檢測模型目前支持 3 種骨干網(wǎng)絡(luò)MobileNetV3、ResNet18_vd、ResNet50_vd。預(yù)訓(xùn)練權(quán)重統(tǒng)一放到./pretrain_models/目錄下cd PaddleOCR/ # 下載 MobileNetV3 預(yù)訓(xùn)練模型 wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/MobileNetV3_large_x0_5_pretrained.pdparams # 或下載 ResNet18_vd 預(yù)訓(xùn)練模型 wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/ResNet18_vd_pretrained.pdparams # 或下載 ResNet50_vd 預(yù)訓(xùn)練模型 wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/ResNet50_vd_ssld_pretrained.pdparams說明預(yù)訓(xùn)練權(quán)重下載后訓(xùn)練時通過Global.pretrained_model指定路徑不帶.pdparams后綴如./pretrain_models/MobileNetV3_large_x0_5_pretrained。這些骨干權(quán)重來自 PaddleClas 的分類預(yù)訓(xùn)練模型僅用于初始化特征提取層。2. 訓(xùn)練2.1 啟動訓(xùn)練使用tools/train.py啟動訓(xùn)練-c指定配置文件-o用于覆蓋配置項python3 tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained若安裝的是 CPU 版本 PaddlePaddle請將配置中的use_gpu設(shè)為false。-o支持任意層級的鍵值覆蓋無需修改 yml 文件。例如將學(xué)習(xí)率調(diào)整為 0.0001# 單 GPU 訓(xùn)練 python3 tools/train.py -c configs/det/det_mv3_db.yml -o \ Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained \ Optimizer.base_lr0.0001 # 多 GPU 訓(xùn)練通過 --gpus 指定使用的 GPU ID python3 -m paddle.distributed.launch --gpus 0,1,2,3 tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained # 多機(jī)多卡訓(xùn)練通過 --ips 指定節(jié)點(diǎn) IP--gpus 指定 GPU ID python3 -m paddle.distributed.launch --ipsxx.xx.xx.xx,xx.xx.xx.xx --gpus 0,1,2,3 \ tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained多機(jī)訓(xùn)練注意事項--ips必須替換為各機(jī)器的實(shí)際地址且機(jī)器之間需能互相 ping 通需要在多臺機(jī)器上分別啟動訓(xùn)練命令查看本機(jī) IP 可用ifconfig。想要進(jìn)一步加速訓(xùn)練可開啟自動混合精度訓(xùn)練。單卡訓(xùn)練命令如下python3 tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained \ Global.use_ampTrue Global.scale_loss1024.0 Global.use_dynamic_loss_scalingTrue從源碼看訓(xùn)練主流程在 tools/train.py 中main()依次完成分布式環(huán)境初始化dist.init_parallel_env、構(gòu)建訓(xùn)練/驗(yàn)證 DataLoaderbuild_dataloader、構(gòu)建后處理build_post_process、構(gòu)建模型build_model、構(gòu)建損失build_loss、構(gòu)建優(yōu)化器build_optimizer與評估指標(biāo)build_metric最后調(diào)用program.train()進(jìn)入訓(xùn)練循環(huán)。use_amp開啟時會在 tools/train.py 中構(gòu)造paddle.amp.GradScaler并按amp_level默認(rèn)O2對模型與優(yōu)化器進(jìn)行paddle.amp.decorate封裝同時設(shè)置master_weightTrue保證主權(quán)重精度。2.2 加載已訓(xùn)練模型繼續(xù)訓(xùn)練若希望加載訓(xùn)練中間產(chǎn)物checkpoints斷點(diǎn)續(xù)訓(xùn)指定Global.checkpoints即可python3 tools/train.py -c configs/det/det_mv3_db.yml -o Global.checkpoints./your/trained/model注意Global.checkpoints的優(yōu)先級高于Global.pretrained_model當(dāng)兩者同時指定時優(yōu)先加載Global.checkpoints指向的模型若該路徑錯誤則回退加載Global.pretrained_model指向的模型。這一加載邏輯由 ppocr/utils/save_load.py 中的load_model實(shí)現(xiàn)。2.3 使用新骨干網(wǎng)絡(luò)訓(xùn)練PaddleOCR 將檢測網(wǎng)絡(luò)劃分為四個串聯(lián)模塊數(shù)據(jù)依次經(jīng)過transforms - backbones - necks - heads相關(guān)代碼位于 ppocr/modeling 目錄├── architectures # 網(wǎng)絡(luò)構(gòu)建代碼 ├── transforms # 圖像變換模塊 ├── backbones # 特征提取模塊 ├── necks # 特征增強(qiáng)模塊 └── heads # 輸出模塊如果目標(biāo)骨干在 PaddleOCR 中已有實(shí)現(xiàn)直接修改配置文件Backbone部分即可若需引入全新的 Backbone步驟如下在 ppocr/modeling/backbones 目錄下新建文件例如my_backbone.py在其中編寫繼承paddle.nn.Layer的網(wǎng)絡(luò)類import paddle import paddle.nn as nn import paddle.nn.functional as F class MyBackbone(nn.Layer): def __init__(self, *args, **kwargs): super(MyBackbone, self).__init__() # 你的初始化代碼 self.conv nn.xxxx def forward(self, inputs): # 你的網(wǎng)絡(luò)前向邏輯 y self.conv(inputs) return y在 ppocr/modeling/backbones/init.py 中導(dǎo)入新模塊。四個模塊添加完成后只需在配置文件中聲明即可使用Backbone: name: MyBackbone args1: args1說明替換 Backbone 及其他模塊的完整規(guī)范見 新增算法文檔。從配置看Architecture采用模塊化注冊機(jī)制如DBFPNNeck、DBHeadHead、DBLossLoss、DBPostProcess后處理各模塊通過name字段在對應(yīng)目錄的__init__.py中完成注冊與實(shí)例化。2.4 混合精度訓(xùn)練希望進(jìn)一步加速訓(xùn)練時可使用自動混合精度訓(xùn)練。以單機(jī)單卡為例python3 tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained \ Global.use_ampTrue Global.scale_loss1024.0 Global.use_dynamic_loss_scalingTrue其中Global.scale_loss為梯度縮放初始值init_loss_scalingGlobal.use_dynamic_loss_scaling決定是否啟用動態(tài)損失縮放二者直接傳入paddle.amp.GradScaler見 tools/train.py。2.5 分布式訓(xùn)練多機(jī)多卡訓(xùn)練時--ips指定機(jī)器 IP--gpus指定 GPU IDpython3 -m paddle.distributed.launch --ipsxx.xx.xx.xx,xx.xx.xx.xx --gpus 0,1,2,3 \ tools/train.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./pretrain_models/MobileNetV3_large_x0_5_pretrained注意事項--ips需替換為各機(jī)器實(shí)際地址且機(jī)器之間可互相 ping 通需在多個機(jī)器上分別啟動訓(xùn)練查看本機(jī) IP 使用ifconfig更多分布式訓(xùn)練加速比細(xì)節(jié)見 分布式訓(xùn)練教程。從源碼結(jié)構(gòu)可以推斷配置文件中Global.distributed為真時訓(xùn)練代碼會先執(zhí)行dist.init_parallel_env()并將模型包裝為paddle.DataParallel見 tools/train.py 與 tools/train.py。2.6 知識蒸餾訓(xùn)練PaddleOCR 的文本檢測訓(xùn)練支持知識蒸餾Knowledge Distillation通常用于訓(xùn)練輕量級學(xué)生模型細(xì)節(jié)參考 知識蒸餾文檔。蒸餾配置在Architecture中聲明多個子模型teacher/student后處理則使用DistillationDBPostProcess見 ppocr/postprocess/db_postprocess.py其內(nèi)部為每個子模型默認(rèn)model_name[student]分別執(zhí)行 DB 后處理。2.7 其他平臺訓(xùn)練Windows / macOS / Linux DCUWindows GPU/CPUWindows 平臺僅支持單 GPU 訓(xùn)練與推理用set CUDA_VISIBLE_DEVICES0指定 GPUDataLoader 僅支持單進(jìn)程模式需將num_workers設(shè)為 0。macOS不支持 GPU 模式需在配置文件中將use_gpu設(shè)為False其余訓(xùn)練/評估/預(yù)測命令與 Linux GPU 完全一致。Linux DCU在 DCU 設(shè)備上運(yùn)行需設(shè)置環(huán)境變量export HIP_VISIBLE_DEVICES0,1,2,3其余命令與 Linux GPU 一致。2.8 微調(diào)實(shí)際業(yè)務(wù)中推薦加載官方預(yù)訓(xùn)練模型并在自有數(shù)據(jù)集上微調(diào)。檢測模型的微調(diào)方法詳見 模型微調(diào)教程。微調(diào)核心要點(diǎn)數(shù)據(jù)集至少準(zhǔn)備500 張檢測標(biāo)注圖標(biāo)注框需與語義內(nèi)容一致例如火車票場景中姓名雖相距較遠(yuǎn)但語義同一字段應(yīng)標(biāo)注為一個檢測框推薦使用 PP-OCRv3 檢測模型作為預(yù)訓(xùn)練權(quán)重配置文件 PP-OCRv3_mobile_det.yml權(quán)重包解壓后使用其中的student.pdparams即僅使用學(xué)生模型微調(diào)時最重要的三個超參數(shù)是pretrained_model、learning_rate與batch_size。PaddleOCR 官方配置面向 8 卡訓(xùn)練總 batch size 8×864你的場景需按總 batch size 線性縮放學(xué)習(xí)率單卡 batch_size8 時建議學(xué)習(xí)率約1e-4單卡受顯存限制 batch_size4 時建議約5e-5推理階段可調(diào)整預(yù)測圖像尺度與 DB 后處理參數(shù)來提升小文本檢測效果常用推理超參數(shù)如下表超參數(shù)類型默認(rèn)值含義det_db_threshfloat0.3DB 輸出的概率圖中得分大于該閾值的像素被視為文本像素det_db_box_threshfloat0.6檢測結(jié)果框內(nèi)所有像素平均得分大于該閾值時才判定為文本區(qū)域det_db_unclip_ratiofloat1.5Vatti clipping 擴(kuò)張系數(shù)用于擴(kuò)張文本區(qū)域max_batch_sizeint10batch 大小use_dilationboolFalse是否對分割結(jié)果做膨脹以得到更優(yōu)檢測結(jié)果det_db_score_modestrfastDB 檢測結(jié)果的得分計算方式支持fast按多邊形外接矩形內(nèi)所有像素計算平均分與slow按原始多邊形內(nèi)所有像素計算平均分速度較慢但更準(zhǔn)確3. 評估PaddleOCR 使用Precision精確率、Recall召回率、HmeanF1 分?jǐn)?shù)三項指標(biāo)評估文本檢測性能。在 ppocr/metrics/det_metric.py 中DetMetric通過DetectionIoUEvaluator逐圖比對預(yù)測多邊形與 GT 多邊形最終由get_metric()匯總輸出precision、recall、hmean三項指標(biāo)配置項Metric.main_indicator: hmean表明以 Hmean 作為早停/模型篩選的主指標(biāo)。運(yùn)行以下命令計算評估指標(biāo)結(jié)果保存在配置文件中Global.save_res_path指定的文件里python3 tools/eval.py -c configs/det/det_mv3_db.yml \ -o Global.checkpoints{path/to/weights}/best_accuracy \ PostProcess.box_thresh0.6 PostProcess.unclip_ratio1.5評估要點(diǎn)評估時建議設(shè)置后處理參數(shù)box_thresh0.6、unclip_ratio1.5若使用不同數(shù)據(jù)集/模型訓(xùn)練這兩個參數(shù)需要相應(yīng)調(diào)整以獲得更優(yōu)結(jié)果訓(xùn)練過程中保存的模型參數(shù)默認(rèn)存放在Global.save_model_dir目錄評估時需將Global.checkpoints指向保存的參數(shù)文件如best_accuracy注意box_thresh與unclip_ratio是 DB 后處理所需參數(shù)評估 EAST、SAST 模型時無需設(shè)置。從源碼看評估流程tools/eval.py 構(gòu)建 Eval DataLoader 與模型后通過load_model加載Global.checkpoints指定的權(quán)重再調(diào)用program.eval()完成推理與指標(biāo)計算program.eval()內(nèi)部使用build_post_process得到的DBPostProcess對網(wǎng)絡(luò)輸出的概率圖做二值化與多邊形提取見 ppocr/postprocess/db_postprocess.py并將box_thresh、unclip_ratio等參數(shù)直接用于框篩選與擴(kuò)張。4. 測試對單張圖片測試檢測結(jié)果python3 tools/infer_det.py -c configs/det/det_mv3_db.yml \ -o Global.infer_img./doc/imgs_en/img_10.jpg \ Global.pretrained_model./output/det_db/best_accuracy測試 DB 模型時可調(diào)整后處理閾值python3 tools/infer_det.py -c configs/det/det_mv3_db.yml \ -o Global.infer_img./doc/imgs_en/img_10.jpg \ Global.pretrained_model./output/det_db/best_accuracy \ PostProcess.box_thresh0.6 PostProcess.unclip_ratio2.0對文件夾內(nèi)所有圖片測試python3 tools/infer_det.py -c configs/det/det_mv3_db.yml \ -o Global.infer_img./doc/imgs_en/ \ Global.pretrained_model./output/det_db/best_accuracy配置文件中Global.infer_img的默認(rèn)值為doc/imgs_en/img_10.jpg見 det_mv3_db.ymlinfer_det.py同時支持傳入單圖路徑與目錄路徑。5. 推理5.1 訓(xùn)練模型與推理模型的區(qū)別推理模型由paddle.jit.save保存的固化模型模型結(jié)構(gòu)與參數(shù)已全部固化為文件便于部署與實(shí)際系統(tǒng)集成checkpoints 模型訓(xùn)練過程中保存的參數(shù)快照主要用于斷點(diǎn)續(xù)訓(xùn)。與 checkpoints 相比推理模型額外保存了模型結(jié)構(gòu)信息因此部署更簡單。5.2 導(dǎo)出推理模型將 DB 訓(xùn)練模型轉(zhuǎn)換為推理模型python3 tools/export_model.py -c configs/det/det_mv3_db.yml \ -o Global.pretrained_model./output/det_db/best_accuracy \ Global.save_inference_dir./output/det_db_inference/從源碼看tools/export_model.py 通過ArgsParser解析參數(shù)、load_config加載配置、merge_config合并-o覆蓋項最終調(diào)用ppocr.utils.export_model.export(config)完成模型固化。5.3 推理模型預(yù)測python3 tools/infer/predict_det.py --det_algorithmDB \ --det_model_dir./output/det_db_inference/ \ --image_dir./doc/imgs/ --use_gpuTrue若使用其他檢測算法如 EAST修改det_algorithm參數(shù)即可默認(rèn)為 DBpython3 tools/infer/predict_det.py --det_algorithmEAST \ --det_model_dir./output/det_db_inference/ \ --image_dir./doc/imgs/ --use_gpuTrue6. FAQQ1訓(xùn)練模型與推理模型的預(yù)測結(jié)果不一致A絕大多數(shù)情況是由訓(xùn)練模型預(yù)測時的預(yù)處理/后處理參數(shù)與推理模型預(yù)測時的參數(shù)不一致導(dǎo)致。以det_mv3_db.yml訓(xùn)練出的模型為例排查思路如下檢查預(yù)處理是否一致對比 訓(xùn)練模型預(yù)處理配置Eval.dataset.transforms中的DetResizeForTest其image_shape: [736, 1280]與推理模型的預(yù)測預(yù)處理函數(shù)。評估時輸入圖像尺寸會影響精度——為與論文一致icdar15 訓(xùn)練配置將圖像 resize 到[736, 1280]而推理模型預(yù)測時只有一套默認(rèn)參數(shù)出于速度考慮默認(rèn)將圖像最長邊限制為 960 進(jìn)行 resize。兩者的預(yù)處理函數(shù)均位于 ppocr/data/imaug/operators.pyDetResizeForTest等算子。檢查后處理是否一致對比 訓(xùn)練模型后處理配置PostProcess中的thresh、box_thresh、unclip_ratio等與推理的后處理參數(shù)是否一致。附檢測配置深度解讀det_mv3_db.yml原文檔對應(yīng)的示例配置 configs/det/det_mv3_db.yml 是理解整個訓(xùn)練流程的關(guān)鍵各模塊與源碼的對應(yīng)關(guān)系如下配置模塊關(guān)鍵參數(shù)對應(yīng)源碼/說明Globaluse_gpu、epoch_num: 1200、save_model_dir、eval_batch_step: [0, 2000]、pretrained_model、checkpoints、use_amp訓(xùn)練全局控制eval_batch_step表示每 2000 個 iteration 評估一次tools/train.py 中由program.train執(zhí)行Architecturemodel_type: det、algorithm: DBBackbone: MobileNetV3(scale0.5, large)Neck: DBFPN(out_channels256)Head: DBHead(k50)四段式網(wǎng)絡(luò)組裝transforms→backbones→necks→headsLossDBLossalpha: 5、beta: 10、ohem_ratio: 3、main_loss_type: DiceLossppocr/losses/det_db_loss.py總損失 alpha×shrink_map損失 beta×threshold_map損失 binary_map的Dice損失其中ohem_ratio控制負(fù)樣本采樣比例negative_ratioOptimizerAdam(beta10.9, beta20.999)、lr.learning_rate: 0.001、L2 regularizer(factor0)-o Optimizer.base_lr0.0001可在線調(diào)整學(xué)習(xí)率PostProcessDBPostProcessthresh: 0.3、box_thresh: 0.6、max_candidates: 1000、unclip_ratio: 1.5ppocr/postprocess/db_postprocess.pythresh為概率圖二值化閾值box_thresh為框內(nèi)平均分閾值unclip_ratio為 Vatti 擴(kuò)張系數(shù)MetricDetMetric、main_indicator: hmeanppocr/metrics/det_metric.pyTrain/Eval.datasetSimpleDataSetIaaAugment、EastRandomCropData、MakeBorderMap(shrink_ratio0.4)、MakeShrinkMap等變換訓(xùn)練側(cè)生成 shrink_map/threshold_map 監(jiān)督信號評估側(cè)使用DetResizeForTest(image_shape[736, 1280])整體流程可以概括為數(shù)據(jù)加載與增強(qiáng)含邊界/收縮圖生成→ 四段式網(wǎng)絡(luò)前向DB 輸出 probability map、threshold map、binary map 三通道→ DBLoss 計算二值化可微化訓(xùn)練→ 反向傳播優(yōu)化 → DBPostProcess 后處理提取文本框 → DetMetric 計算 Precision/Recall/Hmean → 周期性評估與模型保存 → export_model 固化推理模型 → predict_det 部署推理?！久赓M(fèi)下載鏈接】PaddleOCRTurn any PDF or image document into structured data for your AI. A powerful, lightweight OCR toolkit that bridges the gap between images/PDFs and LLMs. Supports 100 languages.項目地址: https://gitcode.com/GitHub_Trending/pa/PaddleOCR創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考