指南：E-Branchformer、Conformer 與 Transformer 全對比)
人工智能語音音頻深度學習NLP【免費下載鏈接】espnetEnd-to-End Speech Processing Toolkit項目地址https://gitcode.com/gh_mirrors/es/espnet點擊查看免費下載本指南以 ESPnet 倉庫中egs2/jsut/asr1配方及其 README 記錄為核心系統(tǒng)講解如何基于日語朗讀語料庫 JSUT 訓練端到端語音識別ASR模型。文中完整收錄 README 中 E-Branchformer、Conformer、Transformer 與 RNN 四類模型的配置與 CER 評測結果并結合倉庫內(nèi)真實配置文件和源碼如espnet2/asr/encoder/e_branchformer_encoder.py逐項解讀參數(shù)含義幫助你理解 ESPnet 2 配方的完整調(diào)用鏈數(shù)據(jù)準備 → 特征提取 → 模型訓練 → 解碼評測并掌握 E-Branchformer 這一兼顧全局注意力與局部卷積建模能力的新一代編碼器。JSUT 數(shù)據(jù)集與配方目錄結構JSUTJapanese Speech corpus of Saruwatari laboratory, University of Tokyo是日語單說話人朗讀語音數(shù)據(jù)集采樣率 48kHz包含 basic5000、loanword128、onomatopee300、repeat500、travel1000 等多個子集。在 ESPnet 中egs2/jsut/asr1配方將其降采樣到 16kHz 用于 ASR 實驗README 中同時記錄了 16k 與 48k 兩套實驗的歷史結果。配方目錄關鍵文件如下文件/目錄作用run.sh一鍵訓練入口封裝對asr.sh的調(diào)用asr.shESPnet2 通用 ASR 流水線主腳本conf/tuning/各模型調(diào)優(yōu)配置E-Branchformer/Conformer/Transformer/RNNconf/decode_transformer.yaml解碼參數(shù)配置conf/train_lm.yaml語言模型訓練配置local/download.sh數(shù)據(jù)集自動下載腳本local/data_prep.sh、local/change_sampling_rate.sh數(shù)據(jù)切分與降采樣db.sh語料路徑配置JSUTdownloads表示自動下載從 db.sh 第 101 行可以看到JSUTdownloads配合 local/download.sh 中的邏輯腳本會通過wget http://ss-takashi.sakura.ne.jp/corpus/jsut_ver1.1.zip下載并解壓語料同時從r9y9/jsut-lab克隆 full-context label 用于對齊標簽擴展若目標目錄已存在則自動跳過Already exists. Skipped.。一鍵運行run.sh 入口參數(shù)全解析JSUT asr1 的 run.sh 展示了 ESPnet2 配方的標準啟動方式fs16000 opts if [ ${fs} -eq 48000 ]; then # To suppress recreation, specify wav format opts--audio_format wav else opts--audio_format flac fi train_settr_no_dev valid_setdev test_setsdev eval1 asr_configconf/tuning/train_asr_conformer8.yaml inference_configconf/decode_transformer.yaml lm_configconf/train_lm.yaml ./asr.sh \ --ngpu 4 \ --lang jp \ --token_type char \ --feats_type raw \ --fs ${fs} \ --speed_perturb_factors 0.9 1.0 1.1 \ --local_data_opts --fs ${fs} \ --asr_config ${asr_config} \ --inference_config ${inference_config} \ --lm_config ${lm_config} \ --train_set ${train_set} \ --valid_set ${valid_set} \ --test_sets ${test_sets} \ --lm_train_text data/${train_set}/text \ ${opts} $各參數(shù)含義--fs 16000目標采樣率。JSUT 原始音頻為 48kHz配方默認降采樣到 16kHz當設為 48000 時需追加--audio_format wav避免重采樣。--token_type char日語按字符假名/漢字字符建詞表對應中文等表意文字場景常見做法。--feats_type raw直接以原始波形作為輸入由前端frontend在線計算 Fbank 特征無需離線 dump 特征。--speed_perturb_factors 0.9 1.0 1.1三倍速度擾動數(shù)據(jù)增強是 README 中_spspeed perturb后綴實驗的由來。--ngpu 4使用 4 張 GPU 訓練。--train_set tr_no_dev / --valid_set dev / --test_sets dev eval1訓練集為剔除 dev 后的剩余數(shù)據(jù)驗證集與測試集均為 dev 與 eval1各 250 句README 評測表格中Snt250即由此而來。--lm_train_text data/${train_set}/text以訓練集文本訓練 RNN 語言模型用于解碼重打分。執(zhí)行./run.sh即可按asr.sh流水線依次完成語料下載、數(shù)據(jù)準備、特征提取原始波形、詞表構建、ASR 模型與 LM 訓練、解碼與評分。E-Branchformer 模型配置與源碼級原理README 的第一部分記錄的是當前倉庫的旗艦實驗asr_train_asr_e_branchformer_e16_conv15_raw_jp_char_spESPnet 202301 版本PyTorch 1.13.1參數(shù)量 44.24M預訓練模型鏈接見 README 中 pyf98/jsut_e_branchformer。其訓練配置為 conf/tuning/train_asr_e_branchformer_e16_conv15.yaml完整內(nèi)容如下# frontend related frontend: default frontend_conf: n_fft: 512 win_length: 400 hop_length: 160 # encoder related encoder: e_branchformer encoder_conf: output_size: 256 attention_heads: 4 attention_layer_type: rel_selfattn pos_enc_layer_type: rel_pos rel_pos_type: latest cgmlp_linear_units: 1024 cgmlp_conv_kernel: 15 use_linear_after_conv: false gate_activation: identity num_blocks: 16 dropout_rate: 0.1 positional_dropout_rate: 0.1 attention_dropout_rate: 0.1 input_layer: conv2d layer_drop_rate: 0.0 linear_units: 1024 positionwise_layer_type: linear use_ffn: true macaron_ffn: true merge_conv_kernel: 15 # decoder related decoder: transformer decoder_conf: input_layer: embed num_blocks: 6 linear_units: 2048 dropout_rate: 0.1 # hybrid CTC/attention model_conf: ctc_weight: 0.3 lsm_weight: 0.1 length_normalized_loss: false # optimization related optim: adam accum_grad: 1 grad_clip: 3 max_epoch: 100 optim_conf: lr: 4.0 scheduler: noamlr scheduler_conf: model_size: 256 warmup_steps: 25000 # minibatch related batch_type: numel batch_bins: 15000000 best_model_criterion: - - valid - acc - max keep_nbest_models: 10關鍵參數(shù)解讀前端frontenddefault前端在 16kHz 下以n_fft512、win_length40025ms 窗、hop_length16010ms 幀移計算 Fbank 特征。編碼器e_branchformeroutput_size256為模型維度attention_heads4多頭注意力attention_layer_type: rel_selfattn與pos_enc_layer_type: rel_pos組合使用相對位置編碼relative positional encodingrel_pos_type: latest表示采用最新版相對位置注意力實現(xiàn)相對legacy舊實現(xiàn)后者會被打上 deprecated 警告見 e_branchformer_encoder.py。CGMLP 分支cgmlp_linear_units1024、cgmlp_conv_kernel15對應卷積門控 MLP 分支的線性單元數(shù)與卷積核大小use_linear_after_conv: false、gate_activation: identity控制門控激活方式。FFN 與合并模塊use_ffn: true、macaron_ffn: true表示同時使用 macaron 風格 FFN縮放系數(shù) 0.5與標準 FFNmerge_conv_kernel15是合并兩個分支時 depth-wise 卷積的核大小。整體規(guī)模num_blocks16個編碼器塊、input_layer: conv2d下采樣Conv2dSubsampling?；旌?CTC/Attentionctc_weight0.3、lsm_weight0.1標簽平滑、length_normalized_loss: false。優(yōu)化器Adamlr4.0配合noamlrNoam 學習率調(diào)度warmup_steps25000、model_size256。批處理batch_type: numel按元素數(shù)幀數(shù)×維度動態(tài)組批batch_bins15000000。模型選擇以驗證集 accuracy 最大為準則valid/acc/max保留keep_nbest_models: 10個最優(yōu)模型。從源碼層面看E-Branchformer 編碼器定義在 espnet2/asr/encoder/e_branchformer_encoder.py其引用文獻為 E-Branchformer: Branchformer with Enhanced merging for speech recognitionSLT 2022。核心設計體現(xiàn)在EBranchformerEncoderLayer第 58-188 行的前向計算中Macaron FFN先經(jīng)過 macaron 風格 FFN輸出按ff_scale0.5縮放后與殘差相加雙分支并行x1、x2分支一為多頭自注意力rel_selfattn可替換為FastSelfAttention高效注意力源碼第 147-153 行;分支二為卷積門控 MLPCGMLP來自 espnet2/asr/layers/cgmlp.py 的ConvolutionalGatingMLP;增強合并模塊Enhanced merging將兩個分支輸出torch.cat拼接后先經(jīng)mask_padded_frames屏蔽填充幀再送入核大小為merge_conv_kernel的 depth-wise 卷積融合self.depthwise_conv_fusion最后經(jīng)merge_proj線性投影回原維度并與殘差相加源碼第 168-175 行標準 FFN 與最終 LayerNorm收尾第 177-183 行。這種全局注意力 局部卷積雙分支結構正是 E-Branchformer 相比純 Transformer 能更好建模語音局部時序模式的原因也是該實驗取得更低 CER 的架構基礎。解碼配置LM 重打分與 beam searchREADME 中所有實驗的評測解碼均使用 Transformer 解碼器配置 conf/decode_transformer.yamllm_weight: 0.3 beam_size: 20 penalty: 0.0 maxlenratio: 0.0 minlenratio: 0.0 ctc_weight: 0.3beam_size: 20beam search 寬度lm_weight: 0.3外部 RNN 語言模型打分權重評測表名中的decode_transformer_lm_...前綴即表示解碼時聯(lián)合了訓練好的 Transformer LMctc_weight: 0.3與訓練時model_conf.ctc_weight一致的 CTC 得分權重maxlenratio/minlenratio為 0表示不限制生成長度比例。配套的 RNN LM 配置見 conf/train_lm.yaml兩層 LSTMnlayers: 2、unit: 650、SGD 優(yōu)化器、batch_type: folded、max_epoch: 20、以驗證集 loss 最小選模型。解碼評測時按 README 中的命名約定asr_model_valid.acc.ave表示取驗證 accuracy 最優(yōu)的多個模型參數(shù)平均lm_train_lm_jp_char_valid.loss.ave表示 LM 取驗證 loss 最優(yōu)模型。評測結果全景E-Branchformer vs Conformer vs Transformer vs RNNE-Branchformer本倉庫旗艦實驗44.24M 參數(shù)模型名asr_train_asr_e_branchformer_e16_conv15_raw_jp_char_sp訓練環(huán)境為 espnet 202301 / PyTorch 1.13.1評測指標為 CER字符錯誤率S.Err 為句子錯誤率datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_jp_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634989.38.42.21.111.885.2decode_transformer_lm_lm_train_lm_jp_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592888.29.62.21.113.088.0Conformerespnet 0.9.2 時代記錄README 的 conformer vs transformer results 一節(jié)記錄了三個歷史模型均基于 16k 音頻對應配置可見 conf/tuning/train_asr_conformer8.yaml12 層 Conformercnn_module_kernel15、macaron_style: true、activation_type: swish、pos_enc_layer_type: rel_posasr_train_asr_conformer8_raw_char_spconformerZenodo 存檔 4292742datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634989.28.62.21.112.085.2decode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592887.59.92.61.313.986.4asr_train_asr_conformer_raw_char_optim_conflr5_spconformerZenodo 存檔 4073045datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634987.410.32.41.414.088.8decode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592886.211.02.81.214.990.0asr_train_asr_transformer_raw_char_sptransformerZenodo 存檔 4073054datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634985.811.03.21.615.891.2decode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592884.112.53.51.717.693.6對應純 Transformer 編碼器配置見 conf/tuning/train_asr_transformer.yaml 與 conf/train_asr_transformer.yaml。RNNespnet 0.6.0 時代基線asr_train_rnn_raw_char采用 RNN 編碼器的歷史基線README 同時給出 16k 與 48k 兩套結果。16k 結果CERS.Err 對應句子錯誤率datasetSntWrdCorrSubDelInsErrS.Errdecode_devdecode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250634983.412.54.11.518.195.2decode_eval1decode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250592882.513.54.01.719.195.248k 實驗需要顯式調(diào)整前端參數(shù)以匹配 48kHz 采樣率下的窗長與幀移保持 32ms 窗、8ms 幀移README 明確要求追加如下參數(shù)--asr_args --frontend_conf n_fft$(echo ${fs} | python -c print(int(0.032 * float(input())))) --frontend_conf hop_length$(echo ${fs} | python -c print(int(0.008 * float(input()))))即通過asr_args注入動態(tài)計算的n_fft與hop_length48kHz 時分別為 1536 與 384同時結合 run.sh 中--fs 48000時追加的--audio_format wav。48k 結果datasetSntWrdCorrSubDelInsErrS.Errdecode_devdecode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250634984.712.03.31.717.094.8decode_eval1decode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250592883.513.13.41.618.094.8結果橫向?qū)Ρ扰c解讀以 eval1 的 CERErr 列縱向?qū)Ρ菶-Branchformer 13.0 conformer8 13.9 conformer(conflr5) 14.9 transformer 17.6 RNN-16k 19.1 RNN-48k 18.0。可歸納出三點結論均為倉庫 README 數(shù)據(jù)所支撐的客觀事實而非外部評價E-Branchformer 優(yōu)于同規(guī)模 Conformer在 JSUT 上16 層 E-Branchformer44.24M 參數(shù)相對 12 層 Conformer8 在 dev/eval1 上 CER 分別降低 0.2/0.9 個百分點驗證了增強合并模塊帶來的建模增益Conformer 優(yōu)于 Transformer相對位置編碼 卷積模塊的 Conformer 明顯勝過純 Transformereval1 上 13.9 vs 17.6RNN 基線差距顯著早期 RNN 模型 CER 在 17-19 區(qū)間48k 采樣率配合正確的窗長/幀移參數(shù)可小幅改善指標但整體仍遠遜于基于注意力的現(xiàn)代架構。需要注意這些歷史結果來自不同 ESPnet 版本0.6.0 / 0.9.2 / 202301與不同訓練配置環(huán)境差異日期、Python/PyTorch 版本、Git hash在 README 中均已注明直接橫向?qū)Ρ葧r應考慮配置與實現(xiàn)版本的差異。復現(xiàn)要點與擴展閱讀復現(xiàn) E-Branchformer 實驗只需在egs2/jsut/asr1目錄下將run.sh中的asr_config替換為conf/tuning/train_asr_e_branchformer_e16_conv15.yaml后執(zhí)行./run.sh數(shù)據(jù)可自動下載JSUTdownloads詞表采用 char 級別特征為 raw 波形 在線 Fbank。評測時使用 conf/decode_transformer.yaml 聯(lián)合 conf/train_lm.yaml 訓練的 LSTM LM 進行重打分最終以 CER 為指標在 dev/eval1各 250 句上評測。進一步深入編碼器實現(xiàn)espnet2/asr/encoder/e_branchformer_encoder.py雙分支與合并模塊、espnet2/asr/layers/cgmlp.py卷積門控 MLP其他 JSUT 相關配方egs2/jsut/tts1、egs2/jsut_song/svs1歌唱合成可參考同一數(shù)據(jù)準備腳本ESPnet2 通用訓練選項說明見 doc/espnet2_training_option.md結構化數(shù)據(jù)格式見 doc/espnet2_structured_data.md。贊分享人工智能語音音頻深度學習NLP【免費下載鏈接】espnetEnd-to-End Speech Processing Toolkit項目地址https://gitcode.com/gh_mirrors/es/espnet點擊查看免費下載相關推薦Eigent 安裝流程測試環(huán)境用 Mock 化 Electron API 與系統(tǒng)狀態(tài)端到端測試依賴安裝Eigent 安裝流程測試環(huán)境用 Mock 化 Electron API 與系統(tǒng)狀態(tài)端到端測試依賴安裝 Eigent 是開源的 Cowork 桌面應用Ele人工智能語音音頻深度學習NLPESPnet Fisher CallHome Spanish 語音識別實戰(zhàn)E-Branchformer 與 Conformer 配置、訓練與評測全解ESPnet Fisher CallHome Spanish 語音識別實戰(zhàn)E Branchformer 與 Conformer 配置、訓練與評測全解 本篇技術人工智能語音音頻深度學習NLPOdin 編譯期執(zhí)行CTE設計剖析解釋器內(nèi)存空間與編譯產(chǎn)物之間的類型安全邊界Odin 編譯期執(zhí)行CTE設計剖析解釋器內(nèi)存空間與編譯產(chǎn)物之間的類型安全邊界 導讀 編譯期執(zhí)行Compile Time ExecutionCTE是人工智能語音音頻深度學習NLP上一篇WarcraftHelper魔獸爭霸III現(xiàn)代優(yōu)化完整指南下一篇RepoDB連接持久性配置如何平衡性能與資源使用創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 ESPnet JSUT 日語語音識別實戰(zhàn)指南：E-Branchformer、Conformer 與 Transformer 全對比
人工智能語音音頻深度學習NLP【免費下載鏈接】espnetEnd-to-End Speech Processing Toolkit項目地址https://gitcode.com/gh_mirrors/es/espnet點擊查看免費下載本指南以 ESPnet 倉庫中egs2/jsut/asr1配方及其 README 記錄為核心系統(tǒng)講解如何基于日語朗讀語料庫 JSUT 訓練端到端語音識別ASR模型。文中完整收錄 README 中 E-Branchformer、Conformer、Transformer 與 RNN 四類模型的配置與 CER 評測結果并結合倉庫內(nèi)真實配置文件和源碼如espnet2/asr/encoder/e_branchformer_encoder.py逐項解讀參數(shù)含義幫助你理解 ESPnet 2 配方的完整調(diào)用鏈數(shù)據(jù)準備 → 特征提取 → 模型訓練 → 解碼評測并掌握 E-Branchformer 這一兼顧全局注意力與局部卷積建模能力的新一代編碼器。JSUT 數(shù)據(jù)集與配方目錄結構JSUTJapanese Speech corpus of Saruwatari laboratory, University of Tokyo是日語單說話人朗讀語音數(shù)據(jù)集采樣率 48kHz包含 basic5000、loanword128、onomatopee300、repeat500、travel1000 等多個子集。在 ESPnet 中egs2/jsut/asr1配方將其降采樣到 16kHz 用于 ASR 實驗README 中同時記錄了 16k 與 48k 兩套實驗的歷史結果。配方目錄關鍵文件如下文件/目錄作用run.sh一鍵訓練入口封裝對asr.sh的調(diào)用asr.shESPnet2 通用 ASR 流水線主腳本conf/tuning/各模型調(diào)優(yōu)配置E-Branchformer/Conformer/Transformer/RNNconf/decode_transformer.yaml解碼參數(shù)配置conf/train_lm.yaml語言模型訓練配置local/download.sh數(shù)據(jù)集自動下載腳本local/data_prep.sh、local/change_sampling_rate.sh數(shù)據(jù)切分與降采樣db.sh語料路徑配置JSUTdownloads表示自動下載從 db.sh 第 101 行可以看到JSUTdownloads配合 local/download.sh 中的邏輯腳本會通過wget http://ss-takashi.sakura.ne.jp/corpus/jsut_ver1.1.zip下載并解壓語料同時從r9y9/jsut-lab克隆 full-context label 用于對齊標簽擴展若目標目錄已存在則自動跳過Already exists. Skipped.。一鍵運行run.sh 入口參數(shù)全解析JSUT asr1 的 run.sh 展示了 ESPnet2 配方的標準啟動方式fs16000 opts if [ ${fs} -eq 48000 ]; then # To suppress recreation, specify wav format opts--audio_format wav else opts--audio_format flac fi train_settr_no_dev valid_setdev test_setsdev eval1 asr_configconf/tuning/train_asr_conformer8.yaml inference_configconf/decode_transformer.yaml lm_configconf/train_lm.yaml ./asr.sh \ --ngpu 4 \ --lang jp \ --token_type char \ --feats_type raw \ --fs ${fs} \ --speed_perturb_factors 0.9 1.0 1.1 \ --local_data_opts --fs ${fs} \ --asr_config ${asr_config} \ --inference_config ${inference_config} \ --lm_config ${lm_config} \ --train_set ${train_set} \ --valid_set ${valid_set} \ --test_sets ${test_sets} \ --lm_train_text data/${train_set}/text \ ${opts} $各參數(shù)含義--fs 16000目標采樣率。JSUT 原始音頻為 48kHz配方默認降采樣到 16kHz當設為 48000 時需追加--audio_format wav避免重采樣。--token_type char日語按字符假名/漢字字符建詞表對應中文等表意文字場景常見做法。--feats_type raw直接以原始波形作為輸入由前端frontend在線計算 Fbank 特征無需離線 dump 特征。--speed_perturb_factors 0.9 1.0 1.1三倍速度擾動數(shù)據(jù)增強是 README 中_spspeed perturb后綴實驗的由來。--ngpu 4使用 4 張 GPU 訓練。--train_set tr_no_dev / --valid_set dev / --test_sets dev eval1訓練集為剔除 dev 后的剩余數(shù)據(jù)驗證集與測試集均為 dev 與 eval1各 250 句README 評測表格中Snt250即由此而來。--lm_train_text data/${train_set}/text以訓練集文本訓練 RNN 語言模型用于解碼重打分。執(zhí)行./run.sh即可按asr.sh流水線依次完成語料下載、數(shù)據(jù)準備、特征提取原始波形、詞表構建、ASR 模型與 LM 訓練、解碼與評分。E-Branchformer 模型配置與源碼級原理README 的第一部分記錄的是當前倉庫的旗艦實驗asr_train_asr_e_branchformer_e16_conv15_raw_jp_char_spESPnet 202301 版本PyTorch 1.13.1參數(shù)量 44.24M預訓練模型鏈接見 README 中 pyf98/jsut_e_branchformer。其訓練配置為 conf/tuning/train_asr_e_branchformer_e16_conv15.yaml完整內(nèi)容如下# frontend related frontend: default frontend_conf: n_fft: 512 win_length: 400 hop_length: 160 # encoder related encoder: e_branchformer encoder_conf: output_size: 256 attention_heads: 4 attention_layer_type: rel_selfattn pos_enc_layer_type: rel_pos rel_pos_type: latest cgmlp_linear_units: 1024 cgmlp_conv_kernel: 15 use_linear_after_conv: false gate_activation: identity num_blocks: 16 dropout_rate: 0.1 positional_dropout_rate: 0.1 attention_dropout_rate: 0.1 input_layer: conv2d layer_drop_rate: 0.0 linear_units: 1024 positionwise_layer_type: linear use_ffn: true macaron_ffn: true merge_conv_kernel: 15 # decoder related decoder: transformer decoder_conf: input_layer: embed num_blocks: 6 linear_units: 2048 dropout_rate: 0.1 # hybrid CTC/attention model_conf: ctc_weight: 0.3 lsm_weight: 0.1 length_normalized_loss: false # optimization related optim: adam accum_grad: 1 grad_clip: 3 max_epoch: 100 optim_conf: lr: 4.0 scheduler: noamlr scheduler_conf: model_size: 256 warmup_steps: 25000 # minibatch related batch_type: numel batch_bins: 15000000 best_model_criterion: - - valid - acc - max keep_nbest_models: 10關鍵參數(shù)解讀前端frontenddefault前端在 16kHz 下以n_fft512、win_length40025ms 窗、hop_length16010ms 幀移計算 Fbank 特征。編碼器e_branchformeroutput_size256為模型維度attention_heads4多頭注意力attention_layer_type: rel_selfattn與pos_enc_layer_type: rel_pos組合使用相對位置編碼relative positional encodingrel_pos_type: latest表示采用最新版相對位置注意力實現(xiàn)相對legacy舊實現(xiàn)后者會被打上 deprecated 警告見 e_branchformer_encoder.py。CGMLP 分支cgmlp_linear_units1024、cgmlp_conv_kernel15對應卷積門控 MLP 分支的線性單元數(shù)與卷積核大小use_linear_after_conv: false、gate_activation: identity控制門控激活方式。FFN 與合并模塊use_ffn: true、macaron_ffn: true表示同時使用 macaron 風格 FFN縮放系數(shù) 0.5與標準 FFNmerge_conv_kernel15是合并兩個分支時 depth-wise 卷積的核大小。整體規(guī)模num_blocks16個編碼器塊、input_layer: conv2d下采樣Conv2dSubsampling?；旌?CTC/Attentionctc_weight0.3、lsm_weight0.1標簽平滑、length_normalized_loss: false。優(yōu)化器Adamlr4.0配合noamlrNoam 學習率調(diào)度warmup_steps25000、model_size256。批處理batch_type: numel按元素數(shù)幀數(shù)×維度動態(tài)組批batch_bins15000000。模型選擇以驗證集 accuracy 最大為準則valid/acc/max保留keep_nbest_models: 10個最優(yōu)模型。從源碼層面看E-Branchformer 編碼器定義在 espnet2/asr/encoder/e_branchformer_encoder.py其引用文獻為 E-Branchformer: Branchformer with Enhanced merging for speech recognitionSLT 2022。核心設計體現(xiàn)在EBranchformerEncoderLayer第 58-188 行的前向計算中Macaron FFN先經(jīng)過 macaron 風格 FFN輸出按ff_scale0.5縮放后與殘差相加雙分支并行x1、x2分支一為多頭自注意力rel_selfattn可替換為FastSelfAttention高效注意力源碼第 147-153 行;分支二為卷積門控 MLPCGMLP來自 espnet2/asr/layers/cgmlp.py 的ConvolutionalGatingMLP;增強合并模塊Enhanced merging將兩個分支輸出torch.cat拼接后先經(jīng)mask_padded_frames屏蔽填充幀再送入核大小為merge_conv_kernel的 depth-wise 卷積融合self.depthwise_conv_fusion最后經(jīng)merge_proj線性投影回原維度并與殘差相加源碼第 168-175 行標準 FFN 與最終 LayerNorm收尾第 177-183 行。這種全局注意力 局部卷積雙分支結構正是 E-Branchformer 相比純 Transformer 能更好建模語音局部時序模式的原因也是該實驗取得更低 CER 的架構基礎。解碼配置LM 重打分與 beam searchREADME 中所有實驗的評測解碼均使用 Transformer 解碼器配置 conf/decode_transformer.yamllm_weight: 0.3 beam_size: 20 penalty: 0.0 maxlenratio: 0.0 minlenratio: 0.0 ctc_weight: 0.3beam_size: 20beam search 寬度lm_weight: 0.3外部 RNN 語言模型打分權重評測表名中的decode_transformer_lm_...前綴即表示解碼時聯(lián)合了訓練好的 Transformer LMctc_weight: 0.3與訓練時model_conf.ctc_weight一致的 CTC 得分權重maxlenratio/minlenratio為 0表示不限制生成長度比例。配套的 RNN LM 配置見 conf/train_lm.yaml兩層 LSTMnlayers: 2、unit: 650、SGD 優(yōu)化器、batch_type: folded、max_epoch: 20、以驗證集 loss 最小選模型。解碼評測時按 README 中的命名約定asr_model_valid.acc.ave表示取驗證 accuracy 最優(yōu)的多個模型參數(shù)平均lm_train_lm_jp_char_valid.loss.ave表示 LM 取驗證 loss 最優(yōu)模型。評測結果全景E-Branchformer vs Conformer vs Transformer vs RNNE-Branchformer本倉庫旗艦實驗44.24M 參數(shù)模型名asr_train_asr_e_branchformer_e16_conv15_raw_jp_char_sp訓練環(huán)境為 espnet 202301 / PyTorch 1.13.1評測指標為 CER字符錯誤率S.Err 為句子錯誤率datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_jp_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634989.38.42.21.111.885.2decode_transformer_lm_lm_train_lm_jp_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592888.29.62.21.113.088.0Conformerespnet 0.9.2 時代記錄README 的 conformer vs transformer results 一節(jié)記錄了三個歷史模型均基于 16k 音頻對應配置可見 conf/tuning/train_asr_conformer8.yaml12 層 Conformercnn_module_kernel15、macaron_style: true、activation_type: swish、pos_enc_layer_type: rel_posasr_train_asr_conformer8_raw_char_spconformerZenodo 存檔 4292742datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634989.28.62.21.112.085.2decode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592887.59.92.61.313.986.4asr_train_asr_conformer_raw_char_optim_conflr5_spconformerZenodo 存檔 4073045datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634987.410.32.41.414.088.8decode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592886.211.02.81.214.990.0asr_train_asr_transformer_raw_char_sptransformerZenodo 存檔 4073054datasetSntWrdCorrSubDelInsErrS.Errdecode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/dev250634985.811.03.21.615.891.2decode_transformer_lm_lm_train_lm_char_valid.loss.ave_asr_model_valid.acc.ave/eval1250592884.112.53.51.717.693.6對應純 Transformer 編碼器配置見 conf/tuning/train_asr_transformer.yaml 與 conf/train_asr_transformer.yaml。RNNespnet 0.6.0 時代基線asr_train_rnn_raw_char采用 RNN 編碼器的歷史基線README 同時給出 16k 與 48k 兩套結果。16k 結果CERS.Err 對應句子錯誤率datasetSntWrdCorrSubDelInsErrS.Errdecode_devdecode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250634983.412.54.11.518.195.2decode_eval1decode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250592882.513.54.01.719.195.248k 實驗需要顯式調(diào)整前端參數(shù)以匹配 48kHz 采樣率下的窗長與幀移保持 32ms 窗、8ms 幀移README 明確要求追加如下參數(shù)--asr_args --frontend_conf n_fft$(echo ${fs} | python -c print(int(0.032 * float(input())))) --frontend_conf hop_length$(echo ${fs} | python -c print(int(0.008 * float(input()))))即通過asr_args注入動態(tài)計算的n_fft與hop_length48kHz 時分別為 1536 與 384同時結合 run.sh 中--fs 48000時追加的--audio_format wav。48k 結果datasetSntWrdCorrSubDelInsErrS.Errdecode_devdecode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250634984.712.03.31.717.094.8decode_eval1decode_rnn_lm_valid.loss.best_asr_model_valid.acc.best250592883.513.13.41.618.094.8結果橫向?qū)Ρ扰c解讀以 eval1 的 CERErr 列縱向?qū)Ρ菶-Branchformer 13.0 conformer8 13.9 conformer(conflr5) 14.9 transformer 17.6 RNN-16k 19.1 RNN-48k 18.0。可歸納出三點結論均為倉庫 README 數(shù)據(jù)所支撐的客觀事實而非外部評價E-Branchformer 優(yōu)于同規(guī)模 Conformer在 JSUT 上16 層 E-Branchformer44.24M 參數(shù)相對 12 層 Conformer8 在 dev/eval1 上 CER 分別降低 0.2/0.9 個百分點驗證了增強合并模塊帶來的建模增益Conformer 優(yōu)于 Transformer相對位置編碼 卷積模塊的 Conformer 明顯勝過純 Transformereval1 上 13.9 vs 17.6RNN 基線差距顯著早期 RNN 模型 CER 在 17-19 區(qū)間48k 采樣率配合正確的窗長/幀移參數(shù)可小幅改善指標但整體仍遠遜于基于注意力的現(xiàn)代架構。需要注意這些歷史結果來自不同 ESPnet 版本0.6.0 / 0.9.2 / 202301與不同訓練配置環(huán)境差異日期、Python/PyTorch 版本、Git hash在 README 中均已注明直接橫向?qū)Ρ葧r應考慮配置與實現(xiàn)版本的差異。復現(xiàn)要點與擴展閱讀復現(xiàn) E-Branchformer 實驗只需在egs2/jsut/asr1目錄下將run.sh中的asr_config替換為conf/tuning/train_asr_e_branchformer_e16_conv15.yaml后執(zhí)行./run.sh數(shù)據(jù)可自動下載JSUTdownloads詞表采用 char 級別特征為 raw 波形 在線 Fbank。評測時使用 conf/decode_transformer.yaml 聯(lián)合 conf/train_lm.yaml 訓練的 LSTM LM 進行重打分最終以 CER 為指標在 dev/eval1各 250 句上評測。進一步深入編碼器實現(xiàn)espnet2/asr/encoder/e_branchformer_encoder.py雙分支與合并模塊、espnet2/asr/layers/cgmlp.py卷積門控 MLP其他 JSUT 相關配方egs2/jsut/tts1、egs2/jsut_song/svs1歌唱合成可參考同一數(shù)據(jù)準備腳本ESPnet2 通用訓練選項說明見 doc/espnet2_training_option.md結構化數(shù)據(jù)格式見 doc/espnet2_structured_data.md。贊分享人工智能語音音頻深度學習NLP【免費下載鏈接】espnetEnd-to-End Speech Processing Toolkit項目地址https://gitcode.com/gh_mirrors/es/espnet點擊查看免費下載相關推薦Eigent 安裝流程測試環(huán)境用 Mock 化 Electron API 與系統(tǒng)狀態(tài)端到端測試依賴安裝Eigent 安裝流程測試環(huán)境用 Mock 化 Electron API 與系統(tǒng)狀態(tài)端到端測試依賴安裝 Eigent 是開源的 Cowork 桌面應用Ele人工智能語音音頻深度學習NLPESPnet Fisher CallHome Spanish 語音識別實戰(zhàn)E-Branchformer 與 Conformer 配置、訓練與評測全解ESPnet Fisher CallHome Spanish 語音識別實戰(zhàn)E Branchformer 與 Conformer 配置、訓練與評測全解 本篇技術人工智能語音音頻深度學習NLPOdin 編譯期執(zhí)行CTE設計剖析解釋器內(nèi)存空間與編譯產(chǎn)物之間的類型安全邊界Odin 編譯期執(zhí)行CTE設計剖析解釋器內(nèi)存空間與編譯產(chǎn)物之間的類型安全邊界 導讀 編譯期執(zhí)行Compile Time ExecutionCTE是人工智能語音音頻深度學習NLP上一篇WarcraftHelper魔獸爭霸III現(xiàn)代優(yōu)化完整指南下一篇RepoDB連接持久性配置如何平衡性能與資源使用創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考