1. 項(xiàng)目介紹近期我們正式開(kāi)源了CRNDChinese Railway Number Dataset中國(guó)鐵路車(chē)號(hào)數(shù)據(jù)集。CRND 面向真實(shí)鐵路環(huán)境下的鐵路車(chē)號(hào)檢測(cè)與識(shí)別任務(wù)目前包含12,000 張真實(shí)鐵路場(chǎng)景圖像并提供人工字符級(jí)標(biāo)注。與主要關(guān)注清晰字符的數(shù)據(jù)集不同CRND 特別關(guān)注真實(shí)鐵路環(huán)境中經(jīng)常出現(xiàn)的字符缺失、遮擋、模糊等視覺(jué)退化問(wèn)題希望為鐵路車(chē)號(hào)識(shí)別、OCR、目標(biāo)檢測(cè)以及復(fù)雜退化場(chǎng)景下的魯棒視覺(jué)識(shí)別研究提供數(shù)據(jù)支持。GitHub 項(xiàng)目地址https://github.com/Zhaoqilin-502/CRND歡迎大家使用如果對(duì)你的研究有所幫助也歡迎 ? Star。2. 為什么構(gòu)建 CRND鐵路車(chē)輛車(chē)號(hào)是車(chē)輛身份的重要視覺(jué)信息實(shí)現(xiàn)鐵路車(chē)號(hào)的自動(dòng)檢測(cè)與識(shí)別對(duì)鐵路車(chē)輛智能化管理具有實(shí)際應(yīng)用價(jià)值。然而與標(biāo)準(zhǔn) OCR 場(chǎng)景不同真實(shí)鐵路環(huán)境中的車(chē)號(hào)識(shí)別存在許多復(fù)雜問(wèn)題。車(chē)輛經(jīng)過(guò)長(zhǎng)期運(yùn)行后車(chē)體表面的字符可能出現(xiàn)油漆脫落、局部缺失、污染或遮擋與此同時(shí)實(shí)際采集過(guò)程還可能受到運(yùn)動(dòng)、距離、光照以及成像質(zhì)量等因素影響產(chǎn)生不同程度的圖像模糊。因此在真實(shí)鐵路環(huán)境中我們面對(duì)的往往并不是“如何識(shí)別一個(gè)清晰的字符”而是“當(dāng)字符已經(jīng)發(fā)生缺失、遮擋或模糊時(shí)模型還能否正確識(shí)別”這也是我們構(gòu)建 CRND 的主要原因。我們希望通過(guò)真實(shí)鐵路場(chǎng)景數(shù)據(jù)為復(fù)雜環(huán)境下鐵路車(chē)號(hào)檢測(cè)與識(shí)別提供一個(gè)更加貼近實(shí)際應(yīng)用的數(shù)據(jù)基礎(chǔ)。3. CRND 數(shù)據(jù)集概覽CRND 數(shù)據(jù)采集自真實(shí)鐵路場(chǎng)景目前數(shù)據(jù)規(guī)模已經(jīng)超過(guò)12,000 張圖像。數(shù)據(jù)集中的鐵路車(chē)號(hào)字符均進(jìn)行了人工標(biāo)注并根據(jù)真實(shí)場(chǎng)景中字符及圖像的視覺(jué)狀態(tài)進(jìn)一步進(jìn)行了分類(lèi)。目前主要包含以下類(lèi)別數(shù)據(jù)類(lèi)別圖像數(shù)量Clear5200Normal3700Missing390Obscured340Blur2300CRND-Complex259這些類(lèi)別覆蓋了從相對(duì)清晰的鐵路車(chē)號(hào)到字符缺失、遮擋、圖像模糊以及更加復(fù)雜的實(shí)際場(chǎng)景。4. 真實(shí)鐵路場(chǎng)景中的字符退化CRND 的一個(gè)重要特點(diǎn)是保留了真實(shí)鐵路環(huán)境中的不同視覺(jué)退化情況。4.1 ClearClear 主要包含視覺(jué)質(zhì)量較好、字符結(jié)構(gòu)相對(duì)完整、易于觀察和識(shí)別的鐵路車(chē)號(hào)圖像。這類(lèi)數(shù)據(jù)可以作為鐵路車(chē)號(hào)檢測(cè)和識(shí)別任務(wù)中的基礎(chǔ)數(shù)據(jù)。4.2 NormalNormal 對(duì)應(yīng)一般真實(shí)鐵路場(chǎng)景中的車(chē)號(hào)圖像。相比理想條件下的清晰字符這類(lèi)數(shù)據(jù)更加接近鐵路實(shí)際運(yùn)行環(huán)境中的常規(guī)狀態(tài)。4.3 MissingMissing 主要包含存在明顯字符結(jié)構(gòu)缺失的樣本。例如由于長(zhǎng)期運(yùn)行、車(chē)體表面老化或油漆脫落等原因字符的部分筆畫(huà)可能已經(jīng)消失。這種情況下即使人眼仍然可以根據(jù)剩余結(jié)構(gòu)判斷字符類(lèi)別對(duì)于視覺(jué)識(shí)別模型來(lái)說(shuō)也可能產(chǎn)生較大的挑戰(zhàn)。4.4 ObscuredObscured 主要包含字符受到污染、其他物體或復(fù)雜背景影響而發(fā)生局部遮擋的情況。與 Missing 不同字符本身可能仍然存在但部分視覺(jué)信息無(wú)法被攝像設(shè)備正常觀察。4.5 BlurBlur 主要包含不同程度的模糊圖像。在鐵路實(shí)際采集環(huán)境中由于車(chē)輛運(yùn)動(dòng)、拍攝距離以及成像條件等因素圖像模糊是一個(gè)非常常見(jiàn)的問(wèn)題。因此我們單獨(dú)整理了這部分?jǐn)?shù)據(jù)用于研究模型在低質(zhì)量成像條件下的識(shí)別能力。5. CRND-Complex更加復(fù)雜的真實(shí)場(chǎng)景除了上述類(lèi)別之外我們進(jìn)一步整理了CRND-Complex。目前 CRND-Complex 包含259 張圖像。這部分?jǐn)?shù)據(jù)主要面向更加復(fù)雜的鐵路車(chē)號(hào)識(shí)別場(chǎng)景。實(shí)際環(huán)境中的視覺(jué)問(wèn)題往往并不是單獨(dú)存在的例如一個(gè)字符可能同時(shí)受到字符結(jié)構(gòu)缺失污染或遮擋圖像模糊復(fù)雜背景成像質(zhì)量下降等多種因素影響。因此CRND-Complex 希望進(jìn)一步測(cè)試算法面對(duì)復(fù)雜真實(shí)環(huán)境時(shí)的魯棒性。6. 數(shù)據(jù)標(biāo)注格式CRND 提供人工標(biāo)注數(shù)據(jù)標(biāo)注文件采用YOLO 格式。每個(gè)字符對(duì)應(yīng)類(lèi)別 ID Bounding Box例如2 0.772577 0.554206 0.0903717 0.218302即class_id x_center y_center width height其中 Bounding Box 坐標(biāo)已經(jīng)根據(jù)圖像尺寸進(jìn)行歸一化。因此CRND 可以比較方便地用于 YOLO 等目標(biāo)檢測(cè)框架也可以根據(jù)具體研究任務(wù)進(jìn)一步轉(zhuǎn)換成其他數(shù)據(jù)格式。7. 字符類(lèi)別目前 CRND 共包含23 個(gè)字符類(lèi)別。包括數(shù)字以及鐵路車(chē)號(hào)中出現(xiàn)的相關(guān)字母字符1 2 3 4 5 6 7 8 9 C E A K H N B T P Q L G Z類(lèi)別按照上述順序從0開(kāi)始編碼。例如最后一個(gè)字符Z → class 22具體類(lèi)別定義及數(shù)據(jù)組織方式可以參考 GitHub 項(xiàng)目的 README。8. CRND 可以用于哪些研究CRND 最初主要面向鐵路車(chē)號(hào)檢測(cè)與識(shí)別但由于其中包含大量真實(shí)場(chǎng)景及不同類(lèi)型的字符退化數(shù)據(jù)因此也可以用于其他相關(guān)計(jì)算機(jī)視覺(jué)研究例如鐵路車(chē)號(hào)檢測(cè)鐵路車(chē)號(hào)識(shí)別OCR字符檢測(cè)與識(shí)別目標(biāo)檢測(cè)模糊字符識(shí)別缺失字符識(shí)別遮擋字符識(shí)別圖像退化分析魯棒視覺(jué)識(shí)別復(fù)雜真實(shí)場(chǎng)景 OCR我們也希望 CRND 能夠?yàn)殍F路視覺(jué)以及復(fù)雜退化條件下的字符識(shí)別研究提供更多真實(shí)數(shù)據(jù)支持。9. MMGA 鐵路車(chē)號(hào)識(shí)別項(xiàng)目除了 CRND 數(shù)據(jù)集之外我們也在持續(xù)完善相關(guān)的鐵路車(chē)號(hào)識(shí)別項(xiàng)目MMGA。目前 MMGA 的相關(guān)源代碼已經(jīng)開(kāi)放。后續(xù)還會(huì)進(jìn)一步整理和完善完整的訓(xùn)練、測(cè)試以及一鍵運(yùn)行流程。因此CRND 不僅可以作為一個(gè)獨(dú)立數(shù)據(jù)集使用也可以結(jié)合后續(xù)開(kāi)放的鐵路車(chē)號(hào)識(shí)別模型開(kāi)展相關(guān)實(shí)驗(yàn)。10. 數(shù)據(jù)集獲取CRND 的數(shù)據(jù)下載地址、數(shù)據(jù)申請(qǐng)方式以及最新更新情況均可以在 GitHub 項(xiàng)目中查看。GitHubCRNDChinese Railway Number Datasethttps://github.com/Zhaoqilin-502/CRND部分?jǐn)?shù)據(jù)需要按照 README 中的說(shuō)明填寫(xiě)數(shù)據(jù)申請(qǐng)登記完成申請(qǐng)后獲取對(duì)應(yīng)的數(shù)據(jù)。建議直接關(guān)注 GitHub 倉(cāng)庫(kù)以獲取后續(xù)數(shù)據(jù)集及代碼更新。11. 后續(xù)更新CRND 目前仍在持續(xù)維護(hù)中。后續(xù)我們計(jì)劃進(jìn)一步完善CRND 數(shù)據(jù)集規(guī)模更復(fù)雜的真實(shí)鐵路場(chǎng)景CRND-Complex數(shù)據(jù)集使用說(shuō)明MMGA 完整訓(xùn)練與測(cè)試流程鐵路車(chē)號(hào)識(shí)別相關(guān)模型與實(shí)驗(yàn)如果大家在數(shù)據(jù)使用過(guò)程中遇到問(wèn)題也歡迎通過(guò) GitHub Issue 與我們交流。12. 結(jié)語(yǔ)真實(shí)環(huán)境中的 OCR 并不只是識(shí)別“清晰字符”。對(duì)于鐵路車(chē)號(hào)而言缺失、遮擋、模糊以及多種視覺(jué)退化共同存在才是實(shí)際應(yīng)用中需要面對(duì)的問(wèn)題。CRND 希望從真實(shí)鐵路場(chǎng)景出發(fā)為鐵路車(chē)號(hào)檢測(cè)與識(shí)別以及復(fù)雜退化條件下的魯棒視覺(jué)識(shí)別研究提供一個(gè)開(kāi)放的數(shù)據(jù)基礎(chǔ)。如果 CRND 對(duì)你的研究或項(xiàng)目有所幫助歡迎在 GitHub 上給我們一個(gè) ?Star。項(xiàng)目地址https://github.com/Zhaoqilin-502/CRND也歡迎從事OCR、計(jì)算機(jī)視覺(jué)、鐵路視覺(jué)、目標(biāo)檢測(cè)以及圖像退化研究的朋友一起交流。