調(diào)車三分鐘找問(wèn)題三小時(shí)。這是智能車競(jìng)賽里流傳很廣的一句話。如果你做過(guò)室外視覺(jué)組體會(huì)會(huì)更深早上調(diào)的閾值中午就失效晴天能跑通的邊線提取一到陰影里就丟線你以為攝像頭拍出來(lái)的畫面和電腦屏幕一樣實(shí)際上車一跑起來(lái)曝光、抖動(dòng)、反光全都在跟你作對(duì)。第二十一屆全國(guó)大學(xué)生智能車競(jìng)賽的輪腿組正好把這些難題疊在了同一個(gè)平臺(tái)上。輪腿結(jié)構(gòu)讓整車重心、姿態(tài)和過(guò)彎動(dòng)態(tài)都比傳統(tǒng)四輪更復(fù)雜室外環(huán)境又讓視覺(jué)算法沒(méi)有“溫室”。這篇文章要分享的是一套拿到全國(guó)一等獎(jiǎng)的輪腿室外視覺(jué)方案。它最大的特點(diǎn)不是用了多么高深的算法而是把“室外視覺(jué)如何穩(wěn)定、可復(fù)現(xiàn)、不靠玄學(xué)”這件事想清楚了。如果你也是輪腿組、室外視覺(jué)組或者正在準(zhǔn)備下一屆競(jìng)賽這篇文章值得讀完。我會(huì)從方案取舍、系統(tǒng)架構(gòu)、圖像處理流程、嵌入式代碼、調(diào)參排錯(cuò)一路講下來(lái)盡量把每個(gè)決定背后的原因也講清楚而不是只丟給你一份能跑但看不懂的代碼。1. 這套開(kāi)源方案真正要解決的問(wèn)題1.1 輪腿組的難點(diǎn)不只在于機(jī)械輪腿組和傳統(tǒng)四輪組最大的不同是驅(qū)動(dòng)結(jié)構(gòu)中有“腿”的存在。輪腿結(jié)構(gòu)帶來(lái)的直接好處是能夠在一定范圍內(nèi)調(diào)節(jié)車身高度和姿態(tài)面對(duì)賽道坡道、顛簸和低速越障有更好的適應(yīng)性但代價(jià)是控制模型變復(fù)雜整車重心會(huì)動(dòng)態(tài)變化轉(zhuǎn)向時(shí)容易因?yàn)樽藨B(tài)調(diào)整產(chǎn)生額外的偏擺。從視覺(jué)角度說(shuō)這意味著攝像頭不是固定在一個(gè)靜止平面上而是會(huì)隨著車身姿態(tài)上下起伏。姿態(tài)變化會(huì)讓同一段賽道在圖像中的出現(xiàn)位置發(fā)生偏移如果程序里寫死了“賽道起始行在第 40 行”姿態(tài)一變就可能從圖像底部沖出視野。很多第一次做輪腿的隊(duì)機(jī)械上能跑但是視覺(jué)老是飄本質(zhì)是沒(méi)把姿態(tài)變化對(duì)圖像的影響納入算法設(shè)計(jì)。1.2 室外視覺(jué)真正讓人頭疼的是光照室內(nèi)組的亮度和背景相對(duì)可控打光均勻、地面顏色穩(wěn)定灰度閾值一旦確定可以很久不用改。但室外組每天面對(duì)的是動(dòng)態(tài)光照早上太陽(yáng)斜射地面一半亮一半暗中午頂光強(qiáng)賽道邊緣反光嚴(yán)重下午樹(shù)影、樓影、裁判和觀眾的影子都會(huì)闖進(jìn)畫面。這些場(chǎng)景單獨(dú)拿出一個(gè)都不難處理難的是它們交替出現(xiàn)而車在高速運(yùn)行時(shí)不可能讓選手手動(dòng)切閾值。所以室外視覺(jué)方案的核心不是某個(gè)算法多先進(jìn)而是整個(gè)圖像處理鏈路在光照變化下是否足夠魯棒。本方案把大量精力放在“自適應(yīng)”和“降依賴”上也就是讓算法盡量少依賴固定閾值、固定行范圍和固定特征。1.3 獵奇方案到底“奇”在哪這里說(shuō)明一下“獵奇”這個(gè)名字。它不是指用了什么違規(guī)或花哨的硬件而是指在技術(shù)路線上沒(méi)有跟著“高算力、大模型、復(fù)雜深度學(xué)習(xí)”的方向走。從實(shí)際競(jìng)賽來(lái)看很多隊(duì)伍在室外視覺(jué)上越做越重但嵌入式平臺(tái)的算力和功耗有限算法再?gòu)?fù)雜如果單幀處理時(shí)間太長(zhǎng)實(shí)車控制就受影響。這套獵奇方案的核心判斷是與其追逐復(fù)雜模型不如把經(jīng)典圖像處理做到足夠穩(wěn)用“樸素但可控”的方式解決室外光照問(wèn)題。它看起來(lái)沒(méi)有某些方案那么高大上但在工程上更可復(fù)現(xiàn)、更好調(diào)、更省算力也更適合作為開(kāi)源項(xiàng)目讓后來(lái)者快速上手。2. 輪腿車與室外視覺(jué)的基礎(chǔ)認(rèn)知2.1 輪腿車是什么輪腿車可以理解為“輪式驅(qū)動(dòng) 腿部調(diào)節(jié)”的復(fù)合結(jié)構(gòu)。它既能像普通小車一樣高速行駛又能在需要時(shí)改變車身高度或姿態(tài)。這里說(shuō)的“腿部”不一定是仿生腿更多是一種可調(diào)節(jié)的懸掛或聯(lián)動(dòng)結(jié)構(gòu)。因?yàn)榻Y(jié)構(gòu)特殊輪腿車的機(jī)械重心、懸掛剛度、姿態(tài)控制都會(huì)影響整車穩(wěn)定性。對(duì)視覺(jué)算法工程師來(lái)說(shuō)不必陷入機(jī)械細(xì)節(jié)但一定要理解一點(diǎn)攝像頭隨車體運(yùn)動(dòng)圖像不是靜止的。視覺(jué)程序需要預(yù)留“姿態(tài)變化余量”比如不把感興趣區(qū)域ROI卡得太死不依賴某一行的絕對(duì)坐標(biāo)而是用連續(xù)行的相對(duì)關(guān)系做判斷。2.2 視覺(jué)系統(tǒng)在智能車中的角色智能車視覺(jué)系統(tǒng)本質(zhì)上是一個(gè)實(shí)時(shí)感知單元。它的任務(wù)是從一幀圖像里找到“車在哪、賽道在哪、前面是什么元素、該往哪走”然后把結(jié)果轉(zhuǎn)成控制指令。完整鏈路大致是圖像采集 - 圖像預(yù)處理 - 賽道特征提取 - 元素識(shí)別 - 狀態(tài)決策 - 速度/轉(zhuǎn)向控制在室外環(huán)境下圖像采集之后的每一步都可能受光照影響。很多隊(duì)伍只優(yōu)化了某一環(huán)比如把二值化閾值調(diào)得很準(zhǔn)但忽略了前面的灰度化、后面的狀態(tài)機(jī)結(jié)果一到比賽現(xiàn)場(chǎng)就崩。真正穩(wěn)定的方案強(qiáng)調(diào)的是“鏈路整體魯棒”而不是某個(gè)單點(diǎn)最優(yōu)。2.3 室內(nèi)視覺(jué)與室外視覺(jué)的核心差異對(duì)比維度室內(nèi)視覺(jué)室外視覺(jué)光照變化相對(duì)穩(wěn)定光源固定太陽(yáng)角度、陰影、反光隨時(shí)變化背景復(fù)雜度場(chǎng)地較干凈顏色單一地面紋理、落葉、輪胎痕、裂縫干擾曝光控制可用固定曝光需要自動(dòng)曝光或快速適應(yīng)閾值策略固定閾值基本夠用需要自適應(yīng)閾值或動(dòng)態(tài)調(diào)整算法容錯(cuò)允許部分誤判必須對(duì)丟線和誤檢有兜底策略調(diào)試方式室內(nèi)隨時(shí)復(fù)現(xiàn)只能等天氣、等時(shí)段難復(fù)現(xiàn)這張表可以直接拿去做團(tuán)隊(duì)分工室內(nèi)組可以更多把精力放在路徑規(guī)劃復(fù)雜度上室外組則應(yīng)該先把“圖像魯棒性”練好。2.4 開(kāi)源項(xiàng)目想帶給后來(lái)者什么開(kāi)源這套方案的出發(fā)點(diǎn)很簡(jiǎn)單讓室外視覺(jué)不再成為勸退項(xiàng)。很多隊(duì)伍不是沒(méi)有算法能力而是卡在“不知道從哪開(kāi)始調(diào)”。開(kāi)源倉(cāng)庫(kù)里把圖像處理流程、狀態(tài)機(jī)、調(diào)參日志、驗(yàn)證腳本都整理出來(lái)后來(lái)者可以先用一套能跑的基線代碼跑通再根據(jù)自己的賽道和車輛結(jié)構(gòu)做修改。同時(shí)也要說(shuō)清楚開(kāi)源不是“復(fù)制粘貼就能贏”。它提供的是一套經(jīng)過(guò)驗(yàn)證的思維方式和代碼骨架真正的賽道元素、機(jī)械參數(shù)、攝像頭安裝角度每個(gè)隊(duì)伍都不一樣。復(fù)現(xiàn)的第一步是讓代碼在你的板子上跑起來(lái)第二步是建立自己的數(shù)據(jù)集和調(diào)參記錄。3. 系統(tǒng)架構(gòu)與視覺(jué)處理鏈路3.1 整體架構(gòu)從拿到一塊板子開(kāi)始就要對(duì)整套系統(tǒng)有一個(gè)全局認(rèn)識(shí)。這里不限定具體芯片型號(hào)因?yàn)椴煌瑢W(xué)校用的主控不同但架構(gòu)基本一致。圖像采集端攝像頭采集賽道圖像輸出到主控。預(yù)處理端把原始圖像轉(zhuǎn)成灰度圖做感興趣區(qū)域裁剪再做二值化。特征提取端從二值圖上找左右邊線計(jì)算中線、丟線狀態(tài)、曲率。元素識(shí)別端根據(jù)特征判斷當(dāng)前進(jìn)入什么元素比如十字、環(huán)島、坡道、停車區(qū)。決策控制端根據(jù)元素狀態(tài)和速度需求輸出轉(zhuǎn)向 PWM 和電機(jī)轉(zhuǎn)速。每個(gè)環(huán)節(jié)之間的數(shù)據(jù)流要盡量簡(jiǎn)單、類型固定。實(shí)際調(diào)車時(shí)最怕的是“數(shù)據(jù)流說(shuō)不清”比如單片機(jī)里圖像格式一會(huì)兒是 BGR 一會(huì)兒是灰度邊線一會(huì)兒用浮點(diǎn)一會(huì)兒用整型一旦出問(wèn)題很難排查。建議從第一天就統(tǒng)一數(shù)據(jù)類型和命名。3.2 從攝像頭到控制器的關(guān)鍵路徑室外視覺(jué)方案中最關(guān)鍵的路徑是“圖像幀率、處理時(shí)間、控制周期”三者之間的匹配。攝像頭輸出一幀圖像后主控必須在嚴(yán)格時(shí)間內(nèi)完成處理否則控制指令會(huì)滯后。一個(gè)常見(jiàn)的工程做法是圖像處理使用中斷或?qū)ｉT的任務(wù)控制主循環(huán)只讀取最新結(jié)果。這樣即使某一幀處理超時(shí)控制也能用上一幀結(jié)果兜底避免車子因?yàn)橐淮慰D瞬間失控。這里不要求你馬上實(shí)現(xiàn)實(shí)時(shí)操作系統(tǒng)先做到“處理任務(wù)與控制任務(wù)分離”就夠了。3.3 為什么要先離線再做實(shí)車很多隊(duì)伍一上來(lái)就把攝像頭接到車上看實(shí)時(shí)畫面邊看邊改參數(shù)。這種方式的缺點(diǎn)是實(shí)車畫面不穩(wěn)定經(jīng)常找不到復(fù)現(xiàn)路徑。比如這次失敗是因?yàn)槟婀庀麓问】赡芤驗(yàn)殛幱皟烧呖雌饋?lái)都像“圖像不對(duì)”但修法完全不同。建議的做法是先錄制多段賽道視頻在電腦上用離線腳本批量處理反復(fù)調(diào)整算法直到大部分幀都能穩(wěn)定提取中線。離線能通過(guò)的幀越多實(shí)車調(diào)參的壓力就越小。這套開(kāi)源方案也提供了離線驗(yàn)證腳本目的就是讓你在動(dòng)手調(diào)硬件之前先驗(yàn)證算法邏輯。4. 開(kāi)發(fā)環(huán)境與工程目錄4.1 開(kāi)發(fā)工具鏈準(zhǔn)備智能車工程一般分為嵌入式端和離線端兩部分。嵌入式端使用交叉編譯工具鏈離線端使用 Python 等腳本語(yǔ)言做算法驗(yàn)證。環(huán)境準(zhǔn)備時(shí)以下幾項(xiàng)必不可少嵌入式交叉編譯環(huán)境用于編譯單片機(jī)工程具體工具鏈取決于主控型號(hào)版本以實(shí)際芯片廠商提供為準(zhǔn)。OpenCV 環(huán)境用于離線圖像處理驗(yàn)證。安裝后在 Python 里執(zhí)行import cv2能成功即可。串口調(diào)試工具用于查看單片機(jī)輸出日志和圖像數(shù)據(jù)。錄屏或圖像采集工具用于保存實(shí)車畫面建立屬于自己的數(shù)據(jù)集。Git 版本管理用于管理代碼和調(diào)參記錄。需要說(shuō)明的是本文不綁定某款主控原因是不同學(xué)校在組隊(duì)時(shí)會(huì)選擇不同平臺(tái)。你要做的是把“通用處理流程”遷移到自己板子上而不是照搬某個(gè)工程的絕對(duì)路徑。4.2 參賽工程目錄的建議一個(gè)容易維護(hù)的工程目錄大概是這樣的project_root/ |-- doc/ # 技術(shù)文檔、規(guī)則筆記、調(diào)參記錄 |-- dataset/ # 錄制好的賽道視頻和圖像幀 |-- scripts/ # 離線驗(yàn)證腳本 |-- src/ # 嵌入式端源碼 | |-- modules/ | | |-- camera/ # 攝像頭驅(qū)動(dòng)與圖像采集 | | |-- image/ # 灰度、二值化、邊線提取 | | -- control/ # 狀態(tài)機(jī)、PID控制 | -- main.c |-- tools/ # 圖像回放、串口查看等輔助工具 -- README.md保持目錄清晰的收益在比賽后期特別明顯。到?jīng)_刺階段隊(duì)伍可能同時(shí)改圖像、控制、機(jī)械三個(gè)部分如果代碼全堆在一個(gè)文件里合并和調(diào)試都會(huì)非常痛苦。4.3 建立自己的調(diào)試數(shù)據(jù)集開(kāi)源再完整也不如自己錄制的賽道視頻有價(jià)值。建議每次去場(chǎng)地訓(xùn)練時(shí)都用固定方式錄制一段視頻并且記錄當(dāng)時(shí)的天氣、時(shí)段、光照方向、賽道元素。時(shí)間長(zhǎng)了你會(huì)發(fā)現(xiàn)很多“偶發(fā)問(wèn)題”其實(shí)有明確誘因只是之前缺少記錄。錄制視頻時(shí)不一定要用高幀率相機(jī)普通分辨率、能看清賽道就行。關(guān)鍵是角度要盡量貼近攝像頭安裝位置讓離線處理的效果更接近實(shí)車效果。5. 室外視覺(jué)識(shí)別的核心流程拆解5.1 圖像采集與感興趣區(qū)域設(shè)計(jì)攝像頭采集到的原始圖像是彩色圖。在室內(nèi)直接轉(zhuǎn)灰度通常夠用在室外顏色信息有時(shí)反而有用比如某些賽道元素有明確的顏色標(biāo)識(shí)。但彩色處理計(jì)算量更大所以本方案默認(rèn)先把彩色圖轉(zhuǎn)成灰度圖只在需要特定顏色元素時(shí)再單獨(dú)提取通道。感興趣區(qū)域Region of InterestROI設(shè)置要留余量不要只截取“理想狀態(tài)下賽道所在區(qū)域”。室外車體姿態(tài)變化大劇烈顛簸時(shí)賽道可能在圖像中上下移動(dòng)。ROI 設(shè)置得過(guò)窄顛簸一下就會(huì)丟線。更穩(wěn)妥的做法是頂部去掉天空和遠(yuǎn)處雜景底部保留足夠近場(chǎng)信息左右保留一定范圍。5.2 灰度圖與自適應(yīng)二值化賽道灰度處理是室外視覺(jué)的基礎(chǔ)也是最容易翻車的地方。室內(nèi)用固定閾值二值圖像 灰度值 閾值 ? 白色 : 黑色就能把賽道路面和白線區(qū)分開(kāi)。但室外光照一變同一個(gè)閾值在早中晚的表現(xiàn)完全不同。自適應(yīng)二值化的思路是不全局用一個(gè)固定閾值而是對(duì)圖像分塊或者根據(jù)整幀亮度動(dòng)態(tài)計(jì)算閾值。常見(jiàn)方法有大津法Otsu、局部均值、局部高斯等。競(jìng)賽中不必追求特別復(fù)雜的算法關(guān)鍵是加入“動(dòng)態(tài)”兩個(gè)字讓閾值跟隨整幀平均亮度變化就能解決大部分光照跳變問(wèn)題。這里需要提醒的是自適應(yīng)閾值不是萬(wàn)能的。當(dāng)賽道上同時(shí)存在大面積陰影和強(qiáng)反光時(shí)任何單閾值策略都會(huì)誤判。所以二值化之后還要有“形態(tài)學(xué)處理”比如開(kāi)運(yùn)算去掉毛刺、閉運(yùn)算填平斷裂這類操作計(jì)算量小但對(duì)邊線穩(wěn)定性提升非常明顯。5.3 賽道邊線與中線提取二值化之后圖像被分成“賽道區(qū)域”和“背景區(qū)域”。接下來(lái)要做的就是從每一行掃描中找出左右邊線再計(jì)算中線。這套流程在室內(nèi)外是通用的但室外版本要做三件事逐行從下往上掃描優(yōu)先相信圖像底部的近場(chǎng)數(shù)據(jù)。某一行找不到邊線時(shí)不要立刻置為錯(cuò)誤而是根據(jù)相鄰行趨勢(shì)做插值或維持上一幀估計(jì)。邊線突變超過(guò)合理范圍時(shí)視為異常避免因?yàn)閱涡性肼晫?dǎo)致控制跳變。下面是一個(gè)簡(jiǎn)化的邊線與中線提取思路for each row in image: 從左右兩側(cè)向中間掃描找到第一個(gè)跳變點(diǎn)做為 left/right 如果 left 和 right 都有效 mid (left right) / 2 否則 標(biāo)記該行丟線這段邏輯在代碼實(shí)現(xiàn)上非?？爝m合嵌入式平臺(tái)。把它做穩(wěn)之后賽道的曲率、偏移量都有了控制量也就不難算了。5.4 賽道元素識(shí)別與狀態(tài)機(jī)如果把邊線提取看成“看得見(jiàn)”元素識(shí)別就是“看得懂”。智能車賽道里常見(jiàn)的元素包括十字、環(huán)島、坡道、障礙、停車區(qū)等。室外視覺(jué)下元素識(shí)別不能只靠某一個(gè)特征而是要用“連續(xù)多幀的狀態(tài)積累”來(lái)判斷。比如進(jìn)入環(huán)島前圖像特征會(huì)持續(xù)多幀呈現(xiàn)同一種變化趨勢(shì)等到累計(jì)次數(shù)超過(guò)閾值再確認(rèn)進(jìn)入該元素。這里最推薦用狀態(tài)機(jī)管理。狀態(tài)機(jī)的本質(zhì)是把復(fù)雜的賽道看成一系列離散狀態(tài)的切換直道、彎道、十字、環(huán)島、坡道。每個(gè)狀態(tài)對(duì)應(yīng)一組參數(shù)和控制策略。狀態(tài)機(jī)的優(yōu)點(diǎn)是好調(diào)、好調(diào)試、好回退某個(gè)元素識(shí)別錯(cuò)了只需要檢查狀態(tài)遷移條件而不是在一個(gè)巨大分支里翻代碼。5.5 從視覺(jué)結(jié)果到控制策略視覺(jué)模塊輸出的是中線偏移、曲率、元素狀態(tài)控制模塊根據(jù)這些值計(jì)算轉(zhuǎn)向和速度。室外視覺(jué)方案在控制上要特別注意“平滑”和“限幅”。因?yàn)槭彝赓惖滥Σ痢⒌匦我恢滦圆蝗缡覂?nèi)突然的轉(zhuǎn)向或加速很容易打破輪腿車的姿態(tài)平衡。推薦的策略是給轉(zhuǎn)向控制量和速度控制量都加上變化率限制讓執(zhí)行機(jī)構(gòu)平滑過(guò)渡。同時(shí)速度要與當(dāng)前元素狀態(tài)解耦比如進(jìn)入坡道前要提前減速出十字后要限制加速。這些邏輯雖然看起來(lái)基礎(chǔ)但在實(shí)際比賽中很多事故不是識(shí)別錯(cuò)而是狀態(tài)切換瞬間給控制量進(jìn)了階躍。6. 完整示例代碼與實(shí)現(xiàn)解讀6.1 離線圖像預(yù)處理驗(yàn)證腳本先給一個(gè) Python 離線驗(yàn)證腳本。它的作用是從錄制的視頻中讀取圖像幀完成灰度轉(zhuǎn)換、自適應(yīng)二值化、形態(tài)學(xué)處理和邊線提取然后在圖像上繪制結(jié)果幫助我們快速驗(yàn)證算法是否合理。# file: scripts/offline_vision.py import cv2 import numpy as np def process_frame(frame): # 1. 轉(zhuǎn)灰度 gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 2. 感興趣區(qū)域裁剪保留近場(chǎng)和中間區(qū)域 h, w gray.shape roi gray[int(h * 0.3):h, :] # 3. 自適應(yīng)二值化blockSize 和 C 需要根據(jù)實(shí)際畫面調(diào)整 binary cv2.adaptiveThreshold( roi, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY_INV, blockSize15, C10 ) # 4. 形態(tài)學(xué)處理先開(kāi)運(yùn)算去毛刺再閉運(yùn)算填斷裂 kernel np.ones((3, 3), np.uint8) binary cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) binary cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel) return roi, binary def find_midline(binary): h, w binary.shape midline np.full(h, -1, dtypenp.int16) left_edges np.full(h, -1, dtypenp.int16) right_edges np.full(h, -1, dtypenp.int16) for row in range(h - 1, -1, -1): cols np.where(binary[row] 255)[0] if cols.size 0: left cols[0] right cols[-1] left_edges[row] left right_edges[row] right midline[row] (left right) // 2 # 如果沒(méi)有找到邊線該行保持 -1表示丟線 return midline, left_edges, right_edges if __name__ __main__: cap cv2.VideoCapture(dataset/outdoor_run.avi) while True: ret, frame cap.read() if not ret: break roi, binary process_frame(frame) midline, left_edges, right_edges find_midline(binary) # 把結(jié)果畫回原圖 if roi is not None and roi.size 0: h, w roi.shape[:2] for row in range(h): if midline[row] 0: cv2.circle(roi, (int(midline[row]), row), 1, (0, 0, 255), -1) cv2.imshow(binary, binary) cv2.imshow(roi_midline, roi) key cv2.waitKey(30) if key ord(q): break cap.release() cv2.destroyAllWindows()這段腳本的關(guān)鍵在于先把圖像處理流程在電腦上跑通再移植到嵌入式端。adaptiveThreshold的參數(shù)blockSize和C直接影響效果不同光照下可能需要調(diào)整。建議在腳本里增加一個(gè)滑動(dòng)條實(shí)時(shí)觀察不同參數(shù)的效果。6.2 嵌入式端灰度二值與中線提取把離線腳本驗(yàn)證通過(guò)之后在嵌入式端用 C 語(yǔ)言實(shí)現(xiàn)同樣的邏輯。這里給出一個(gè)精簡(jiǎn)版本聚焦核心思想不依賴具體芯片庫(kù)。// file: src/modules/image/line_finder.c #include stdint.h #define IMG_H 120 #define IMG_W 188 #define PIXEL_WHITE 1 #define PIXEL_BLACK 0 extern uint8_t gray_image[IMG_H][IMG_W]; static uint8_t binary_image[IMG_H][IMG_W]; int16_t midline[IMG_H]; int16_t left_edge[IMG_H]; int16_t right_edge[IMG_H]; void adaptive_binarize(int32_t offset) { // 簡(jiǎn)化版動(dòng)態(tài)閾值根據(jù)全圖平均灰度生成一個(gè)基礎(chǔ)閾值 int32_t sum 0; for (int row 0; row IMG_H; row) { for (int col 0; col IMG_W; col) { sum gray_image[row][col]; } } int32_t avg sum / (IMG_H * IMG_W); int32_t threshold avg - offset; // offset 需要標(biāo)定 for (int row 0; row IMG_H; row) { for (int col 0; col IMG_W; col) { binary_image[row][col] (gray_image[row][col] threshold) ? PIXEL_WHITE : PIXEL_BLACK; } } } void extract_line(void) { for (int row IMG_H - 1; row 0; row--) { int left -1; int right -1; // 從左側(cè)掃描白色跳變 for (int col 0; col IMG_W; col) { if (binary_image[row][col] PIXEL_WHITE) { left col; break; } } // 從右側(cè)掃描白色跳變 for (int col IMG_W - 1; col 0; col--) { if (binary_image[row][col] PIXEL_WHITE) { right col; break; } } left_edge[row] left; right_edge[row] right; if (left 0 right 0) { midline[row] (left right) / 2; } else { // 丟線可結(jié)合上一幀做插值這里先置 -1 midline[row] -1; } } }這段代碼里offset是全圖平均亮度與賽道邊緣亮度的經(jīng)驗(yàn)差值需要在實(shí)際場(chǎng)地上標(biāo)定。不要在代碼里寫死一個(gè)到處通用的常數(shù)這是室外視覺(jué)最容易犯的錯(cuò)誤。6.3 賽道元素狀態(tài)機(jī)狀態(tài)機(jī)建議用枚舉 遷移表實(shí)現(xiàn)不要寫成一長(zhǎng)串if-else。下面是一個(gè)可擴(kuò)展的簡(jiǎn)化示意。其中is_curve_detected()由邊線曲率計(jì)算模塊提供實(shí)際實(shí)現(xiàn)時(shí)應(yīng)根據(jù)連續(xù)多行的邊線斜率變化來(lái)判斷。// file: src/modules/control/state_machine.c typedef enum { ST_INIT 0, ST_STRAIGHT, ST_CURVE, ST_CROSS, ST_RAMP, ST_PARKING } car_state_t; car_state_t current_state ST_INIT; typedef struct { car_state_t state; int confirm_count; } state_candidate_t; static state_candidate_t candidate; void state_machine_reset(void) { current_state ST_INIT; candidate.state ST_INIT; candidate.confirm_count 0; } void update_state_from_vision(int has_cross, int has_ramp, int has_parking) { car_state_t next current_state; if (has_parking) { next ST_PARKING; } else if (has_ramp) { next ST_RAMP; } else if (has_cross) { next ST_CROSS; } else if (is_curve_detected()) { next ST_CURVE; } else { next ST_STRAIGHT; } // 連續(xù)確認(rèn)機(jī)制避免單幀誤判導(dǎo)致?tīng)顟B(tài)跳變 if (next candidate.state) { candidate.confirm_count; } else { candidate.state next; candidate.confirm_count 0; } if (candidate.confirm_count 3) { if (current_state ! candidate.state) { debug_log(state switch: %d - %d, current_state, candidate.state); } current_state candidate.state; } }confirm_count 3的含義是連續(xù)三幀都提出相同的狀態(tài)遷移才真正執(zhí)行切換。這個(gè)閾值要結(jié)合幀率調(diào)幀率越高需要的確認(rèn)幀數(shù)越多否則會(huì)在快速切換元素時(shí)反應(yīng)太慢。6.4 調(diào)參配置示例把圖像參數(shù)集中到一個(gè)配置文件里方便快速實(shí)驗(yàn)。不同場(chǎng)地只需要改配置不需要重新編譯。# file: config/vision.ini [image] width188 height120 roi_top0.30 roi_bottom1.00 [binary] use_adaptive1 block_size15 c_offset10 fixed_threshold128 [morph] enable1 kernel_size3 [control] max_steer_change40 max_speed_change200 curve_speed45 ramp_speed35實(shí)際比賽現(xiàn)場(chǎng)你不可能每次都打開(kāi)電腦改代碼。把參數(shù)做成上位機(jī)可寫、單片機(jī)可讀的形式調(diào)整起來(lái)效率會(huì)高很多。最簡(jiǎn)單的方式是串口協(xié)議讓上位機(jī)發(fā)送參數(shù)名和值單片機(jī)收到后更新全局配置。7. 運(yùn)行結(jié)果與效果驗(yàn)證7.1 離線驗(yàn)證先看處理結(jié)果是否穩(wěn)定離線驗(yàn)證的流程是用錄制好的室外賽道視頻運(yùn)行offline_vision.py。觀察二值圖上的白線是否連續(xù)、邊線是否準(zhǔn)確。觀察原圖上的中線是否貼合賽道中心。記錄失敗幀所在的時(shí)段和場(chǎng)景判斷是光照問(wèn)題還是算法問(wèn)題。不要只看單幀是否完美而是看一個(gè)連續(xù)視頻片段中失敗幀的占比。建議的期望是在正常光照下絕大多數(shù)幀都能輸出合理中線只允許偶發(fā)單幀抖動(dòng)不允許連續(xù)多幀在同一位置出現(xiàn)系統(tǒng)性丟線。如果連續(xù)失敗就需要回到參數(shù)配置去排查。7.2 實(shí)車驗(yàn)證先低速后高速實(shí)車驗(yàn)證要控制變量。第一次上實(shí)車時(shí)建議關(guān)掉高速模式只測(cè)試視覺(jué)輸出是否穩(wěn)定。在直道上以低速跑一圈看圖像處理結(jié)果是否和離線一致。如果實(shí)車畫面里出現(xiàn)離線沒(méi)見(jiàn)過(guò)的抖動(dòng)優(yōu)先檢查攝像頭固定是否牢靠、曝光是否穩(wěn)定、圖像傳輸是否丟幀。確認(rèn)低速穩(wěn)定后再逐漸提高速度。每次提速前先確認(rèn)上一檔速度的轉(zhuǎn)向和制動(dòng)表現(xiàn)速度提升幅度盡量控制在 20% 以內(nèi)。不要一上來(lái)就全速?zèng)_賽道輪腿車在高速狀態(tài)下出現(xiàn)姿態(tài)振蕩時(shí)視覺(jué)畫面會(huì)劇烈抖動(dòng)問(wèn)題排查難度會(huì)成倍增加。7.3 判斷方案是否達(dá)標(biāo)的三個(gè)標(biāo)準(zhǔn)從競(jìng)賽實(shí)用角度我會(huì)用三個(gè)標(biāo)準(zhǔn)判斷室外視覺(jué)方案是否達(dá)標(biāo)穩(wěn)定丟線率低正常光照下連續(xù)直道和彎道幾乎不出現(xiàn)連續(xù)丟線。光照適應(yīng)性好同一套參數(shù)在早上、中午、傍晚都能跑不需要現(xiàn)場(chǎng)頻繁切閾值。元素判斷不誤觸發(fā)十字、環(huán)島、坡道等狀態(tài)切換要準(zhǔn)確既不漏判也不因?yàn)閱螏`判頻繁跳變。這三個(gè)標(biāo)準(zhǔn)聽(tīng)起來(lái)簡(jiǎn)單但很多隊(duì)伍做到比賽前兩周才發(fā)現(xiàn)自己只滿足第一個(gè)。所以建議從組隊(duì)第一天就把它們作為驗(yàn)收指標(biāo)寫進(jìn)開(kāi)發(fā)計(jì)劃。8. 常見(jiàn)問(wèn)題與排查思路室外視覺(jué)的排錯(cuò)最怕東改一下西改一下。下面這些是高頻問(wèn)題可以按順序排查。問(wèn)題現(xiàn)象可能原因排查方式解決方案二值化后賽道邊緣破碎嚴(yán)重光照不均或閾值設(shè)置過(guò)緊離線逐幀查看二值圖統(tǒng)計(jì)灰度直方圖改用自適應(yīng)閾值增加形態(tài)學(xué)閉運(yùn)算同一套參數(shù)換個(gè)場(chǎng)地就失效閾值或 ROI 依賴場(chǎng)地背景檢查灰度直方圖確認(rèn)背景是否改變參數(shù)配置化現(xiàn)場(chǎng)只調(diào)配置不編譯直道上中線突然跳變單行邊線誤檢或地面污漬干擾增加逐行鄰域一致性檢查對(duì)邊線做濾波或限制相鄰行偏移顛簸時(shí)圖像大面積丟線ROI 過(guò)窄姿態(tài)變化導(dǎo)致賽道出區(qū)域打印圖像幀觀察賽道位置變化范圍擴(kuò)大 ROI 上下邊界加入丟線插值狀態(tài)機(jī)頻繁跳狀態(tài)單幀誤判被直接采納打印狀態(tài)遷移日志定位誤判元素增加連續(xù)確認(rèn)機(jī)制提高確認(rèn)幀數(shù)實(shí)車畫面比離線模糊攝像頭曝光或傳輸丟幀檢查攝像頭驅(qū)動(dòng)輸出幀率和圖像拖影固定曝光或調(diào)整曝光范圍檢查接口帶寬輪腿過(guò)彎時(shí)車身?yè)u擺控制量變化率過(guò)大查看轉(zhuǎn)向輸出是否出現(xiàn)階躍對(duì)轉(zhuǎn)向控制量做限幅和低通濾波排查的時(shí)候一定要先看“現(xiàn)象是否可復(fù)現(xiàn)”。如果同一個(gè)場(chǎng)景每次表現(xiàn)都不一樣先不要改算法先去查硬件連接、供電、曝光和機(jī)械固定。9. 工程化經(jīng)驗(yàn)與開(kāi)源建議9.1 從第一天就用 Git智能車項(xiàng)目的代碼量雖然不大但迭代頻率非常高。沒(méi)有版本管理的時(shí)候很容易出現(xiàn)“昨天還能跑的代碼今天就找不到那版了”。我建議從第一天就用 Git每次實(shí)地調(diào)車后至少提交一次提交信息寫清楚“哪個(gè)參數(shù)、哪個(gè)賽道、結(jié)果如何”。開(kāi)源倉(cāng)庫(kù)最好也保持這種習(xí)慣。README 里寫清項(xiàng)目背景、硬件依賴、怎么編譯、怎么運(yùn)行離線腳本代碼文件頭部注明核心輸入輸出調(diào)參記錄用表格放在doc/下。這樣別人拿到倉(cāng)庫(kù)后能快速跑起來(lái)向你提問(wèn)時(shí)也能更高效。9.2 開(kāi)源代碼要降低復(fù)現(xiàn)門檻如果你打算像本文一樣把自己方案開(kāi)源請(qǐng)?zhí)貏e注意復(fù)現(xiàn)門檻。別人不一定有和你一樣的主控、攝像頭和賽道所以代碼里不要寫死太多硬件相關(guān)內(nèi)容。把硬件相關(guān)代碼與算法核心代碼分離算法部分用純 C 風(fēng)格、不依賴特定庫(kù)別人移植時(shí)會(huì)輕松很多。同時(shí)不要只開(kāi)源“能跑”的代碼還要開(kāi)源“能學(xué)”的過(guò)程。比如可以附上幾個(gè)典型的失敗案例解釋當(dāng)時(shí)為什么出錯(cuò)、后來(lái)怎么改。這些經(jīng)驗(yàn)恰恰是最有價(jià)值的也是很多開(kāi)源項(xiàng)目忽略的。9.3 規(guī)則與技術(shù)安全的邊界競(jìng)賽方案要嚴(yán)格遵守組委會(huì)規(guī)則。這里特別提醒兩點(diǎn)第一規(guī)則解讀有分歧時(shí)多看組委會(huì)發(fā)布的技術(shù)報(bào)告和常見(jiàn)問(wèn)題說(shuō)明不要自行“鉆空子”第二比賽用的代碼和開(kāi)源代碼最好分開(kāi)管理比賽代碼以穩(wěn)定為主開(kāi)源代碼以可讀和可復(fù)現(xiàn)為主不要比賽前兩天臨時(shí)改開(kāi)源分支。從開(kāi)源合規(guī)角度如果你使用了他人的開(kāi)源代碼要保留原作者的 License 聲明如果你準(zhǔn)備公開(kāi)自己的代碼也建議選擇一個(gè)明確的開(kāi)源許可證在 README 里寫清楚。這樣對(duì)后來(lái)者更友好也避免后續(xù)糾紛。9.4 團(tuán)隊(duì)協(xié)作中的堅(jiān)持與取舍智能車競(jìng)賽到最后拼的往往不是某項(xiàng)技術(shù)而是團(tuán)隊(duì)在壓力下的取舍能力。比如“這個(gè)元素識(shí)別要不要上深度學(xué)習(xí)”就是一個(gè)典型的爭(zhēng)議點(diǎn)。從效果看深度學(xué)習(xí)可能提升識(shí)別率但會(huì)引入數(shù)據(jù)集標(biāo)注、模型轉(zhuǎn)換、算力評(píng)估和調(diào)試復(fù)雜度。如果隊(duì)伍里沒(méi)有人有相關(guān)經(jīng)驗(yàn)賽前一個(gè)月臨時(shí)引入大模型風(fēng)險(xiǎn)很大。我的建議是用“風(fēng)險(xiǎn)可控”作為技術(shù)選型的第一原則。室外視覺(jué)方案優(yōu)先選擇可解釋、可漸變調(diào)試、可快速回退的思路。比賽結(jié)束之后再慢慢研究深度學(xué)習(xí)、模型部署這些更前沿的技術(shù)把它們應(yīng)用在下一年或更復(fù)雜的項(xiàng)目中。10. 總結(jié)與后續(xù)學(xué)習(xí)方向這篇文章圍繞第二十一屆智能車輪腿組的室外視覺(jué)方案講清楚了幾個(gè)核心問(wèn)題室外視覺(jué)真正難的并不是單獨(dú)某個(gè)算法而是光照、姿態(tài)、元素復(fù)雜性疊加后的鏈路穩(wěn)定性輪腿車的視覺(jué)設(shè)計(jì)必須給姿態(tài)變化留出余量開(kāi)源方案的價(jià)值不是讓你復(fù)制粘貼拿獎(jiǎng)而是提供一條經(jīng)過(guò)驗(yàn)證的路徑讓后來(lái)者少走彎路。如果你準(zhǔn)備復(fù)現(xiàn)這套思路建議按下面的順序推進(jìn)先在電腦上跑通離線圖像處理腳本錄制自己場(chǎng)地的視頻建立數(shù)據(jù)集再把邊線提取和狀態(tài)機(jī)移植到嵌入式端用串口日志驗(yàn)證數(shù)據(jù)流最后上實(shí)車低速調(diào)參穩(wěn)定后再逐步提速。整個(gè)過(guò)程中堅(jiān)持做調(diào)參記錄你會(huì)發(fā)現(xiàn)大多數(shù)“莫名其妙”的問(wèn)題其實(shí)都能從記錄里找到規(guī)律。下一步值得深入學(xué)習(xí)的方向有三個(gè)一是自適應(yīng)圖像處理看 Otsu、局部閾值和光照補(bǔ)償?shù)牟町愄嵘彝怍敯粜远菭顟B(tài)機(jī)與有限狀態(tài)建模把元素識(shí)別做得更嚴(yán)謹(jǐn)三是輪腿車的姿態(tài)與運(yùn)動(dòng)學(xué)模型理解視覺(jué)輸出如何與控制周期更好匹配。競(jìng)賽終究會(huì)結(jié)束但你自己沉淀下來(lái)的代碼、文檔和排查經(jīng)驗(yàn)才是能繼續(xù)用到下一段技術(shù)旅程里的東西。