1. 項(xiàng)目概述從“眼睛”和“耳朵”說(shuō)起搞機(jī)器人開(kāi)發(fā)無(wú)論是做一臺(tái)能滿(mǎn)屋跑的掃地機(jī)還是一個(gè)能在工廠里精準(zhǔn)抓取的機(jī)械臂甚至是未來(lái)能和你對(duì)話(huà)的人形伙伴第一個(gè)繞不開(kāi)的坎就是“感知定位”。你可以把它想象成機(jī)器人的“眼睛”和“耳朵”甚至是“皮膚”和“平衡感”。沒(méi)有這些機(jī)器人就是個(gè)又聾又瞎的鐵疙瘩別說(shuō)完成復(fù)雜任務(wù)連自己在哪兒、周?chē)惺裁炊几悴磺宄?。我這些年折騰過(guò)不少機(jī)器人項(xiàng)目從簡(jiǎn)單的循線小車(chē)到復(fù)雜的移動(dòng)平臺(tái)深刻體會(huì)到感知定位系統(tǒng)的選型和搭建直接決定了項(xiàng)目的上限和下限。今天咱們就拋開(kāi)那些高大上的算法名詞先扎扎實(shí)實(shí)地聊聊構(gòu)成這套系統(tǒng)的物理基礎(chǔ)——感知定位元件。這是整個(gè)大廈的地基地基不穩(wěn)后面用再牛的SLAM即時(shí)定位與地圖構(gòu)建算法也建不起高樓。所謂感知定位元件就是那些能把物理世界的信息比如距離、光線、圖像、聲音、姿態(tài)轉(zhuǎn)換成機(jī)器人“大腦”通常是主控計(jì)算機(jī)能理解的數(shù)字信號(hào)的設(shè)備。它們?yōu)闄C(jī)器人提供了關(guān)于自身狀態(tài)和外部環(huán)境的第一手?jǐn)?shù)據(jù)。這上半篇我們重點(diǎn)梳理兩大類(lèi)最核心、應(yīng)用最廣泛的元件用于環(huán)境感知的傳感器如視覺(jué)傳感器、激光雷達(dá)和用于自身狀態(tài)感知的傳感器如慣性測(cè)量單元。我們會(huì)深入它們的工作原理、選型要點(diǎn)、以及在實(shí)際項(xiàng)目中那些文檔里不會(huì)寫(xiě)的“坑”。理解了這些你才能明白為什么有的方案用攝像頭有的必須上激光雷達(dá)以及為什么你的機(jī)器人老是“迷路”或者“撞墻”。2. 核心需求解析機(jī)器人到底需要知道什么在開(kāi)始挑選具體的傳感器之前我們必須先明確機(jī)器人需要獲取哪些信息。這就像出門(mén)旅行前列清單你得知道要帶什么。對(duì)于機(jī)器人而言其感知需求可以歸納為三個(gè)根本性問(wèn)題我在哪里 (定位 - Localization)絕對(duì)位置我在世界坐標(biāo)系下的x, y, z坐標(biāo)和朝向偏航角、俯仰角、橫滾角。例如無(wú)人機(jī)需要知道自己的經(jīng)緯高和機(jī)頭方向。相對(duì)位置我相對(duì)于某個(gè)已知參照物如一個(gè)二維碼、一個(gè)墻角、上一個(gè)時(shí)刻的自己的位置和姿態(tài)變化。這是里程計(jì)Odometry的核心任務(wù)。我周?chē)惺裁?(感知 - Perception)幾何信息周?chē)矬w的形狀、大小、距離。這決定了機(jī)器人能否避障、導(dǎo)航和操作物體。比如掃地機(jī)器人需要知道前方20厘米處有一把椅子腿。語(yǔ)義信息周?chē)矬w是什么。這是一把椅子、一個(gè)人、一扇門(mén)還是一個(gè)紅色的停止標(biāo)志這需要更高級(jí)的感知能力通常結(jié)合視覺(jué)和人工智能算法。動(dòng)態(tài)信息周?chē)矬w是否在運(yùn)動(dòng)速度、方向如何這對(duì)于在動(dòng)態(tài)環(huán)境中如人機(jī)共融車(chē)間安全運(yùn)行至關(guān)重要。我自身狀態(tài)如何 (狀態(tài)估計(jì) - State Estimation)運(yùn)動(dòng)狀態(tài)我當(dāng)前的速度線速度、角速度、加速度。姿態(tài)狀態(tài)我身體的傾斜角度對(duì)于平衡機(jī)器人如兩輪自平衡車(chē)、四足機(jī)器人至關(guān)重要。不同的機(jī)器人形態(tài)和任務(wù)對(duì)這三類(lèi)信息的精度、頻率、可靠性要求天差地別。一個(gè)在結(jié)構(gòu)化倉(cāng)庫(kù)里沿著磁條行走的AGV自動(dòng)導(dǎo)引車(chē)可能只需要讀磁條的傳感器和輪子編碼器就夠了。而一個(gè)在復(fù)雜野外環(huán)境勘探的移動(dòng)機(jī)器人則需要激光雷達(dá)、視覺(jué)、GPS、IMU慣性測(cè)量單元等多傳感器深度融合。理解你的核心需求是進(jìn)行傳感器選型的第一步也是避免過(guò)度設(shè)計(jì)或設(shè)計(jì)不足的關(guān)鍵。3. 環(huán)境感知核心元件一視覺(jué)傳感器視覺(jué)傳感器簡(jiǎn)單說(shuō)就是給機(jī)器人裝上“眼睛”。它是目前信息量最豐富、成本相對(duì)較低的感知方式但同時(shí)也是最復(fù)雜、受環(huán)境影響最大的。3.1 單目攝像頭成本與深度的博弈單目攝像頭就是我們手機(jī)上最常見(jiàn)的那個(gè)攝像頭。它價(jià)格低廉能提供高分辨率的2D圖像信息非常適合做物體識(shí)別、顏色跟蹤、二維碼識(shí)別等任務(wù)。工作原理將三維世界投影到二維平面丟失了深度信息。你從照片里無(wú)法直接知道一個(gè)物體離你有多遠(yuǎn)。如何獲取深度需要通過(guò)算法從單張圖像中推斷單目深度估計(jì)精度有限或者通過(guò)移動(dòng)攝像頭拍攝多幀圖像利用視差原理計(jì)算運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)SFM但這依賴(lài)于運(yùn)動(dòng)且計(jì)算量大。實(shí)操要點(diǎn)與避坑鏡頭選擇焦距決定視野FOV。廣角鏡頭視野大但邊緣畸變嚴(yán)重長(zhǎng)焦鏡頭視野窄但看得遠(yuǎn)、畸變小。根據(jù)機(jī)器人工作距離選擇。標(biāo)定是生命線必須進(jìn)行相機(jī)標(biāo)定獲取內(nèi)參焦距、主點(diǎn)、畸變系數(shù)和外參相機(jī)相對(duì)于機(jī)器人本體的位置和姿態(tài)。標(biāo)定不準(zhǔn)后續(xù)所有視覺(jué)處理都是空中樓閣。推薦使用張正友標(biāo)定法用棋盤(pán)格工具反復(fù)多角度拍攝進(jìn)行標(biāo)定。光照是頭號(hào)敵人光線過(guò)暗、過(guò)亮、逆光、陰影都會(huì)極大影響圖像質(zhì)量。在工業(yè)場(chǎng)景中必須考慮增加補(bǔ)光燈或選擇對(duì)光照不敏感的視覺(jué)算法如基于邊緣的特征。算力要求做實(shí)時(shí)圖像處理如目標(biāo)檢測(cè)對(duì)機(jī)器人的計(jì)算單元CPU/GPU有較高要求。注意不要指望單目攝像頭能提供穩(wěn)定、精確的深度信息來(lái)做實(shí)時(shí)避障。它更擅長(zhǎng)“是什么”而不是“有多遠(yuǎn)”。3.2 雙目/多目視覺(jué)主動(dòng)恢復(fù)深度為了解決單目無(wú)深度的問(wèn)題雙目視覺(jué)模仿了人眼的原理。工作原理使用兩個(gè)經(jīng)過(guò)嚴(yán)格標(biāo)定、位置固定的攝像頭同時(shí)拍攝同一場(chǎng)景。通過(guò)尋找兩幅圖像中相同特征點(diǎn)的像素位置差異視差結(jié)合已知的相機(jī)間距基線利用三角測(cè)量原理直接計(jì)算出每個(gè)特征點(diǎn)的深度信息生成深度圖。優(yōu)勢(shì)被動(dòng)式不主動(dòng)發(fā)光適合室外等對(duì)主動(dòng)光源有干擾或限制的場(chǎng)景能同時(shí)獲得彩色圖像和深度信息。劣勢(shì)與避坑計(jì)算復(fù)雜度高立體匹配算法是計(jì)算密集型任務(wù)對(duì)硬件要求高實(shí)時(shí)性挑戰(zhàn)大。紋理依賴(lài)在缺乏紋理的平坦區(qū)域如白墻、純色桌面難以找到匹配特征點(diǎn)會(huì)導(dǎo)致深度圖出現(xiàn)大面積空洞。標(biāo)定要求極高兩個(gè)相機(jī)的相對(duì)位置旋轉(zhuǎn)和平移必須精確標(biāo)定并保持穩(wěn)定。任何微小的機(jī)械形變?nèi)缯饎?dòng)、熱脹冷縮都會(huì)導(dǎo)致標(biāo)定失效深度計(jì)算錯(cuò)誤。基線選擇基線越長(zhǎng)測(cè)距越遠(yuǎn)、越準(zhǔn)但視野重疊區(qū)域越小近處物體可能無(wú)法成像。需要根據(jù)測(cè)距范圍權(quán)衡。3.3 結(jié)構(gòu)光與ToF飛行時(shí)間深度相機(jī)主動(dòng)投射直接測(cè)距這類(lèi)相機(jī)主動(dòng)向環(huán)境投射特定的光圖案結(jié)構(gòu)光或脈沖光ToF通過(guò)分析反射光來(lái)直接獲取深度信息是目前機(jī)器人領(lǐng)域特別是室內(nèi)服務(wù)機(jī)器人、機(jī)械臂引導(dǎo)的主流選擇。結(jié)構(gòu)光如Intel RealSense D4xx系列原理投射一組已知的、有編碼特征的點(diǎn)陣或條紋圖案到物體表面。由于物體表面凹凸不平圖案會(huì)發(fā)生形變。相機(jī)捕獲形變后的圖案通過(guò)與原始圖案對(duì)比計(jì)算出每個(gè)點(diǎn)的深度。特點(diǎn)精度較高在近距離通常0.1-4米表現(xiàn)好分辨率高。但容易受強(qiáng)環(huán)境光特別是太陽(yáng)光干擾室外基本無(wú)法使用。投射的圖案也可能被人眼看到通常為不可見(jiàn)紅外光但部分型號(hào)仍有微弱紅光。ToF如微軟Azure Kinect 部分手機(jī)前置深感鏡頭原理發(fā)射調(diào)制的近紅外光脈沖測(cè)量光脈沖從發(fā)射到被物體反射回來(lái)的飛行時(shí)間直接換算成距離。特點(diǎn)抗環(huán)境光干擾能力比結(jié)構(gòu)光強(qiáng)幀率高測(cè)距范圍可以更遠(yuǎn)可達(dá)數(shù)米。但傳統(tǒng)ToF相機(jī)分辨率相對(duì)較低存在多徑干擾光通過(guò)多個(gè)路徑反射回來(lái)和邊緣混疊問(wèn)題。iToF間接ToF通過(guò)測(cè)量相位差來(lái)計(jì)算距離是目前主流。選型與實(shí)操心得室內(nèi)vs室外室內(nèi)優(yōu)先考慮結(jié)構(gòu)光或ToF室外或光線復(fù)雜場(chǎng)景雙目視覺(jué)或激光雷達(dá)更可靠。精度與范圍仔細(xì)閱讀數(shù)據(jù)手冊(cè)中的“精度”曲線圖。深度相機(jī)的精度通常隨距離增加而急劇下降。例如某相機(jī)在1米處精度±1mm在4米處可能只有±5cm。多機(jī)干擾如果同一個(gè)場(chǎng)景有多臺(tái)同型號(hào)主動(dòng)深度相機(jī)同時(shí)工作它們發(fā)出的光圖案會(huì)相互干擾導(dǎo)致深度圖出現(xiàn)大量噪點(diǎn)。需要從硬件或軟件上做同步或編碼區(qū)分。對(duì)透明/吸光物體無(wú)效玻璃、鏡面、純黑色物體吸收紅外光會(huì)導(dǎo)致測(cè)距失敗。4. 環(huán)境感知核心元件二激光雷達(dá)如果說(shuō)視覺(jué)傳感器是“眼睛”那激光雷達(dá)LiDAR就是一把極其精確的“尺子”。它通過(guò)激光束掃描周?chē)h(huán)境生成高精度的點(diǎn)云數(shù)據(jù)是機(jī)器人定位、建圖和避障的黃金標(biāo)準(zhǔn)傳感器。4.1 工作原理與核心指標(biāo)激光雷達(dá)的核心原理是激光測(cè)距。它向目標(biāo)發(fā)射激光脈沖接收反射信號(hào)通過(guò)測(cè)量光的飛行時(shí)間ToF與ToF相機(jī)原理類(lèi)似或相位差來(lái)計(jì)算距離。通過(guò)內(nèi)部的旋轉(zhuǎn)鏡片或固態(tài)掃描裝置讓激光束在水平方向有時(shí)也包括垂直方向進(jìn)行掃描從而獲得周?chē)h(huán)境一系列點(diǎn)的距離和角度信息形成點(diǎn)云。選型時(shí)必須關(guān)注以下幾個(gè)核心指標(biāo)測(cè)距范圍與精度最遠(yuǎn)能測(cè)多遠(yuǎn)在不同距離下的誤差是多少室內(nèi)機(jī)器人可能只需要10-20米而自動(dòng)駕駛汽車(chē)則需要200米以上。掃描頻率與角度分辨率每秒完成多少次全周掃描Hz水平方向上兩個(gè)相鄰點(diǎn)之間的角度間隔是多少°這決定了點(diǎn)云的密度和更新速度。高頻率和高分辨率意味著更細(xì)膩的環(huán)境感知和更快的反應(yīng)速度但數(shù)據(jù)量和價(jià)格也更高。線數(shù)主要指機(jī)械旋轉(zhuǎn)式雷達(dá)的垂直方向激光束數(shù)量。如16線、32線、64線、128線。線數(shù)越多垂直視野越寬獲取的環(huán)境三維信息越豐富價(jià)格也呈指數(shù)級(jí)增長(zhǎng)。對(duì)于地面機(jī)器人低線數(shù)雷達(dá)如16線結(jié)合其安裝俯仰角通常也能獲得很好的地面和障礙物信息?？垢蓴_能力在多雷達(dá)同時(shí)工作或強(qiáng)陽(yáng)光直射下能否穩(wěn)定輸出好的雷達(dá)會(huì)有光學(xué)濾波和信號(hào)處理機(jī)制來(lái)抑制干擾。4.2 2D與3D激光雷達(dá)的選擇2D激光雷達(dá)單線掃描特點(diǎn)在一個(gè)平面上進(jìn)行掃描獲得一條“線”狀的點(diǎn)云數(shù)據(jù)。經(jīng)典產(chǎn)品如SICK、Hokuyo的系列以及國(guó)內(nèi)的石墨、思嵐等。應(yīng)用場(chǎng)景室內(nèi)移動(dòng)機(jī)器人如掃地機(jī)、倉(cāng)儲(chǔ)AGV的絕對(duì)主力。用于構(gòu)建2D占據(jù)柵格地圖如Gmapping、Cartographer算法、實(shí)現(xiàn)2D SLAM和導(dǎo)航。因?yàn)樗鼉r(jià)格相對(duì)低廉、數(shù)據(jù)量小、算法成熟穩(wěn)定。局限無(wú)法感知地面上的小障礙物如電源線、玩具或低于掃描平面的懸空物體如桌沿。解決方案通常是加裝多個(gè)以不同角度安裝的2D雷達(dá)或者使用3D雷達(dá)。3D激光雷達(dá)多線掃描或固態(tài)掃描特點(diǎn)通過(guò)多線束或面陣掃描直接獲得三維空間點(diǎn)云。包括機(jī)械旋轉(zhuǎn)式Velodyne, Livox、 MEMS微振鏡式、光學(xué)相控陣OPA式等。應(yīng)用場(chǎng)景自動(dòng)駕駛、無(wú)人機(jī)、高端服務(wù)機(jī)器人、三維測(cè)繪。可以實(shí)現(xiàn)更精確的3D SLAM如LOAM, LeGO-LOAM、復(fù)雜地形導(dǎo)航、物體識(shí)別與抓取。實(shí)操心得數(shù)據(jù)量巨大64線雷達(dá)一幀的點(diǎn)云數(shù)據(jù)可達(dá)百萬(wàn)級(jí)對(duì)網(wǎng)絡(luò)帶寬通常使用千兆以太網(wǎng)和處理器算力是巨大挑戰(zhàn)必須考慮點(diǎn)云下采樣、濾波和高效處理算法。安裝與標(biāo)定復(fù)雜雷達(dá)在機(jī)器人上的安裝位置和角度需要精心設(shè)計(jì)以平衡視野和盲區(qū)。多雷達(dá)融合時(shí)需要精確的外參標(biāo)定即雷達(dá)之間的相對(duì)位姿。價(jià)格昂貴高線數(shù)雷達(dá)曾是阻礙普及的主要因素但隨著國(guó)產(chǎn)雷達(dá)如速騰聚創(chuàng)、禾賽、大疆Livox的崛起價(jià)格已大幅下降。4.3 激光雷達(dá)的“坑”與應(yīng)對(duì)策略動(dòng)態(tài)物體干擾激光雷達(dá)會(huì)忠實(shí)地記錄所有移動(dòng)物體人、車(chē)的點(diǎn)云這些“鬼影”會(huì)污染地圖影響定位。需要在SLAM前端或后端加入動(dòng)態(tài)物體濾除算法。玻璃、鏡面等特殊材質(zhì)激光可能穿透玻璃測(cè)到后面的物體或在鏡面發(fā)生鏡面反射導(dǎo)致測(cè)距失敗在點(diǎn)云中形成空洞。在環(huán)境部署時(shí)需要留意或融合視覺(jué)信息進(jìn)行補(bǔ)充。點(diǎn)云畸變對(duì)于機(jī)械旋轉(zhuǎn)式雷達(dá)在機(jī)器人自身高速運(yùn)動(dòng)時(shí)由于一幀點(diǎn)云數(shù)據(jù)是在一段時(shí)間內(nèi)采集的機(jī)器人自身的運(yùn)動(dòng)會(huì)導(dǎo)致點(diǎn)云發(fā)生“運(yùn)動(dòng)畸變”影響匹配精度。高端雷達(dá)自帶IMU進(jìn)行運(yùn)動(dòng)補(bǔ)償或者需要在算法中進(jìn)行去畸變處理。外參標(biāo)定這是多傳感器融合的基礎(chǔ)卻極易被忽視。雷達(dá)和機(jī)器人本體或與其他雷達(dá)、相機(jī)之間的變換矩陣必須精確標(biāo)定?？梢允褂脤?zhuān)門(mén)的標(biāo)定板如AprilTag棋盤(pán)格在雷達(dá)和相機(jī)共同視野內(nèi)進(jìn)行自動(dòng)或半自動(dòng)標(biāo)定。5. 自身狀態(tài)感知核心慣性測(cè)量單元IMU慣性測(cè)量單元是機(jī)器人的“內(nèi)耳”和“運(yùn)動(dòng)神經(jīng)”它不關(guān)心外部環(huán)境只專(zhuān)注于測(cè)量機(jī)器人自身的運(yùn)動(dòng)狀態(tài)。5.1 IMU的構(gòu)成與原理一個(gè)典型的IMU包含三個(gè)核心MEMS微機(jī)電系統(tǒng)傳感器三軸加速度計(jì)測(cè)量物體在三個(gè)軸向上的線性加速度包括重力加速度。通過(guò)積分理論上可以獲得速度變化和位移但由于噪聲和漂移積分誤差會(huì)隨時(shí)間迅速累積單獨(dú)用于定位很快就會(huì)“飄走”。三軸陀螺儀測(cè)量物體繞三個(gè)軸旋轉(zhuǎn)的角速度。通過(guò)積分可以獲得角度變化姿態(tài)角。同樣陀螺儀存在零偏Bias積分后會(huì)導(dǎo)致角度漂移?？蛇x三軸磁力計(jì)測(cè)量環(huán)境中的磁場(chǎng)強(qiáng)度用于提供絕對(duì)的方向參考類(lèi)似于指南針可以校正陀螺儀的航向角偏航角Yaw漂移。但磁力計(jì)極易受環(huán)境中鐵磁物質(zhì)干擾如鋼筋、電機(jī)、桌子可靠性不高。5.2 IMU在機(jī)器人中的核心作用IMU的數(shù)據(jù)雖然不能獨(dú)立用于精確的長(zhǎng)期定位但其高頻通常100Hz以上、短期精度高的特性使其在機(jī)器人系統(tǒng)中扮演著不可替代的角色姿態(tài)解算AHRS融合加速度計(jì)和陀螺儀數(shù)據(jù)常采用互補(bǔ)濾波或卡爾曼濾波算法實(shí)時(shí)估算機(jī)器人的橫滾角Roll、俯仰角Pitch如果融合了磁力計(jì)還可以估算偏航角Yaw。這對(duì)于無(wú)人機(jī)、平衡車(chē)、人形機(jī)器人等需要保持自身平衡的機(jī)器人至關(guān)重要。運(yùn)動(dòng)約束與里程計(jì)輔助在輪式機(jī)器人中編碼器里程計(jì)在打滑、空轉(zhuǎn)時(shí)會(huì)失效。IMU提供的角速度信息可以作為一個(gè)獨(dú)立的運(yùn)動(dòng)觀測(cè)與輪式里程計(jì)融合得到更魯棒的機(jī)器人本體運(yùn)動(dòng)估計(jì)機(jī)器人學(xué)中常稱(chēng)為“航跡推算”。傳感器數(shù)據(jù)的時(shí)間同步與運(yùn)動(dòng)補(bǔ)償如前文提到的激光雷達(dá)點(diǎn)云去畸變就需要用到同一時(shí)間段內(nèi)IMU提供的的高頻運(yùn)動(dòng)數(shù)據(jù)。在視覺(jué)慣性里程計(jì)VIO中IMU數(shù)據(jù)用于彌補(bǔ)相機(jī)在快速運(yùn)動(dòng)或紋理缺失時(shí)的跟蹤失敗。零速修正ZUPT對(duì)于足式機(jī)器人或穿戴設(shè)備當(dāng)檢測(cè)到腳部與地面接觸靜止時(shí)通過(guò)加速度計(jì)和陀螺儀數(shù)據(jù)判斷可以將此時(shí)的速度強(qiáng)制設(shè)為零從而有效抑制IMU積分帶來(lái)的位置漂移。這是很多慣性導(dǎo)航系統(tǒng)的關(guān)鍵技巧。5.3 選型與校準(zhǔn)一分錢(qián)一分貨IMU的等級(jí)和價(jià)格差異巨大核心區(qū)別在于傳感器的零偏穩(wěn)定性、噪聲密度和溫漂。消費(fèi)級(jí)幾十到幾百元如MPU6050、MPU9250。零偏大噪聲高溫漂嚴(yán)重。適合對(duì)精度要求不高的玩具、教學(xué)演示或作為濾波算法的學(xué)習(xí)對(duì)象。切記不要指望用它們做可靠的長(zhǎng)時(shí)間姿態(tài)估計(jì)或定位。工業(yè)級(jí)/戰(zhàn)術(shù)級(jí)數(shù)千到數(shù)萬(wàn)元如ADI公司的系列產(chǎn)品或Xsens、VectorNav等品牌的模塊。零偏穩(wěn)定性好噪聲低帶有溫度補(bǔ)償。適用于大多數(shù)商用機(jī)器人、無(wú)人機(jī)、自動(dòng)駕駛領(lǐng)域。導(dǎo)航級(jí)數(shù)十萬(wàn)元以上用于導(dǎo)彈、航天器這里不展開(kāi)。實(shí)操中必須做的兩件事校準(zhǔn)任何IMU在使用前都必須校準(zhǔn)特別是消費(fèi)級(jí)和工業(yè)級(jí)。校準(zhǔn)主要包括六面法校準(zhǔn)加速度計(jì)將IMU靜止放置在六個(gè)不同的正交面上采集數(shù)據(jù)計(jì)算每個(gè)軸的零偏和尺度因子。多位置旋轉(zhuǎn)法校準(zhǔn)陀螺儀通過(guò)多個(gè)位置的靜止測(cè)量估計(jì)陀螺儀的零偏。磁力計(jì)橢圓擬合校準(zhǔn)通過(guò)在空中“畫(huà)8字”等方式采集大量數(shù)據(jù)擬合出硬鐵和軟鐵干擾的補(bǔ)償參數(shù)。很多IMU模塊廠商會(huì)提供上位機(jī)軟件完成自動(dòng)校準(zhǔn)。理解噪聲模型在編寫(xiě)融合濾波算法如卡爾曼濾波時(shí)必須為加速度計(jì)和陀螺儀設(shè)置合理的噪聲協(xié)方差矩陣Q矩陣。這個(gè)參數(shù)需要根據(jù)IMU數(shù)據(jù)手冊(cè)中的噪聲密度和零偏不穩(wěn)定性等參數(shù)進(jìn)行估算或者通過(guò)采集靜止數(shù)據(jù)統(tǒng)計(jì)得出。參數(shù)設(shè)置不當(dāng)濾波效果會(huì)大打折扣。6. 其他常見(jiàn)感知定位元件簡(jiǎn)介除了上述三大類(lèi)機(jī)器人系統(tǒng)中還有一些常用的感知元件它們往往在特定場(chǎng)景下發(fā)揮關(guān)鍵作用。超聲波傳感器原理發(fā)射超聲波接收回波通過(guò)時(shí)間測(cè)距。特點(diǎn)成本極低測(cè)距范圍短幾厘米到幾米精度較低易受溫度、濕度、物體表面材質(zhì)影響。波束角大指向性差。應(yīng)用簡(jiǎn)單的避障如掃地機(jī)防撞、液位檢測(cè)。不適合用于精確的定位或建圖。編碼器光電/磁電原理安裝在電機(jī)或輪軸上通過(guò)計(jì)數(shù)光柵或磁極變化測(cè)量電機(jī)的旋轉(zhuǎn)角度或圈數(shù)。特點(diǎn)提供高精度的相對(duì)位移信息里程計(jì)是輪式機(jī)器人最基礎(chǔ)、最重要的本體傳感器。注意編碼器測(cè)量的是輪子轉(zhuǎn)動(dòng)的“理想”距離。當(dāng)輪子打滑、空轉(zhuǎn)、或地面不平時(shí)編碼器數(shù)據(jù)會(huì)嚴(yán)重失真稱(chēng)為“里程計(jì)漂移”。因此絕不能單獨(dú)依賴(lài)編碼器進(jìn)行長(zhǎng)期定位必須與IMU、視覺(jué)、激光雷達(dá)等傳感器融合。全球?qū)Ш叫l(wèi)星系統(tǒng)GNSS如GPS、北斗。原理接收衛(wèi)星信號(hào)進(jìn)行絕對(duì)定位。特點(diǎn)在室外開(kāi)闊地帶能提供全局、絕對(duì)的位置坐標(biāo)經(jīng)緯高。但信號(hào)易受建筑物、樹(shù)木遮擋多路徑效應(yīng)影響精度從米級(jí)單點(diǎn)定位到厘米級(jí)RTK差分定位不等。應(yīng)用戶(hù)外移動(dòng)機(jī)器人、自動(dòng)駕駛車(chē)輛的全局定位源。通常與IMU緊耦合GNSS-INS組合導(dǎo)航在GNSS信號(hào)丟失時(shí)由IMU進(jìn)行短時(shí)間航位推算。毫米波雷達(dá)原理發(fā)射毫米波頻段的電磁波通過(guò)分析反射波的頻率變化多普勒效應(yīng)和延遲不僅能測(cè)距還能直接測(cè)量目標(biāo)的速度。特點(diǎn)抗天氣干擾能力強(qiáng)雨、霧、塵能直接測(cè)速價(jià)格介于激光雷達(dá)和超聲波之間。但點(diǎn)云比激光雷達(dá)稀疏分辨率較低。應(yīng)用汽車(chē)ADAS自動(dòng)緊急剎車(chē)、自適應(yīng)巡航、機(jī)器人對(duì)動(dòng)態(tài)障礙物特別是車(chē)輛、行人的速度感知。7. 傳感器選型綜合決策指南面對(duì)琳瑯滿(mǎn)目的傳感器如何為自己的機(jī)器人項(xiàng)目做選擇這里沒(méi)有一個(gè)標(biāo)準(zhǔn)答案但可以遵循一個(gè)決策框架明確核心任務(wù)與場(chǎng)景場(chǎng)景室內(nèi)/室外結(jié)構(gòu)化/非結(jié)構(gòu)化靜態(tài)/動(dòng)態(tài)環(huán)境光照條件如何任務(wù)只需要避障還是需要建圖導(dǎo)航需要識(shí)別特定物體嗎對(duì)精度和實(shí)時(shí)性的要求是什么例子室內(nèi)倉(cāng)儲(chǔ)AGV在固定路線、光照穩(wěn)定、地面平整的環(huán)境下工作。核心需求是循跡和停準(zhǔn)。那么磁導(dǎo)航傳感器/二維碼視覺(jué)輪編碼器可能就是最優(yōu)解完全不需要昂貴的激光雷達(dá)。定義性能邊界與約束精度定位需要厘米級(jí)還是米級(jí)避障需要探測(cè)多遠(yuǎn)的障礙物頻率傳感器數(shù)據(jù)需要多快的更新頻率10Hz還是100Hz算力主控處理器能承受多大的數(shù)據(jù)量和多復(fù)雜的算法成本這是最現(xiàn)實(shí)的約束。在預(yù)算內(nèi)尋找滿(mǎn)足性能下限的方案。功耗與尺寸對(duì)于小型或移動(dòng)機(jī)器人至關(guān)重要。遵循“必要性”與“互補(bǔ)性”原則必要性?xún)?yōu)先選擇能直接、可靠滿(mǎn)足核心需求的傳感器。不要堆砌用不上的功能?；パa(bǔ)性沒(méi)有一種傳感器是完美的。考慮傳感器之間的優(yōu)勢(shì)互補(bǔ)。例如激光雷達(dá)幾何準(zhǔn) 視覺(jué)語(yǔ)義豐激光雷達(dá)提供精確的距離和地圖視覺(jué)提供物體類(lèi)別和紋理實(shí)現(xiàn)更智能的導(dǎo)航。編碼器高頻相對(duì) GNSS低頻絕對(duì)編碼器提供平滑的局部軌跡GNSS提供全局校正抑制累積誤差。IMU高頻自身運(yùn)動(dòng) 任何外部傳感器低頻絕對(duì)觀測(cè)IMU彌補(bǔ)外部傳感器數(shù)據(jù)更新慢的間隙提供連續(xù)的運(yùn)動(dòng)估計(jì)?？紤]開(kāi)發(fā)與集成成本生態(tài)支持該傳感器是否有成熟的ROS/ROS2驅(qū)動(dòng)包社區(qū)資料是否豐富標(biāo)定難度多傳感器融合的標(biāo)定工作是否復(fù)雜是否有可靠工具數(shù)據(jù)處理 pipeline從原始數(shù)據(jù)到可用信息需要投入多少算法開(kāi)發(fā)工作一個(gè)經(jīng)典的室內(nèi)移動(dòng)機(jī)器人如科研常用的TurtleBot3傳感器配置是一個(gè)2D激光雷達(dá)建圖導(dǎo)航 一個(gè)IMU輔助里程計(jì)和姿態(tài) 輪編碼器基礎(chǔ)里程計(jì)。這個(gè)組合已經(jīng)能解決絕大多數(shù)室內(nèi)定位導(dǎo)航問(wèn)題。如果需要增加物體識(shí)別或更豐富的語(yǔ)義信息再考慮加入一個(gè)RGB-D相機(jī)。8. 多傳感器融合從“感覺(jué)”到“感知”單個(gè)傳感器提供的信息是片面、有噪聲、甚至可能失效的。多傳感器融合Sensor Fusion的目的就是像人類(lèi)大腦一樣綜合來(lái)自不同感官的信息形成一個(gè)對(duì)自身和環(huán)境更一致、更可靠、更完整的“感知”。融合的層次數(shù)據(jù)級(jí)融合最底層直接融合原始數(shù)據(jù)如將雙目攝像頭的左右圖像合成立體深度圖。要求傳感器高度同步和標(biāo)定。特征級(jí)融合中間層各自提取特征后融合。如視覺(jué)提取ORB特征點(diǎn)激光雷達(dá)提取邊緣點(diǎn)然后將這兩類(lèi)特征點(diǎn)一起用于位姿估計(jì)。決策級(jí)融合最高層各自做出局部決策后融合。如視覺(jué)模塊判斷“前方是門(mén)”激光雷達(dá)模塊判斷“前方無(wú)障礙物”決策系統(tǒng)綜合判斷“可以通過(guò)”。核心融合算法卡爾曼濾波器KF/EKF/UKF適用于線性/近似線性高斯系統(tǒng)是融合IMU和輪式里程計(jì)、GNSS的經(jīng)典方法。它基于狀態(tài)空間模型進(jìn)行“預(yù)測(cè)-更新”的遞歸估計(jì)。擴(kuò)展卡爾曼濾波器EKF針對(duì)非線性系統(tǒng)如機(jī)器人運(yùn)動(dòng)模型和觀測(cè)模型通常都是非線性的在局部進(jìn)行線性化是機(jī)器人狀態(tài)估計(jì)中最常用的濾波器之一。粒子濾波器PF適用于非高斯、多模態(tài)分布的系統(tǒng)如 kidnapped robot機(jī)器人被搬動(dòng)問(wèn)題。但計(jì)算量較大。圖優(yōu)化Graph Optimization現(xiàn)代SLAM的主流后端方法如g2o, GTSAM, Cartographer的后端。它將位姿和觀測(cè)約束構(gòu)建成一個(gè)圖通過(guò)優(yōu)化整個(gè)圖來(lái)得到全局一致的狀態(tài)估計(jì)。它比濾波器更能處理回環(huán)檢測(cè)和全局優(yōu)化。融合框架實(shí)踐機(jī)器人操作系統(tǒng)ROS/ROS2提供了強(qiáng)大的消息通信機(jī)制Topic/Service/Action和眾多現(xiàn)成的傳感器驅(qū)動(dòng)、融合算法包如robot_localization包用于融合里程計(jì)、IMU、GPSrtabmap_ros包用于視覺(jué)激光雷達(dá)融合SLAM是快速搭建多傳感器系統(tǒng)的利器。實(shí)操心得融合的開(kāi)始不是急于寫(xiě)代碼而是做好時(shí)間同步Time Synchronization和外參標(biāo)定Extrinsic Calibration。使用message_filters進(jìn)行近似時(shí)間同步或使用硬件觸發(fā)信號(hào)進(jìn)行精確同步。外參標(biāo)定不準(zhǔn)融合結(jié)果必然發(fā)散。9. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄在實(shí)際項(xiàng)目中感知定位系統(tǒng)出問(wèn)題是家常便飯。以下是一些典型問(wèn)題及排查思路問(wèn)題現(xiàn)象可能原因排查步驟與解決思路機(jī)器人定位突然跳變或丟失1. 傳感器數(shù)據(jù)中斷或異常。2. 環(huán)境發(fā)生劇烈變化如人搬動(dòng)了家具。3. 激光雷達(dá)/視覺(jué)特征匹配失敗如面對(duì)長(zhǎng)走廊、白墻。4. 回環(huán)檢測(cè)錯(cuò)誤。1.檢查數(shù)據(jù)流用rostopic hz或rqt_graph查看關(guān)鍵傳感器話(huà)題是否正常發(fā)布頻率是否穩(wěn)定。2.檢查傳感器數(shù)據(jù)用rviz可視化激光雷達(dá)點(diǎn)云、相機(jī)圖像看是否有異常如點(diǎn)云全為零、圖像花屏。3.增加運(yùn)動(dòng)約束在特征匱乏區(qū)域依賴(lài)IMU和輪式里程計(jì)進(jìn)行短時(shí)間航位推算。4.審查回環(huán)檢查回環(huán)檢測(cè)的匹配閾值或暫時(shí)關(guān)閉回環(huán)檢測(cè)功能看定位是否穩(wěn)定。建圖有重影或地圖扭曲1. 里程計(jì)誤差過(guò)大輪子打滑。2. 激光雷達(dá)運(yùn)動(dòng)畸變未補(bǔ)償。3. 傳感器外參標(biāo)定不準(zhǔn)。1.驗(yàn)證里程計(jì)讓機(jī)器人走一個(gè)正方形看最終位置是否閉合。不閉合說(shuō)明里程計(jì)有漂移需檢查編碼器或融合IMU。2.啟用去畸變?cè)赟LAM配置中開(kāi)啟激光雷達(dá)運(yùn)動(dòng)去畸變選項(xiàng)并確保提供了高頻率的IMU或里程計(jì)數(shù)據(jù)。3.重新標(biāo)定外參特別是雷達(dá)與機(jī)器人基座base_link之間的變換。可以使用tf工具查看坐標(biāo)變換是否合理。深度相機(jī)在陽(yáng)光下無(wú)法工作環(huán)境光特別是太陽(yáng)光中的紅外成分過(guò)強(qiáng)淹沒(méi)了相機(jī)自身的主動(dòng)紅外光信號(hào)。1.物理遮光為相機(jī)加裝遮光罩。2.更換傳感器類(lèi)型在強(qiáng)光室外場(chǎng)景考慮改用雙目視覺(jué)被動(dòng)光或激光雷達(dá)。3.調(diào)整參數(shù)有些相機(jī)可調(diào)節(jié)激光功率但在陽(yáng)光下作用有限。IMU姿態(tài)角特別是Yaw持續(xù)漂移1. IMU零偏未校準(zhǔn)或溫漂嚴(yán)重。2. 磁力計(jì)受干擾提供的航向參考錯(cuò)誤。3. 融合濾波器中IMU的噪聲參數(shù)設(shè)置不當(dāng)。1.重新校準(zhǔn)IMU嚴(yán)格按照流程進(jìn)行六面法和陀螺儀校準(zhǔn)。2.禁用磁力計(jì)在室內(nèi)或干擾多的環(huán)境嘗試在融合算法中不使用磁力計(jì)數(shù)據(jù)僅用加速度計(jì)和陀螺儀融合出Roll和PitchYaw角由視覺(jué)或激光SLAM提供。3.調(diào)整噪聲參數(shù)增大陀螺儀零偏的噪聲協(xié)方差讓濾波器更“信任”其他觀測(cè)源如視覺(jué)、磁力計(jì)來(lái)校正漂移。多傳感器時(shí)間不同步各傳感器時(shí)間戳來(lái)自不同的時(shí)鐘源系統(tǒng)時(shí)鐘、傳感器硬件時(shí)鐘存在微小偏移和漂移。1.使用message_filters在ROS中使用message_filters.ApproximateTime策略進(jìn)行軟件同步適用于大多數(shù)對(duì)同步要求不極端的場(chǎng)景。2.硬件觸發(fā)對(duì)于激光雷達(dá)和相機(jī)融合等要求嚴(yán)格同步的場(chǎng)景使用硬件觸發(fā)線讓一個(gè)主設(shè)備發(fā)送脈沖信號(hào)觸發(fā)從設(shè)備同時(shí)采集。3.時(shí)間戳對(duì)齊在數(shù)據(jù)預(yù)處理環(huán)節(jié)根據(jù)時(shí)間戳進(jìn)行插值對(duì)齊。最后分享一個(gè)我踩過(guò)的大坑早期做一個(gè)項(xiàng)目激光雷達(dá)和相機(jī)分別用USB和網(wǎng)線接到工控機(jī)上。SLAM運(yùn)行時(shí)總是不穩(wěn)定。排查了很久才發(fā)現(xiàn)工控機(jī)在高壓負(fù)載時(shí)USB控制器和網(wǎng)絡(luò)控制器的時(shí)間戳?xí)l(fā)生不可預(yù)測(cè)的微小抖動(dòng)。后來(lái)?yè)Q用了帶有精密時(shí)鐘同步功能的多合一傳感單元如某些品牌的組合導(dǎo)航系統(tǒng)或者為所有傳感器外接一個(gè)統(tǒng)一的硬件同步器問(wèn)題才徹底解決。所以當(dāng)你的多傳感器系統(tǒng)行為詭異時(shí)在懷疑算法之前先花時(shí)間檢查一下最基礎(chǔ)的供電、通信和時(shí)鐘同步。傳感器融合功夫往往在算法之外。