道拓?fù)渫评硌葸M(jìn):從程序化建模到車(chē)載傳感器)
0. 導(dǎo)讀車(chē)道拓?fù)渫评韺?duì)于高精建圖和自動(dòng)駕駛應(yīng)用至關(guān)重要從早期的程序化建模方法發(fā)展到基于車(chē)載傳感器的方法但是很少有工作對(duì)車(chē)道拓?fù)渫评砑夹g(shù)進(jìn)行全面概述。為此本文系統(tǒng)性地調(diào)研了車(chē)道拓?fù)渫评砑夹g(shù)同時(shí)確定了未來(lái)研究的挑戰(zhàn)和機(jī)遇旨在為研究者和從業(yè)者提供對(duì)這一快速發(fā)展領(lǐng)域的寶貴見(jiàn)解。論文題目A Concise Survey on Lane Topology Reasoning for HD Mapping論文作者Yi Yao, Miao Fan, Shengtong Xu, Haoyi Xiong, Xiangzeng Liu, Wenbo Hu, Wenbing Huang論文地址https://arxiv.org/abs/2504.019891. 摘要車(chē)道拓?fù)渫评砑夹g(shù)在高精 (HD) 建圖和自動(dòng)駕駛應(yīng)用中發(fā)揮著至關(guān)重要的作用。雖然近年來(lái)在該領(lǐng)域中取得了重大進(jìn)展但是很少有文獻(xiàn)綜合概述這些工作。本項(xiàng)調(diào)研系統(tǒng)性地回顧了車(chē)道拓?fù)渫评矸椒ǖ难葑兒同F(xiàn)狀將其分為三種主要范式基于程序化建模的方法、基于航拍圖像的方法和基于車(chē)載傳感器的方法。本文分析了從早期基于規(guī)則的方法到現(xiàn)代基于學(xué)習(xí)的解決方案的進(jìn)展這些基于學(xué)習(xí)的解決方案利用了transformers、圖神經(jīng)網(wǎng)絡(luò) (GNNs) 和其它深度學(xué)習(xí)架構(gòu)。本文研究了標(biāo)準(zhǔn)化的評(píng)估指標(biāo)包括道路級(jí)指標(biāo)APLS和TLTS評(píng)分和車(chē)道級(jí)指標(biāo)DET和TOP評(píng)分以及在OpenLane-V2等基準(zhǔn)數(shù)據(jù)集上的性能比較。本文確定了關(guān)鍵的技術(shù)挑戰(zhàn)包括數(shù)據(jù)集可用性和模型效率并且總結(jié)了未來(lái)研究中有前景的方向。這篇綜述為研究者和從業(yè)者提供了對(duì)高精建圖應(yīng)用中車(chē)道拓?fù)渫评淼睦碚摽蚣?、?shí)際實(shí)現(xiàn)和新興趨勢(shì)的見(jiàn)解。2. 介紹高精 (HD) 地圖是自動(dòng)駕駛的基礎(chǔ)它提供了道路網(wǎng)絡(luò)、車(chē)道配置和交通元素的詳細(xì)表示。在高精建圖的各方面中車(chē)道拓?fù)渫评砝斫獠煌?chē)道如何相互連接和關(guān)聯(lián)見(jiàn)圖3對(duì)于安全且高效的自主導(dǎo)航尤為重要。在過(guò)去的二十年里該領(lǐng)域發(fā)生了重大的演變從簡(jiǎn)單的基于規(guī)則的方法發(fā)展到復(fù)雜的深度學(xué)習(xí)方法。圖 3. 交叉路口處車(chē)道拓?fù)涞氖疽鈭D車(chē)道拓?fù)渫评矸椒ǖ陌l(fā)展大致可分為三種主要范式。早期的方法依賴(lài)于程序化建模技術(shù)利用計(jì)算機(jī)圖形學(xué)和基于規(guī)則的系統(tǒng)來(lái)生成道路網(wǎng)絡(luò)。這些方法較為基礎(chǔ)它們依賴(lài)于人工設(shè)計(jì)的規(guī)則并且缺乏靈活性因此受到限制。基于航拍圖像方法的出現(xiàn)標(biāo)志著一項(xiàng)重大轉(zhuǎn)變它引入了計(jì)算機(jī)視覺(jué)技術(shù)從俯視圖中提取道路拓?fù)浣Y(jié)構(gòu)。然而這些方法往往難以解決由建筑物和樹(shù)木造成的遮擋問(wèn)題它們只能提取粗略的道路級(jí)網(wǎng)絡(luò)。近年來(lái)已經(jīng)見(jiàn)證了基于車(chē)載傳感器方法的出現(xiàn)見(jiàn)圖1這代表著車(chē)道拓?fù)渫评眍I(lǐng)域的最新進(jìn)展。圖 1. 高精HD建圖的車(chē)道拓?fù)渫评韴D示這些方法利用了深度學(xué)習(xí)架構(gòu)它們通常由幾個(gè)關(guān)鍵組件組成用于特征提取的主干網(wǎng)絡(luò)例如ResNet或者Swin Transformer、用于鳥(niǎo)瞰圖轉(zhuǎn)換的透視變換、車(chē)道中心線檢測(cè)和拓?fù)渫评砟K?,F(xiàn)代方法通常結(jié)合多種輸入模態(tài)包括相機(jī)、激光雷達(dá)和現(xiàn)有的SD地圖以提高性能?;趖ransformer的架構(gòu)和圖神經(jīng)網(wǎng)絡(luò) (GNNs) 的引入進(jìn)一步推動(dòng)了該領(lǐng)域的發(fā)展實(shí)現(xiàn)了更復(fù)雜的拓?fù)渫评砟芰Α,F(xiàn)有的研究詳細(xì)介紹了高精地圖創(chuàng)建和車(chē)道拓?fù)錁?gòu)建但是它們?nèi)狈?duì)最新研究的系統(tǒng)性介紹。本篇綜述全面回顧了車(chē)道拓?fù)渫评矸椒ǚ治隽怂鼈兊难葑?、能力和局限性。本文研究了該領(lǐng)域中使用的不同評(píng)估指標(biāo)包括道路級(jí)指標(biāo)和車(chē)道級(jí)指標(biāo)并且比較了各種方法在標(biāo)準(zhǔn)基準(zhǔn)上的性能。此外本文還討論了當(dāng)前的挑戰(zhàn)并且確定了未來(lái)研究中有前景的方向旨在為研究者和從業(yè)者提供對(duì)這一快速發(fā)展領(lǐng)域的寶貴見(jiàn)解。3. 方法回顧本節(jié)回顧了2024年之前發(fā)表的具有代表性的車(chē)道拓?fù)渫评矸椒?。如圖2所示這些方法根據(jù)其發(fā)展范式分為三類(lèi)。圖 2. 2001年至2024年車(chē)道拓?fù)渫评硌芯康难葑冋故玖嗽擃I(lǐng)域的方法進(jìn)展和技術(shù)轉(zhuǎn)型。時(shí)間線跟蹤了三種不同的方法基于程序化建模的方法藍(lán)色箭頭、基于航拍圖像的方法綠色箭頭和基于車(chē)載傳感器的方法橙色箭頭程序化建模在2017年之前就已經(jīng)盛行基于航拍圖像的方法在2017年至2022年期間獲得了主流地位。自2023年以來(lái)基于車(chē)載傳感器的解決方案變得越來(lái)越普遍。3.1. 程序化建模的方法車(chē)道拓?fù)渫评淼脑缙谔剿髦饕捎糜?jì)算機(jī)建模技術(shù)來(lái)模擬城市道路網(wǎng)絡(luò)其主要優(yōu)點(diǎn)是數(shù)據(jù)放大能力強(qiáng)。這些方法的工作流程如圖4所示。圖 4. 基于程序化建模方法的流程在輸入城市的2D圖像地圖例如地理地圖和統(tǒng)計(jì)地圖后這些方法生成了包含建筑物、道路網(wǎng)絡(luò)和其它城市特征的虛擬城市地圖。交互式參數(shù)調(diào)整使得用戶(hù)能夠根據(jù)特定要求來(lái)優(yōu)化結(jié)果。Parish等人提出了將L-system應(yīng)用于生成城市道路網(wǎng)絡(luò)的開(kāi)創(chuàng)性工作這一概念在后續(xù)研究中得到了進(jìn)一步擴(kuò)展。Chen等人引入了張量場(chǎng)表示來(lái)建模道路幾何形狀。隨后的改進(jìn)引入了額外的約束和功能。地形感知方法確保了地理一致性而智能仿真技術(shù)增強(qiáng)了交通建模的真實(shí)性。此外基于草圖的方法實(shí)現(xiàn)了直觀的用戶(hù)交互示例驅(qū)動(dòng)的方法利用預(yù)先存在的數(shù)據(jù)來(lái)加快道路網(wǎng)絡(luò)生成。3.2. 基于航拍圖像的方法盡管基于程序化建模的方法是該領(lǐng)域的基礎(chǔ)但是這些方法的可控性仍然有限并且嚴(yán)重依賴(lài)于人工設(shè)計(jì)的規(guī)則。此外評(píng)估這些規(guī)則和參數(shù)對(duì)最終輸出的影響本身具有挑戰(zhàn)性這需要大量的迭代實(shí)驗(yàn)來(lái)獲得令人滿意的結(jié)果。因此這些方法缺乏靈活性。相比之下深度學(xué)習(xí)的興起通過(guò)從航拍圖像中直接提取道路拓?fù)浣Y(jié)構(gòu)從而徹底改變了高精建圖技術(shù)。這些方法利用了神經(jīng)網(wǎng)絡(luò)這最大限度地減少了人工干預(yù)并且簡(jiǎn)化了建圖過(guò)程。這些方法的一般工作流程如圖5所示。圖 5. 基于航拍圖像方法的流程一些方法利用語(yǔ)義分割網(wǎng)絡(luò)來(lái)識(shí)別航拍圖像中的道路區(qū)域然后進(jìn)行形態(tài)學(xué)后處理以提取道路拓?fù)?。替代方法包括迭代圖構(gòu)造和圖生長(zhǎng)方法。迭代圖構(gòu)造方法通過(guò)從道路網(wǎng)絡(luò)中識(shí)別幾個(gè)頂點(diǎn)并且根據(jù)預(yù)定義的決策函數(shù)迭代地添加新的頂點(diǎn)和邊來(lái)逐步擴(kuò)展圖。相比之下圖生成方法更為直接。這些方法采用矢量場(chǎng)編碼策略它們首先將航拍圖像編碼為潛在表示。神經(jīng)網(wǎng)絡(luò)隨后用于預(yù)測(cè)圖頂點(diǎn)然后解碼過(guò)程預(yù)測(cè)鄰接矩陣并且重建道路網(wǎng)絡(luò)。3.3. 基于車(chē)載傳感器的方法盡管基于航拍圖像的方法為該領(lǐng)域引入了新的方法但是它們僅限于提取粗略的道路級(jí)網(wǎng)絡(luò)。此外建筑物和樹(shù)木造成的遮擋往往會(huì)使道路在航拍圖像中不完整從而影響結(jié)果的準(zhǔn)確性。因此這些方法不適合自動(dòng)構(gòu)建高精地圖或者為自動(dòng)駕駛汽車(chē)規(guī)劃行為。為了解決這些局限性基于車(chē)載傳感器的方法逐漸興起它們利用從車(chē)載傳感器捕獲的單模態(tài)或者多模態(tài)數(shù)據(jù)來(lái)構(gòu)建自車(chē)周?chē)脑敿?xì)車(chē)道拓?fù)?。這些方法代表了高精建圖的重大轉(zhuǎn)變它們提供了更高的準(zhǔn)確性和適用性。圖6展示了基于車(chē)載傳感器方法的典型流程包括主干網(wǎng)絡(luò)、透視變換、車(chē)道解碼器和拓?fù)浣獯a器。圖 6. 基于車(chē)載傳感器方法的流程主干部分通常由特征提取網(wǎng)絡(luò)組成例如 ResNet 和 Swin Transformer。然后透視變換將這些特征轉(zhuǎn)換為鳥(niǎo)瞰圖 (BEV) 格式。在獲得BEV特征后通常使用基于transformer的架構(gòu)來(lái)設(shè)計(jì)車(chē)道中心線解碼器以根據(jù)信息要求輸出車(chē)道中心線特征。在這部分中通常使用一組學(xué)習(xí)到的查詢(xún)向量來(lái)映射不同的中心線實(shí)例。拓?fù)浣獯a器的功能是在這些車(chē)道中心線實(shí)例之間建立連接通常使用GNNs、MLPs和語(yǔ)言模型。除了車(chē)載相機(jī)圖像外一些方法還使用補(bǔ)充數(shù)據(jù)源來(lái)增強(qiáng)輸入特征包括SD地圖、激光雷達(dá)點(diǎn)云和交通元素例如交通信號(hào)燈和交通標(biāo)志牌從而提高了性能。Can等人提出了首批工作之一他們使用來(lái)自前視相機(jī)的單幀圖像作為輸入并且采用類(lèi)似于DETR的基于transformer的架構(gòu)來(lái)預(yù)測(cè)中心線實(shí)例。該方法使用額外的MLPs來(lái)輸出中心線實(shí)例的連接關(guān)系。同樣另一些方法也使用一組MLPs來(lái)預(yù)測(cè)拓?fù)潢P(guān)系。在先前工作的基礎(chǔ)上Can等人引入了最小環(huán)的概念并且準(zhǔn)確估計(jì)了交叉路口區(qū)域的車(chē)道連接關(guān)系。LaneGAP通過(guò)采用Path2Graph算法來(lái)恢復(fù)拓?fù)潢P(guān)系從而進(jìn)一步改進(jìn)了拓?fù)涔烙?jì)。HDMapGen僅使用基于圖的模型來(lái)自回歸地生成車(chē)道拓?fù)?。一些解決方案首先檢測(cè)車(chē)道中心線并且將每條車(chē)道中心線映射到頂點(diǎn)然后使用基于圖的模型來(lái)更新車(chē)道拓?fù)洹4送饬硪恍┓椒▽?duì)車(chē)道中心線特征進(jìn)行序列化并且使用語(yǔ)言模型來(lái)建立拓?fù)潢P(guān)系。3.4. 其它方法盡管本項(xiàng)調(diào)研著重于上述三種方法類(lèi)型但是也存在其它重要的方法。例如Jia等人根據(jù)現(xiàn)有高精地圖中的車(chē)道線和道路邊界來(lái)生成車(chē)道拓?fù)銱e等人和Stanojevic等人從GPS軌跡中提取車(chē)道拓?fù)洹?. 數(shù)據(jù)集與基準(zhǔn)本節(jié)列出了上述方法中常用的數(shù)據(jù)集。此外本文還研究了該領(lǐng)域中使用的不同評(píng)估指標(biāo)并且比較了各種方法在基準(zhǔn)數(shù)據(jù)集上的性能。4.1. 數(shù)據(jù)集相關(guān)數(shù)據(jù)集可以分為2D數(shù)據(jù)集和3D數(shù)據(jù)集。表格1總結(jié)了這些數(shù)據(jù)集它們通過(guò)提供針對(duì)特定研究需求而設(shè)計(jì)的多樣化且高質(zhì)量的數(shù)據(jù)在推進(jìn)道路拓?fù)涮崛『蛙?chē)道拓?fù)渫评矸矫姘l(fā)揮關(guān)鍵作用。表格1當(dāng)前相關(guān)數(shù)據(jù)集的比較(1) 2D數(shù)據(jù)集為了從航拍圖像中提取道路拓?fù)浣Y(jié)構(gòu)已經(jīng)使用了幾個(gè)2D數(shù)據(jù)集包括SpaceNet、DeepGlobe和Topo-boundary。SpaceNet是一個(gè)包含建筑和道路網(wǎng)絡(luò)標(biāo)注的大規(guī)模數(shù)據(jù)集它廣泛應(yīng)用于城市拓?fù)涮崛∪蝿?wù)。DeepGlobe專(zhuān)注于具有不同土地覆蓋類(lèi)型的鄉(xiāng)村地區(qū)該數(shù)據(jù)集提供了高密度的道路網(wǎng)絡(luò)標(biāo)注使其適用于需要在非城市環(huán)境中進(jìn)行建圖的任務(wù)。Topo-boundary是專(zhuān)門(mén)為離線拓?fù)涞缆愤吔鐧z測(cè)而設(shè)計(jì)的。(2) 3D數(shù)據(jù)集nuScenes、Argoverse2和OpenLane-V2是基于車(chē)載傳感器的方法中使用的重要數(shù)據(jù)集。nuScenes和Argoverse2都由來(lái)自高分辨率車(chē)載傳感器包括相機(jī)和激光雷達(dá)的數(shù)據(jù)組成。OpenLane-V2是專(zhuān)門(mén)為車(chē)道拓?fù)渫评砣蝿?wù)而設(shè)計(jì)的獨(dú)特3D數(shù)據(jù)集它分為兩個(gè)子集subset_A和subset_B分別來(lái)自Argoverse2和nuScenes。這些子集確保了全面覆蓋與車(chē)道拓?fù)渫评硐嚓P(guān)的場(chǎng)景。4.2. 評(píng)估指標(biāo)三個(gè)像素級(jí)指標(biāo)精度、召回率和F1評(píng)分和兩個(gè)拓?fù)浼?jí)指標(biāo)APLS評(píng)分和TLTS評(píng)分是基于航拍圖像的方法中常用的道路級(jí)指標(biāo)。此外車(chē)道級(jí)指標(biāo)例如感知指標(biāo)DETl評(píng)分和推理指標(biāo)TOPll評(píng)分在基于車(chē)載傳感器的方法中廣泛應(yīng)用于車(chē)道中心線之間的拓?fù)浣Y(jié)構(gòu)?;诔绦蚧5姆椒ㄈ狈σ恢碌脑u(píng)估指標(biāo)因此這里不討論它們。4.3. 比較結(jié)果表格2展示了三種基于航拍圖像的方法基于分割、迭代圖構(gòu)建和圖生長(zhǎng)在Topo-boundary數(shù)據(jù)集上的定量結(jié)果。表格2最先進(jìn)的基于航拍圖像的方法在Topo-boundary數(shù)據(jù)集上的性能比較表格3展示了基于車(chē)載傳感器的方法在OpenLane-V2數(shù)據(jù)集上的定量結(jié)果。表格3最先進(jìn)的基于車(chē)載傳感器的方法在OpenLane-V2數(shù)據(jù)集上的性能比較5. 挑戰(zhàn)盡管在高精建圖的車(chē)道拓?fù)渫评矸矫嫒〉昧酥卮筮M(jìn)展但是仍然存在若干項(xiàng)挑戰(zhàn)有待解決(1) 專(zhuān)用于車(chē)道拓?fù)渫评淼臄?shù)據(jù)集構(gòu)建受到高成本的阻礙這限制了大規(guī)模、高質(zhì)量數(shù)據(jù)集的可用性。因此需要更多的研究工作來(lái)開(kāi)發(fā)針對(duì)車(chē)道拓?fù)渫评淼目色@取且魯棒的數(shù)據(jù)集。(2) 盡管基于車(chē)載傳感器的方法代表了最新技術(shù)但是它們通常涉及具有大型參數(shù)規(guī)模的模型。這限制了它們?cè)谧詣?dòng)駕駛汽車(chē)或者邊緣設(shè)備上的直接部署這些設(shè)備具有嚴(yán)格的計(jì)算和能量限制。因此開(kāi)發(fā)能夠?qū)崟r(shí)構(gòu)建高精地圖的輕量級(jí)模型是至關(guān)重要的。(3) 用于車(chē)道拓?fù)渫评淼穆穫?cè)和車(chē)載相機(jī)數(shù)據(jù)融合仍然沒(méi)有得到充分探索。與車(chē)載相機(jī)不同路側(cè)傳感器例如道路視頻監(jiān)控為高精建圖提供了一個(gè)互補(bǔ)的視角緩解了周?chē)?chē)輛的遮擋問(wèn)題并且提高了準(zhǔn)確性。然而關(guān)于這一領(lǐng)域的研究文獻(xiàn)有限因此需要進(jìn)一步研究。6. 總結(jié)車(chē)道拓?fù)渫评砑夹g(shù)已經(jīng)成為高精建圖和自動(dòng)駕駛應(yīng)用中的關(guān)鍵組成部分從早期的程序化建模階段快速發(fā)展成現(xiàn)代的基于車(chē)載傳感器的方法。本篇綜述對(duì)這一進(jìn)展進(jìn)行了全面分析突出了取得的重大進(jìn)展同時(shí)確定了未來(lái)研究中的挑戰(zhàn)和機(jī)遇?,F(xiàn)代技術(shù)在捕獲復(fù)雜的車(chē)道拓?fù)浞矫嬲宫F(xiàn)出卓越的性能。各種數(shù)據(jù)源包括相機(jī)圖像、激光雷達(dá)點(diǎn)云和現(xiàn)有的SD地圖的集成進(jìn)一步提高了這些系統(tǒng)的魯棒性和準(zhǔn)確性。然而一些關(guān)鍵挑戰(zhàn)依然存在。大規(guī)模、高質(zhì)量數(shù)據(jù)集的可用性受限繼續(xù)制約著模型的開(kāi)發(fā)和驗(yàn)證。此外當(dāng)前架構(gòu)的計(jì)算需求對(duì)資源受限環(huán)境中的實(shí)時(shí)應(yīng)用提出了挑戰(zhàn)。對(duì)于該領(lǐng)域中的未來(lái)研究一個(gè)有前景的方向是通過(guò)采用路側(cè)基礎(chǔ)設(shè)施輔助的車(chē)輛感知技術(shù)來(lái)構(gòu)建車(chē)道拓?fù)洹?