1. 首頁 > 生活百科 > >

浙江大學突破自動駕駛語言理解：機器也能讀懂\前面那輛藍色\了

挖掘機雷達自動駕駛汽車

【浙江大學突破自動駕駛語言理解：機器也能讀懂\前面那輛藍色\了】浙江大學突破自動駕駛語言理解：機器也能讀懂\前面那輛藍色\了

這項由浙江大學計算機科學學院的朱建科教授（通訊作者）、史展、王松以及優地科技的陳俊波等人合作完成的研究 ， 于2025年8月在arXiv預印本服務器上發表 。 有興趣深入了解的讀者可以通過https://github.com/RONINGOD/GroundingOcc訪問完整的數據集和代碼 。 這項研究首次將3D占用預測引入到視覺定位任務中 ， 為自動駕駛系統的人機交互開辟了全新道路 。

回到日常生活中 ， 當我們坐在副駕駛座位上給司機指路時 ， 經常會說\"前面那輛紅色SUV后面有個空位\"或者\"注意右邊那臺挖掘機\"這樣的話 。 對于人類司機來說 ， 理解這些描述并準確找到對應的車輛或物體是輕而易舉的事情 。 但是對于自動駕駛汽車來說 ， 這卻是一個極其復雜的技術挑戰 。 目前的自動駕駛系統雖然能夠檢測和識別道路上的各種物體 ， 但它們通常只能用簡單的方框來標記這些物體 ， 就像在照片上貼標簽一樣粗糙 。

這種傳統方法的問題在于 ， 真實世界中的物體形狀千差萬別 ， 用規整的長方形框來表示一臺形狀復雜的挖掘機顯然是不夠精確的 。 長方形框內有很大一部分空間實際上是空的 ， 這會導致自動駕駛系統對周圍環境的理解出現偏差 ， 進而影響行駛安全 。

為了解決這個問題 ， 研究團隊提出了一個全新的概念——3D占用定位 。 簡單來說 ， 就是讓自動駕駛系統不再用粗糙的方框來理解物體 ， 而是精確到每一個小立方體空間塊（稱為體素）來判斷哪里有物體、哪里是空的 。 這就像從用整塊積木搭建變成了用樂高小顆粒精細拼裝 ， 精度提升了好幾個數量級 。

這項研究的核心貢獻體現在三個方面 。 研究團隊構建了一個名為Talk2Occ的全新數據集 ， 這是世界上第一個專門用于3D占用定位的基準數據集 。 該數據集基于著名的nuScenes自動駕駛數據集構建 ， 包含了9925個物體樣本 ， 涵蓋15個不同類別 ， 從常見的轎車、卡車到行人、自行車 ， 甚至包括動物和建筑車輛等 。 每個樣本都配有自然語言描述和精確的3D占用標注 ， 為訓練和評估系統提供了豐富的數據基礎 。

在技術層面 ， 研究團隊開發了名為GroundingOcc的端到端模型 。 這個模型的設計思路就像一個經驗豐富的出租車司機 ， 能夠同時處理乘客的語言指令、觀察周圍的視覺環境 ， 并結合車載雷達的距離信息來準確定位目標 。 模型采用了從粗到細的漸進式處理策略 ， 先大致確定目標區域 ， 然后逐步細化到具體的體素級別 。 這種設計讓系統既保持了高效性 ， 又實現了高精度 。

為了增強系統的空間理解能力 ， 研究團隊還巧妙地引入了2D視覺定位模塊和深度估計模塊 。 2D定位模塊就像是給系統裝上了一雙善于觀察的眼睛 ， 能夠在二維圖像中快速定位目標物體 。 深度估計模塊則像是一個精準的測距儀 ， 能夠判斷物體距離車輛的遠近 。 這兩個輔助模塊的加入 ， 讓主系統的3D占用預測更加準確可靠 。

特別值得一提的是 ， 研究團隊在深度信息的處理上有一個重要創新 。 傳統方法通常直接將稀疏的激光雷達點云投影到圖像上生成深度圖 ， 但這種方法會產生很多空洞和不準確的區域 。 新方法則采用了基于占用網格的射線投射技術 ， 就像用探照燈掃描一樣 ， 從相機位置向每個像素方向發射虛擬射線 ， 直到碰到第一個被占用的體素 ， 從而生成更加完整準確的深度圖 。

在實驗驗證方面 ， 研究團隊設計了多套對比方案來全面評估系統性能 。 由于這是一個全新的研究方向 ， 目前還沒有現成的對比方法 ， 因此團隊設計了基于激光雷達、基于相機以及多模態融合的三種基線方法 。 這些基線方法采用兩階段處理流程 ， 先進行傳統的3D物體檢測 ， 再在檢測到的邊界框內進行占用預測 。

實驗結果顯示 ， GroundingOcc方法在各項指標上都取得了顯著優勢 。 在最重要的定位精度指標Acc@0.25上 ， 該方法達到了32.68%的準確率 ， 相比最強的多模態基線方法提升了18.13個百分點 。 這個提升幅度在計算機視覺領域是相當可觀的 ， 說明了新方法的有效性 。

通過詳細的消融實驗 ， 研究團隊還驗證了各個組件的重要性 。 多幀融合技術能夠利用歷史信息提升系統的穩定性 ， 深度預測模塊顯著改善了距離感知能力 ， 2D定位模塊則為3D定位提供了重要的空間先驗信息 。 這些組件的協同工作 ， 共同構成了一個性能優異的完整系統 。

從技術實現的角度來看 ， 系統采用了先進的Transformer架構來處理多模態信息融合 。 文本編碼器使用了預訓練的RoBERTa模型來理解自然語言描述 ， 圖像特征提取采用了ResNet101骨干網絡 ， 點云處理則使用了高效的稀疏3D卷積 。 整個系統在4張英偉達RTX 4090顯卡上進行訓練 ， 充分利用了現代GPU的并行計算能力 。

這項研究的意義不僅僅局限于技術層面的突破 。 在實際應用中 ， 更精確的3D占用理解能夠讓自動駕駛汽車更好地規劃行駛路徑 ， 避免與不規則形狀的障礙物發生碰撞 。 比如在建筑工地附近行駛時 ， 系統能夠準確識別挖掘機的真實占用空間 ， 而不是簡單地用一個大框框住整臺設備 ， 從而為路徑規劃提供更精確的空間信息 。

此外 ， 這項技術還為人機交互提供了新的可能性 。 未來的自動駕駛汽車不僅能夠理解\"前面那輛車\"這樣的簡單指令 ， 還能處理更復雜的空間描述 ， 如\"停在那臺挖掘機旁邊的空地上\"或\"繞過右側那堆建筑材料\" 。 這將讓自動駕駛汽車的使用體驗更加自然流暢 。

當然 ， 這項研究也面臨一些挑戰和限制 。 在處理模糊指令或場景中存在多個相似物體時 ， 系統的性能還有待提升 。 比如當乘客說\"那輛白色轎車\"而現場有多輛白色轎車時 ， 系統就需要更強的推理能力來確定具體是哪一輛 。 研究團隊在論文中坦誠地指出了這些局限性 ， 并表示這將是未來研究的重點方向 。

從更宏觀的角度來看 ， 這項研究代表了自動駕駛技術向更高層次智能化的重要一步 。 傳統的自動駕駛系統更多關注的是\"看得見\"和\"能避障\" ， 而新的研究方向則致力于讓機器\"理解得更深入\"和\"交流得更自然\" 。 這種從感知到理解的跨越 ， 正是實現真正智能化交通的關鍵環節 。

研究團隊還貼心地將完整的數據集和代碼開源 ， 為學術界和工業界的后續研究提供了寶貴資源 。 這種開放的態度不僅有助于技術的快速發展 ， 也體現了研究者們推動整個領域進步的責任感 。

展望未來 ， 這項技術的應用前景非常廣闊 。 除了自動駕駛汽車 ， 它還可能被應用到服務機器人、無人機導航、增強現實等多個領域 。 設想一下 ， 未來的家政機器人能夠理解\"把那個放在沙發后面的花瓶移到茶幾上\"這樣的指令 ， 并精確執行相應操作 ， 這將極大地提升人機協作的效率和體驗 。

總的來說 ， 浙江大學團隊的這項研究為自動駕駛和人工智能領域帶來了令人振奮的技術突破 。 通過將精確的3D空間理解與自然語言處理相結合 ， 他們不僅解決了一個重要的技術難題 ， 更為未來智能交通系統的發展指明了新的方向 。 隨著技術的不斷完善和應用的逐步推廣 ， 我們有理由相信 ， 更智能、更安全、更人性化的自動駕駛時代正在向我們走來 。

Q&A

Q1：Talk2Occ數據集和傳統的自動駕駛數據集有什么不同？

A：Talk2Occ是首個專門用于3D占用定位的數據集 ， 它不僅包含傳統的3D邊界框標注 ， 還提供了精確到體素級別的占用信息和自然語言描述 。 數據集包含9925個物體樣本 ， 涵蓋15個類別 ， 每個樣本都有詳細的空間占用標注 ， 能夠精確描述物體在三維空間中的真實形狀 。

Q2：GroundingOcc模型的核心優勢是什么？

A：GroundingOcc采用端到端的單階段架構 ， 相比傳統的兩階段方法更加高效 。 它融合了視覺、文本和點云信息 ， 通過2D定位模塊和深度估計模塊增強空間理解能力 。 在Talk2Occ數據集上 ， 該方法的定位精度達到32.68% ， 比最強基線方法提升了18.13個百分點 。

Q3：這項3D占用定位技術能解決什么實際問題？

A：傳統方法用規整方框標記物體會導致精度不足 ， 特別是對于挖掘機等不規則形狀的物體 。 3D占用定位能精確到每個體素塊 ， 讓自動駕駛系統更準確地理解周圍環境 ， 提供更安全的路徑規劃 。 同時支持自然語言交互 ， 讓人機溝通更加直觀便捷 。

    推薦閱讀