導讀： 本次分享的大綱——

• Perception Introduction
• Sensor Setup & Sensor Fusion
• Perception Onboard System
• Perception Technical Challenges

--

01 Perception Introduction

Perception系統是以多種sensor的資料，以及高精度地圖的資訊作為輸入，經過一系列的計算及處理，對自動駕駛車的周圍的環境精確感知。能夠為下游模組提供豐富的資訊，包括障礙物的位置、形狀、類別及速度資訊，也包括對一些特殊場景的語義理解（包括施工區域，交通訊號燈及交通路牌等）。

Perception系統包括多個方面及子系統：

• 感測器：感測器的安裝，視場角，探測距離，資料吞吐、標定精度，時間同步。因為用到的感測器比較多，時間同步的解決方案這裡會起到非常重要的作用。
• 目標檢測及分類：為了保證車輛百分百的安全，能夠達到近似百分之百的召回率及非常高的準確率；這裡會涉及到深度學習方面的工作，包括3D點雲及2D Image上的物體檢測及多感測器融合方面等。
• 多目標追蹤：跟進多幀的資訊計算並預測障礙物的運動軌跡。
• 場景理解，包括交通訊號燈，路牌，施工區域，以及特殊類別，比如校車，警車。
• 機器學習分散式訓練基礎架構及相關的Evaluation評價系統。
• 資料：大量的標註資料，這裡包括3D點雲資料及2D的圖片資料等。

目前感測器主要分為3個類別：

• Lidar鐳射雷達；
• Camera相機；
• Radar毫米波雷達。

這張圖相當於Perception物體檢測的輸出，能夠檢測車輛周圍的障礙物，包括車輛、行人、自行車等，同時結合高精度地圖，會對周邊的Background資訊進行輸出。

圖中綠顏色的是一輛車，橙色的是一輛摩托車，黃顏色的是一個行人，灰顏色是一些背景如植被資訊。

結合多幀的資訊，對運動的行人和車輛的速度，方向，進行精確的輸出。

--

02 Sensor Setup & Sensor Fusion

以上是Perception系統從輸入到輸出的一個大概介紹。接下來總體介紹Pony.ai第三代車輛的感測器安裝方案以及感測器融合的解決方案。

目前我們的整個感測器安裝的解決方案，是能夠覆蓋360度，範圍200米的感知距離。從不同感測器的安裝，不同角度來看，首先用到了3個鐳射雷達，頂部和兩側。鐳射雷達有100米的感知距離。同時通過4個廣角的攝像頭來覆蓋相機360度的視野。遠處的視野通過前向的毫米波雷達以及長焦的相機，將感知距離擴到200米的範圍。這套感測器配置能保證我們的自動駕駛車輛在居民區、商業區、工業區這樣的場景進行自動駕駛。

18年9月份世界人工智慧大會上推出的第3代的感測器配置方案。

前邊的相機兩個廣角，一個長焦。使得可以看到更遠距離的訊號燈的資訊，兩百米內紅綠燈的狀態。

上面介紹了整個感測器的安裝方案。下面主要介紹下多感測器融合的解決方案。

第一個要解決的問題是把不同的感測器的資料標定到同一個座標系裡。包括相機的內參標定，Lidar到相機的外參標定，雷達到GPS的外參標定。

感測器融合重要的前提是要能把標定精度提高到非常高的一個精度，不管是做結果層面的感測器融合，還是元資料層面的感測器融合，是一個必要的基礎。

這張圖可以看到，我們將3D的鐳射點雲投射到影像上，可以看到感測器標定的精度還是挺高的。

整個標定的工作基本上已經做到完全自動化的方式。不同感測器標定的方案：

首先是相機內參的標定，內參的標定平臺對每一個相機能夠在兩到三分鐘之內做到感測器的標定。

這個圖是相機到鐳射雷達的外參標定，鐳射雷達是360度旋轉的方式，每旋轉一週是100毫秒。相機是某一瞬時曝光的問題，所以涉及到時間同步的一個方式，通過Lidar來觸發相機曝光。比如說我們有4個相機，能夠通過鐳射雷達去保證時間同步。

3D和2D彼此互補，二者更好的融合能夠對感知會有更精確的輸出。

--

03 Perception Onboard

上面大概介紹了整個perception的sensor的setup，以及sensor fusion做法。接下來介紹車載的Perception Onboard的架構是什麼樣的，以及解決方案是什麼。

這是整個Perception Onboard的架構。首先用LiDAR，Camera，Radar三種sensor資料通過時間同步，所有的時間誤差控制在50毫秒以內。結合sensor的資料，進行frame wise的detection及classification等計算，最後利用多frame資訊進行多目標跟蹤，最後將相關結果輸出。這裡涉及到Sensor Fusion, Deep Learning相關的技術細節，這裡不做過多的討論。

• 整個Perception 系統的解決方案要保證這5點：
• 首先是安全，保證近乎百分之百的detection 的recall
• Precision要求非常高，如果低於某個閾值，造成False Positive，車輛在自動駕駛狀態下會非常不舒適
• 儘量輸出所有對行車有幫助的資訊，包括路牌，交通訊號燈及其它場景理解的資訊
• 保證高效的執行，能夠近實時的處理大量的sensor的資料
• scalability可擴充套件性也很重要，deep learning 依賴大量資料，整個模型的泛化能力如何都是非常重要的。能夠讓我們的model和一些新的演算法能夠去適配更多的城市和更多的國家。

--

04 Perception Technical Challenges

下面分享有挑戰性的一些場景：

第一部分：precision和recall的balance；

第二部分：長尾場景。

這是晚高峰的十字路口的繁忙場景，有大量行人摩托車穿過十字路口。

通過3D點雲資料能夠看到的對應的原始資料。

雨天的問題。自動駕駛系統在一些特殊的或者惡劣的天氣條件下，處理是非常難的。

比如，鐳射雷達是能打到水花的。圖中白色的是對水花的filter。如果不能對水花進行準確的識別和過濾，會對自動駕駛車輛造成麻煩。這裡看到我們目前系統的處理結果，結合Lidar & Camera的資料，對水花有很高的識別率。

長尾的問題

這個是我們在路測時，遇到的兩種灑水車。左邊是向上噴的霧炮，右邊是向兩側噴的灑水車。人類司機可以很容易超過灑水車，但是對於感知系統來說，需要花很多的時間去處理和識別這類場景和車輛，最後讓自動駕駛車輛在遇到類似場景獲得更好的體感。

小物體的檢測

意想不到的事件，路測時比如流浪的小貓小狗的突然出現，我們期望感知系統能夠對小物體能夠有準確的召回。

對紅綠燈來說會更有挑戰。會一直遇到新的場景。因為在不同的城市或國家會遇到各種各樣的紅綠燈。

逆光的問題，或者突然從橋洞下邊出來相機曝光的問題。通過動態的去調整相機曝光等方式去解決。

這個也是紅綠燈的場景，紅綠燈上有倒計時，我們需要識別出倒計時，能夠讓自動駕駛車輛遇到黃燈時，乘車體驗更好。

雨天攝像頭的防水問題，也是處理極端氣候條件下所必須具備的。

紅綠燈進進度條的識別，綠等快變黃要減速。

今天的分享就到這裡，謝謝大家。
本文首發於微信公眾號“DataFunTalk”。
本文由部落格一文多發平臺 OpenWrite 釋出！