前言

隨著人工智能及其軟硬件技術的進步，近年來自動駕駛獲得了快速發(fā)展。自動駕駛系統(tǒng)已經被應用于民用汽車輔助駕駛器、自動物流機器人、無人機等領域。感知組件是自動駕駛系統(tǒng)的核心，它使得車輛能夠分析并理解內外交通環(huán)境信息。然而，與其他軟件系統(tǒng)一樣，自動駕駛感知系統(tǒng)困擾于軟件缺陷。并且，自動駕駛系統(tǒng)運行于安全攸關場景，其軟件缺陷可能導致災難性后果。近年來，已經發(fā)生多起自動駕駛系統(tǒng)缺陷導致的人員傷亡事故。自動駕駛系統(tǒng)測試技術受到學術界和工業(yè)界的廣泛重視。企業(yè)與研究機構提出了一系列包括虛擬仿真測試、實景道路測試和虛實結合測試等在內的技術和環(huán)境。然而，由于自動駕駛系統(tǒng)輸入數(shù)據(jù)類型的特殊性和運行環(huán)境的多樣性，這類測試技術的實施過程需要消耗過多資源，并需要承擔較大風險。本文簡要分析當前自動駕駛感知系統(tǒng)測試方法的研究和應用現(xiàn)狀。

1 自動駕駛感知系統(tǒng)測試

自動駕駛感知系統(tǒng)的質量保障越來越重要。感知系統(tǒng)需要幫助車輛自動分析和理解路況信息，其構成非常復雜，需要充分檢驗待測系統(tǒng)在眾多交通場景下的可靠性和安全性。當前自動駕駛感知測試主要分為三大類。無論何種測試方法，都表現(xiàn)出了一個區(qū)別于傳統(tǒng)測試的重要特征，即對于測試數(shù)據(jù)的強依賴性。

第一類測試主要基于軟件工程理論和形式化方法等，以感知系統(tǒng)實現(xiàn)的模型結構機理為切入點的測試。這種測試方法建立在對于自動駕駛感知運行機理和系統(tǒng)特征的高度理解上。這種偏向感知系統(tǒng)邏輯測試的目的是在系統(tǒng)開 發(fā)早期發(fā)現(xiàn)感知模塊設計缺陷，以保障早期系統(tǒng)迭代中模型算法的有效性。研究人員基于自動駕駛算法模型特征，提出了一系列測試數(shù)據(jù)生成、測試驗證指標、測試評估方法和技術。

第二類測試虛擬仿真方法，借助計算機抽象實際交通 系統(tǒng)來完成測試任務，包括在預設虛擬環(huán)境下的系統(tǒng)測試或者面向感知組件的獨立測試。虛擬仿真測試的效果依賴 虛擬環(huán)境真實度、測試數(shù)據(jù)質量和具體測試執(zhí)行技術，需 要充分考慮仿真環(huán)境構建方法、數(shù)據(jù)質量評估和測試驗證 技術的有效性。自動駕駛環(huán)境感知和場景分析模型依賴大規(guī)模的有效交通場景數(shù)據(jù)進行訓練和測試驗證。國內外研 究者針對交通場景及其數(shù)據(jù)構造生成技術進行了大量的研究。利用數(shù)據(jù)變異、仿真引擎生成和游戲模型渲染等方法 構建虛擬測試場景數(shù)據(jù)，從而獲得高質量的測試數(shù)據(jù)，并將不同的生成測試數(shù)據(jù)用于自動駕駛模型和數(shù)據(jù)擴增和增 強。測試場景和數(shù)據(jù)生成是關鍵技術。測試用例必須足夠豐富，以覆蓋測試樣本的狀態(tài)空間。需要在極端交通情況 下生成測試樣本，測試系統(tǒng)在這些邊界用例下決策輸出模型的安全性。虛擬測試往往結合現(xiàn)有的測試理論和技術，構建用于評估和驗證測試效果的有效方法。

第三類是對搭載自動駕駛感知系統(tǒng)的真實車輛進行路測，包括預設的封閉場景測試和實際路況測試等。這類測試優(yōu)點在于真實環(huán)境下的測試可以充分保障結果的有效性。然而，這類方法存在測試場景難以滿足多樣化需求，相關交通場景數(shù)據(jù)樣本獲取困難，真實道路采集數(shù)據(jù) 人工標注成本高昂、標注質量參差不齊，測試里程要求過 大，數(shù)據(jù)采集周期過長等困難。危險場景人工駕駛存在安全風險，在現(xiàn)實世界中測試人員很難解決這些問題。同時，交通場景數(shù)據(jù)還受到數(shù)據(jù)來源單一、數(shù)據(jù)多樣性不足等問 題，不足以滿足軟件工程中自動駕駛研究人員的測試驗證要求。盡管如此，道路測試作為傳統(tǒng)汽車測試不可缺少的一環(huán)，在自動駕駛感知測試中極為重要。

從測試類型上看，感知系統(tǒng)測試針對車輛開發(fā)生命周期，存在不同的測試內容。自動駕駛測試可分為模型在環(huán)(MiL)測試、軟件在環(huán)（SiL）測試，硬件在環(huán)(HiL)測試、整車在環(huán) (ViL) 測試等。本文重點介紹自動駕駛感知系統(tǒng)測試 SiL 和 HiL 相關部分。HiL 包含感知硬件設備，如攝像頭、激光雷達、人機交互感知模塊。而 SiL 通過軟件仿真來替換真實硬件產生的數(shù)據(jù)。兩者的測試目的都是在于驗證自動駕駛系統(tǒng)的功能、性能、魯棒性和可靠性等。針對特定的測試對象，不同類型的測試在每個感知系統(tǒng)開發(fā)階段，結合不同的測試技術，完成對應的驗證要求。當前自動駕駛感知信息主要來源于對幾類主要數(shù)據(jù)的分析獲得，包括基于圖像（攝像頭）、點云（激光雷達）、以及融合感知系統(tǒng)。本文主要分析這三類數(shù)據(jù)的感知測試。

2 自動駕駛圖像系統(tǒng)測試

多類型攝像頭采集的圖像是自動駕駛感知最為重要的輸入數(shù)據(jù)類型之一。圖像數(shù)據(jù)能夠提供車輛運行前視、環(huán)視、后視和側視環(huán)境信息，幫助自動駕駛系統(tǒng)實現(xiàn)道路測距、目標識別與跟蹤、自動變道分析等功能。圖像數(shù)據(jù)具有多種格式，例如RGB 圖像、語義圖像、景深圖像等。這些圖像格式存儲具有各自的特點，例如RGB圖像色彩信息更加豐富，景深圖片則包含更多的場景深度信息，語義圖像基于像素分類獲得，對于目標檢測和跟蹤任務更加有利。

基于圖像的自動駕駛感知系統(tǒng)測試依賴大規(guī)模的有效交通場景圖像進行訓練和測試驗證。然而真實道路采集數(shù)據(jù)人工標注成本高昂，數(shù)據(jù)采集周期過長，危險場景人工駕駛法律法規(guī)不完善，且標注質量參差不齊。同時，交通場景數(shù)據(jù)還受到數(shù)據(jù)來源單一、數(shù)據(jù)多樣性不足等因素影響，不足以滿足自動駕駛研究的測試驗證要求。

國內外研究者針對交通場景數(shù)據(jù)的構造生成技術進行了大量的研究，利用數(shù)據(jù)變異、對抗生成網絡、仿真引擎生成和游戲模型渲染等方法構建虛擬測試場景數(shù)據(jù)，從而獲得高質量的測試數(shù)據(jù)，將不同的生成測試數(shù)據(jù)用于自動駕駛模型和數(shù)據(jù)增強。使用圖像硬編碼變換的方法生成測試圖像是一種有效方法?？梢岳枚喾N數(shù)學變換和圖像處理技術變異原始圖像，測試自動駕駛系統(tǒng)在不同環(huán)境條件下潛在的錯誤行為。

Zhang等人使用了基于對抗生成網絡的方法進行圖像風格變換，以模擬指定環(huán)境條件的車輛駕駛場景。一 些研究在虛擬環(huán)境中執(zhí)行自動駕駛測試，利用從物理仿真模型中的 3D模型構建交通場景，并渲染為 2D的圖像作為感知系統(tǒng)的輸入。測試圖像還可以利用合成方式生成，在低維圖像的子空間中采樣可修改內容并進行圖像合成，和對圖像直接變異相比，合成場景更加豐富，且圖像擾動操作更加自由。Fremont等人使用自動駕駛領域特定編程語言 Scenic預先設計測試場景，使用游戲引擎接口生成具體交通場景圖像，在目標檢測模型上使用渲染生成的圖像進行訓練和驗證。

Pei等人使用差分測試的思想尋找自動駕駛轉向模型的不一致輸出，還提出使用神經元覆蓋率，即神經網絡中神經元超過預設給定激活閾值的比例，來衡量測試樣本的有效性。在神經覆蓋基礎上，研究者還提出了很多新的測試覆蓋概念，例如神經元邊界覆蓋、強神經元覆蓋、層級神經元覆蓋等。除此之外，使用啟發(fā)式搜索技術尋找目標測試用例，也是有效的方法，核心難點在于設計引導搜索的測試評估指標。自動駕駛圖像系統(tǒng)測試普遍存在特殊駕駛場景有標數(shù)據(jù)匱乏等問題。本團隊提出了一種自適應性的深度神經網絡測試用例選擇方法ATS，以軟件測試領域中自適應隨機測試的思想為啟發(fā)，解決自動駕駛感知系統(tǒng)中深度神經網絡測試數(shù)據(jù)標記的人力資源成本高這一難題。

3 自動駕駛激光雷達系統(tǒng)測試

激光雷達作為自動駕駛系統(tǒng)至關重要的傳感器，夠測定傳感器發(fā)射器與目標物體之間的傳播距離，分析目標物體表面的反射能量大小、反射波譜的幅度、頻率和相位等信息。其采集的點云數(shù)據(jù)精確描繪了駕駛場景中各類物體的三維尺度與反射強度信息，能夠彌補攝像頭在數(shù)據(jù)形式和精度上不足。激光雷達在自動駕駛目標檢測與定位建圖等任務扮演著重要角色，僅靠單一視覺無法替代。

作為典型的復雜智能軟件系統(tǒng)，自動駕駛將激光雷達捕獲的周圍環(huán)境信息作為輸入，并通過感知模塊中的人工智能模型做出判斷，經系統(tǒng)規(guī)劃控制后，完成各類駕駛任務。雖然人工智能模型的高復雜性賦予了自動駕駛系統(tǒng)的感知能力，但現(xiàn)有的傳統(tǒng)測試技術依賴于點云數(shù)據(jù)手動收集和標注，成本高昂效率低下。另一方面，點云數(shù)據(jù)具有無序、缺少明顯的顏色信息、容易受到天氣因素干擾、且信號容易衰減，使得點云數(shù)據(jù)的多樣性在測試過程中尤為重要。

針對基于激光雷達的自動駕駛系統(tǒng)測試還處于初步階段。實際路測和仿真測試都存在代價昂貴、測試效率低下、測試充分性無法保證等問題。針對自動駕駛系統(tǒng)面臨的測試場景多變、軟件系統(tǒng)龐大復雜、測試成本巨大等問題，能夠結合領域知識提出測試數(shù)據(jù)生成技術對自動駕駛系統(tǒng)保障有著重要意義。

在雷達點云數(shù)據(jù)生成方面，Sallab等人通過構建循環(huán)一致性生成對抗網絡對雷達點云數(shù)據(jù)進行建模，并對模擬數(shù)據(jù)進行特征分析生成新的點云數(shù)據(jù)。Yue等人提出了一個針對自動駕駛場景的點云數(shù)據(jù)生成框架，該框架通過精確地對游戲場景中的點云數(shù)據(jù)進行基于標注物體的變異，從而獲得新的數(shù)據(jù)，他們用該方法獲得的變異數(shù)據(jù)重新訓練自動駕駛系統(tǒng)的點云數(shù)據(jù)處理模塊，得到了較好的精確度提升。

本團隊設計并實現(xiàn)了一個激光雷達自動化測試工具 LiRTest, 主要用于自動駕駛汽車目標檢測系統(tǒng)的自動化測試，并且能夠進一步重新訓練以提升系統(tǒng)魯棒性。LiRTest 首先由領域專家設計了物理和幾何模型，然后根據(jù)模型構造變換算子。開發(fā)人員從現(xiàn)實世界的數(shù)據(jù)中選擇點云種子，利用點云處理單元對其進行識別和處理，并實現(xiàn)基于變換算子的變異算法，來生成評估自動駕駛 3D目標檢測模型的魯棒性的測試數(shù)據(jù)。最終 LiRTest 得到測試報告，并對算子設計給出反饋，從而迭代提升質量。

自動駕駛系統(tǒng)是一種典型的信息 - 物理融合系統(tǒng)，其運行狀態(tài)不僅由用戶輸入信息及軟件系統(tǒng)內部狀態(tài)決定，同時也受到物理環(huán)境的影響。雖然目前有少量研究關注多種環(huán)境因素影響的點云數(shù)據(jù)生成問題，但由于點云數(shù)據(jù)的 自身特點，其生成數(shù)據(jù)的真實性很難與路測數(shù)據(jù)等同因此，如何在不明顯增加額外資源消耗的情況下，自動化地生成能夠描述多種真實環(huán)境因素的點云數(shù)據(jù)，是需要解決的一個關鍵問題。

在自動駕駛軟件常見軟件架構中，人工智能模型對于駕駛決策及系統(tǒng)行為具有極其重要的影響，其影響到的功能包括：物體識別，路徑規(guī)劃，行為預測等。點云數(shù)據(jù)處理最常使用的人工智能模型是目標檢測模型，采用深度神經網絡實現(xiàn)。雖然該技術可以在特定任務上獲得較高的精確度，但是由于其結果缺乏可解釋性，用戶與開發(fā)人員無法對其行為進行分析確認，給測試技術的研發(fā)以及測試充分性的評估帶來了極大的困難。這些，都是未來激光雷達模型測試人員需要面對的挑戰(zhàn)。

4 自動駕駛融合感知系統(tǒng)測試

自動駕駛系統(tǒng)通常配備多種傳感器以感知環(huán)境信息，并搭載多種軟件和算法以完成各類自動駕駛任務。不同傳感器具備不同的物理特性，其應用場景也存在差異。融合感知技術可以彌補單一傳感器環(huán)境適應性差的特點，通過多傳感器互相配合協(xié)作保證自動駕駛系統(tǒng)在各種環(huán)境條件下正常運行。

由于信息記錄方式的不同，不同類型傳感器之間存在較強互補性。攝像頭安裝成本低，采集的圖像數(shù)據(jù)分辨率高，具備豐富的顏色和紋理等視覺信息。然而，攝像頭對環(huán)境敏感，在夜晚、強光等光線變化時可能會不可靠。而激光雷達則不易受到光線變化的影響，在白天和黑夜中提供精確的三維感知能力。然而，激光雷達造價昂貴，采集的點云數(shù)據(jù)缺乏顏色信息，很難識別沒有明顯形狀的目標。如何利用各模態(tài)數(shù)據(jù)的優(yōu)點，挖掘更深層次的語義信息成了融合感知技術中的重要問題。

研究者們提出了多種數(shù)據(jù)融合的方法?；谏疃葘W習的激光雷達和攝像頭的融合感知技術由于其高準確性已成為了主要研究方向。Feng等人將融合方法可簡要概括為三種 : 前期，中期和后期融合。前期融合僅對原始數(shù)據(jù)或預處理后的數(shù)據(jù)進行融合；中期融合對每個分支提取的數(shù)據(jù)特征進行交叉融合；后期融合僅融合每個分支最后的輸出結果。盡管基于深度學習的融合感知技術在現(xiàn)有的基準數(shù)據(jù)集中展示了巨大的潛力，但此類智能模型在環(huán)境復雜的真實場景中仍可能會表現(xiàn)出不正確和意外的極端行為，從而導致致命的損失。為確保自動駕駛系統(tǒng)的安全性，需要對這類融合感知模型進行完備的測試。

目前，融合感知測試技術仍處于初步階段，測試輸入域龐大，數(shù)據(jù)收集成本高是主要難題，自動化的測試數(shù)據(jù)生成技術因而得到了廣泛關注。Wang等人提出一種跨模態(tài)數(shù)據(jù)增強算法，根據(jù)幾何一致性規(guī)則將虛擬對象插入到圖像和點云中生成測試數(shù)據(jù)集。Zhang 等人提出一種多模態(tài)數(shù)據(jù)增強方法，利用多模態(tài)轉換流保持點云和圖像像素之間的正確映射，并在此基礎上進一步提出了多模態(tài)剪切和粘貼增強方法。

考慮到真實場景中的復雜環(huán)境對傳感器的影響，本團隊設計了一種針對于多模態(tài)融合感知系統(tǒng)的數(shù)據(jù)擴增技術。該方法由領域專家為各模態(tài)數(shù)據(jù)制定一套具有現(xiàn)實語義的變異規(guī)則，自動化的生成測試數(shù)據(jù)，以模擬真實場景中對傳感器干擾的多種因素，在有限的資源內幫助軟件開發(fā)人員測試和評估融合感知系統(tǒng)。該方法使用的變異算子包含三大類別：信號噪聲算子，信號對齊算子和信號丟失算子，分別模擬真實場景中存在的 不同類型干擾。噪聲算子即指在傳感器數(shù)據(jù)采集過程中，受環(huán)境因素影響而使得采集數(shù)據(jù)存在噪聲。例如，對于圖像數(shù)據(jù)，采用光斑、模糊等算子以模擬攝像頭遇強光，抖動時的狀況。對齊算子模擬了多模態(tài)數(shù)據(jù)模態(tài)未對齊的情況，具體包含時間未對齊和空間未對齊。對于前者，通過隨機將一路信號延后以模擬出現(xiàn)傳輸阻塞或延遲的情況。對于后者，通過對各傳感器的標定參數(shù)進行微小調整，以模擬在車輛在行進過程中由于車輛抖動等問題而導致傳感器發(fā)生位置輕微變化。信號丟失算子則模擬傳感器失靈。具體而言，隨機將一路信號丟棄后，觀察融合算法能否及時做出反應或正常工作。

總之，多傳感器融合感知技術是自動駕駛發(fā)展的必然趨勢，完備的測試是保證系統(tǒng)在復雜的真實環(huán)境中正常工作的必備條件，如何在有限資源內充分的測試仍是一個亟待解決的問題。

結論

自動駕駛感知測試正與自動駕駛軟件開發(fā)流程緊密結合，各類在環(huán)測試將逐漸成為自動駕駛質量保障的必要組成部分。在工業(yè)應用中，實際路測仍然重要。但是存在成本過高、效率不足、安全隱患大等問題，遠遠不能滿足自動駕駛智能感知系統(tǒng)的測試驗證需求。形式化方法、仿真虛擬測試多個分支研究領域快速發(fā)展提供了完善測試的有效途徑，研究者們探索適用于智能驅動的模型測試指標與技術，為虛擬仿真測試方法提供支撐。本團隊致力于研究自動駕駛感知測試數(shù)據(jù)生成、評估和優(yōu)化方式，重點面向基于圖像、點云數(shù)據(jù)和感知融合測試三個方面開展深入研究，以保障高質量的自動駕駛感知系統(tǒng)。