引言

當前，基于場景的智能網聯(lián)汽車“三支柱”安全測試評估方法[1]已成為廣泛的行業(yè)共識，模擬仿真測試是其重要手段之一[2]。國內外持續(xù)推進智能網聯(lián)汽車準入管理和模擬仿真測試相關研究。聯(lián)合國世界車輛法規(guī)協(xié)調論壇（WP.29）自動駕駛驗證方法非正式工作組提出包含場景目錄、模擬仿真測試、封閉場地測試、實際道路測試、審核評估和在用監(jiān)測等5類技術手段的《自動駕駛新型測評方法（NATM）》[3]。2022年8月，歐盟發(fā)布自動駕駛車輛型式認證法規(guī)REGULATION (EU)2022/1426[4]，提出必須對自動駕駛系統(tǒng)（ADS）進行合規(guī)性評估，評估可通過模擬仿真測試開展；同時，規(guī)定了使用模擬仿真測試開展合規(guī)性評估時模擬仿真測試工具鏈的可信度評估原則。2023年8月，為進一步完善企業(yè)標準制修訂程序和提高企業(yè)標準化水平，鼓勵企業(yè)對標國際標準和國內外先進標準，國家市場監(jiān)督管理總局發(fā)布《企業(yè)標準化促進辦法》[5]，鼓勵企業(yè)制定高于推薦性國家標準相關技術要求的企業(yè)標準。2023年11月，工業(yè)和信息化部等四部委聯(lián)合發(fā)布《關于開展智能網聯(lián)汽車準入和上路通行試點工作的通知》[6]，要求智能網聯(lián)汽車生產企業(yè)應具備滿足模擬仿真測試條件的設計驗證能力，并基于此能力，能夠針對智能網聯(lián)汽車產品開展模擬仿真測試，出具產品模擬仿真測試報告。其中，企業(yè)模擬仿真測試設計驗證能力包括：

①建立專門的模擬仿真測試機構，配備相應的模擬仿真測試人員；

②建立模擬仿真測試工作流程；

③理解和掌握模擬仿真測試相關的技術；

④具備模擬仿真測試驗證相關的工具和設備；

⑤具備針對自動駕駛功能產品的模擬仿真測試驗證能力。

其中，針對②的要求，企業(yè)應建立智能網聯(lián)汽車模擬仿真測試工作流程，旨在規(guī)定好相關的節(jié)點和要求，利用MIL/SIL/HIL/VIL等不同的在環(huán)仿真手段，通過測試分析、用例設計、環(huán)境搭建、測試執(zhí)行、分析評價等環(huán)節(jié)，完成對智能網聯(lián)汽車產品和自動駕駛系統(tǒng)的測試評價任務。該流程作為企業(yè)開展模擬仿真測試的“出發(fā)點”，提供頂層的思路和參考，故命名為企標0，并且屬于流程類的標準規(guī)范。

針對③，為證明智能網聯(lián)汽車生產企業(yè)已經理解和掌握模擬仿真測試相關的技術，企業(yè)應在②智能網聯(lián)汽車仿真測試工作流程（企標0）的基礎之上，建立企業(yè)模擬仿真測試標準和規(guī)范體系，基于國內外的標準法規(guī)要求，在企業(yè)范圍內協(xié)調、統(tǒng)一模擬仿真測試相關技術要求，對技術進行專業(yè)化、標準化和普適性的描述，并作為重要的參考和依據，指導企業(yè)開發(fā)和測試人員/工程師具體地開展模擬仿真測試工作。

本篇文章按照測試前、測試中和測試后三個階段，研究和闡述賽目科技提出的企業(yè)模擬仿真測試標準體系布局和理念，標準體系示意圖如下圖1所示。

圖1 企業(yè)模擬仿真測試標準體系布局

其中，測試前是指在具體執(zhí)行仿真測試前的準備階段，測試中是指執(zhí)行仿真測試的階段，測試后是指執(zhí)行完仿真測試之后的階段。企業(yè)標準規(guī)范主要集中在測試前和測試后兩個階段。

測試前

“測試前”是指模擬仿真測試執(zhí)行之前的測試準備階段，包括測試用例設計、制定測試方案和環(huán)境搭建三個環(huán)節(jié)。測試用例設計是指通過測試用例分析，明確測試前提條件、測試輸入、執(zhí)行條件以及預期結果，最終獲得測試用例集；制定測試方案包括明確測試方案，確定在環(huán)測試方式，安排具體測試人員/工程師，制定測試計劃和確定模擬仿真測試工具鏈（包括仿真測試工具和仿真模型）；仿真測試環(huán)境搭建是準備一個包括硬件/軟件/網絡/數(shù)據等必要元素的綜合環(huán)境，包括開發(fā)和調試模擬仿真測試接口、模型搭建和場景搭建等。其中，測試用例設計是整個階段工作的核心，反映了對被測對象的質量要求。隨著對仿真測試可信的要求越來越高，環(huán)境搭建階段涉及的仿真測試可信度評估被更多人知曉和關注。詳細內容可參考賽目科技發(fā)布的《智能網聯(lián)汽車模擬仿真測試》一文。針對測試前階段涉及的測試場景和測試用例生成環(huán)節(jié)，仿真模型搭建環(huán)節(jié)，場景搭建環(huán)節(jié)，接口調試環(huán)節(jié)，企業(yè)應制定標準規(guī)范，對相關內容進行規(guī)范和統(tǒng)一描述，以便于指導后續(xù)工作開展，具體包括：

企標1《模擬仿真場景和測試用例生成規(guī)范》

企標2《仿真模型搭建技術規(guī)范》

企標3《模擬仿真測試場景搭建規(guī)范》

企標4《仿真測試接口開發(fā)和調試規(guī)范》

企標1《模擬仿真場景和測試用例生成規(guī)范》

編制目標：編制《仿真測試場景和測試用例生成規(guī)范》主要目標是指導企業(yè)人員/工程師通過不同方式快速地生成模擬仿真測試用例，客觀且可重復地評估智能網聯(lián)汽車產品和自動駕駛系統(tǒng)的運行安全性。

主要內容：測試用例生成方式主要包括預期功能安全分析、實際道路數(shù)采轉換、泛化采樣等。

輸入：自動駕駛功能規(guī)范、設計運行條件、系統(tǒng)架構、實際道路采集數(shù)據等。

輸出：測試用例描述（.excel）/場景文件（.xodr和.xosc）。

評審依據：

1）仿真測試場景/用例的合理性；

2）仿真測試場景/用例的覆蓋度；

3）能夠在仿真工具鏈中運行。

（1）預期功能安全場景生成，流程類規(guī)范，核心是解決預期功能安全場景如何生成，明確從預期功能安全分析到仿真測試用例設計和生成的具體步驟。內容主要包括功能規(guī)范和定義、危害分析和風險評估、定義危害事件、潛在功能不足與觸發(fā)條件識別、改進措施需求分配、制定驗證策略和設計測試用例，最終為系統(tǒng)安全設計及仿真測試驗證提供輸入。企業(yè)通過危害分析和風險評估，識別由相關項中功能異常表現(xiàn)引起的危害事件；在定義危害事件之后，識別可能導致危害事件發(fā)生的觸發(fā)條件；通過梳理觸發(fā)條件（包括可預見的誤用），制定驗證策略和設計測試用例，最終定義具有特定分類的自動駕駛模擬仿真測試場景。預期功能安全場景能夠通過增加在系統(tǒng)設計開始時確定的已知不安全場景/用例的數(shù)量，來實現(xiàn)對自動駕駛系統(tǒng)的更全面的分析、開發(fā)和驗證。

（2）實際道路數(shù)采場景生成，流程類規(guī)范，核心是解決實際道路數(shù)采場景如何生成，明確從路采數(shù)據采集到仿真測試場景生成的具體步驟。主要內容包括實際道路數(shù)采數(shù)據的獲取、場景提取和數(shù)采數(shù)據格式轉換等內容。其中，實際道路數(shù)采數(shù)據獲取規(guī)定了數(shù)據采集車如何搭建，采集哪些信息，輸入文件的格式，輸出文件格式（例如“.csv”）和關鍵信息（例如rosbag）等；場景提取部分規(guī)定了場景片段提取的方法/算法，設置的關鍵提取KPI指標等；數(shù)采數(shù)據的格式轉換規(guī)定了基于數(shù)據采集階段獲取的輸出文件的格式和關鍵信息，以及開展場景格式轉換的詳細步驟，以及轉換完成后的校驗流程。實際道路數(shù)采生成的仿真測試用例/場景更貼近于真實的駕駛交通環(huán)境和場景。

（3）測試用例泛化和生成，技術類規(guī)范，核心是通過方法論，解決測試用例如何泛化和生成。在明確模擬仿真功能/邏輯場景的基礎上，描述具體測試用例泛化和生成的步驟和方法。通過詳細分析功能場景中的關鍵參數(shù)，基于真實數(shù)據統(tǒng)計和理論分析等方法得到這些關鍵參數(shù)的分布范圍（得到邏輯場景），選取其中一組參數(shù)取值作為一個具體測試用例。理論分析方法包括定步長采樣，隨機采樣、重要性采樣等。針對參數(shù)層面的泛化，核心能力在于如何識別有效場景和剔除不合理場景，最終定義泛化空間，獲得具體測試用例。詳細分析方法內容可參考企標6中的場景空間分析部分。測試用例泛化和生成方法能夠支持算法的正向開發(fā)，配合采樣算法，更容易找到算法解決不了的“Corner Case”。

企標1 附錄《自動化測試用例生成規(guī)范》技術類規(guī)范

編制本附錄的目標是標準化測試用例生成步驟，解決自動化仿真測試問題，提高測試效率。由企標1的（1）（2）生成的模擬仿真測試用例/場景文件（.xodr/.xosc）一般可以直接在仿真工具鏈中運行，但（3）通常生成一組文檔版本的測試用例（.excel）。本附錄主要規(guī)范仿真測試用例的表述模板，包括在文檔（.excel）中統(tǒng)一測試執(zhí)行前的操作（測試場景ID/名稱、測試條件、輸入接口等）、測試執(zhí)行中的操作（觀測接口、執(zhí)行操作等）和測試執(zhí)行后的操作（輸出接口、判斷條件等）。通過制定和編寫測試用例表述模板，指導企業(yè)測試人員/工程師規(guī)范地編寫仿真測試用例（.excel），配合運行自動化測試腳本（.python等），直接調用和加載測試用例文檔（.excel），最終準確、自動化地生成模擬仿真場景文件（.xodr/.xosc）。同時，場景文件（.xodr/.xosc）又可以直接輸出到仿真測試工具鏈中開展測試，整體提高測試效率。

企標2《仿真模型搭建技術規(guī)范》技術類規(guī)范編制目標

編制目標：編制《仿真模型搭建技術規(guī)范》主要目標是解決仿真模型搭建難、搭建慢，搭建不一致的問題，提高模型的建模質量、可讀性和搭建效率。

主要內容：指導企業(yè)測試人員/工程師快速、準確地搭建系統(tǒng)/實體（建模對象）對應的仿真模型，揭示系統(tǒng)/實體的形態(tài)特征和本質，幫助觀測和認知建模對象的行為，助力開展模擬仿真測試。

輸入：模型結構、參數(shù)、說明等。

輸出：仿真模型文件（.cpr /. osgb等）。

評審依據：

1）仿真模型的可靠性、穩(wěn)定性和可擴展性等；

2）能夠支撐模擬仿真測試；

3）仿真模型的可信度。

在智能網聯(lián)汽車模擬仿真測試中，常見的建模對象包括車輛動力學系統(tǒng)和感知系統(tǒng)（車載傳感器），因此，本規(guī)范主要約束車輛動力學模型搭建技術和傳感器模型搭建技術等內容。其中，傳感器模型搭建規(guī)范又包含攝像頭模型、毫米波雷達模型、激光雷達模型和V2X模型等。

（1）車輛動力學模型搭建技術規(guī)范解決了動力學模型如何搭建的問題，明確車輛動力學仿真模型搭建對象，動力學參數(shù)配置步驟，模型參數(shù)定義、取值范圍和含義，以及控制接口配置等。車輛動力學模型包括車身模型、動力傳動模型（區(qū)分燃油車和電動車）、制動模型、轉向模型、懸架模型、車輪模型和空氣動力學模型等。模型參數(shù)配置主要指導測試人員/工程師針對動力學參數(shù)進行可視化配置，實現(xiàn)對車輛動力學性能的個性化設置。

（2）傳感器模型搭建技術規(guī)范解決了傳感器模型如何搭建的問題，明確傳感器仿真模型建模對象，定義不同的傳感器參數(shù)，明確參數(shù)取值范圍，以及明確各參數(shù)的配置步驟。例如，搭建攝像頭傳感器模型的步驟可參考以下內容：由于搭建目標是模擬從光到數(shù)字信號的轉換、顏色處理和渲染等，因此，考慮光學特征，定義攝像頭安裝位置參數(shù)（內參和外參）、水平分辨率、垂直分辨率等；考慮電氣特征，需要進行模數(shù)轉換和明確插值等；再經過光線跟蹤(fay tracing)、光線投射(ray casting)、紋理映射(texture mapping shader)等圖像渲染方法，最終實現(xiàn)建模對象在仿真環(huán)境中的真實還原，當然，為了更貼近車輛真實感知的世界，可以在傳感器模型生成的數(shù)據中添加一些噪聲。

企業(yè)通過建立一套通用的建模技術規(guī)范，可以對建模過程的各個環(huán)節(jié)進行精細化約束，確保模型的可信程度，保障模擬仿真測試的順利進行。此外，良好的仿真建模規(guī)范可以使仿真模型更容易被理解，便于直觀分析模型的功能，從而有助于企業(yè)測試人員/工程師發(fā)現(xiàn)和修正潛在的問題。

企標3《仿真測試接口開發(fā)和調試規(guī)范》技術類規(guī)范

編制目標：編制《仿真測試接口開發(fā)和調試規(guī)范》主要目標是解決仿真測試接口定義不明確、接口不統(tǒng)一，測試內容和測試邊界不明確的問題。目標是通過一種通信機制，實現(xiàn)仿真工具鏈和被測對象之間的信息交互。

主要內容：規(guī)范內容包括接口文檔類型、輸入文檔、接口定義和說明以及接口調試步驟等。其中，接口定義和說明又包括接口名稱、接口數(shù)據格式、數(shù)據字段定義、單位、取值范圍，數(shù)據傳輸鏈路等信息。

輸入：接口名稱、定義、數(shù)據包定義、接口說明等

輸出：仿真接口文檔（.pdf）。

評審依據：能夠支撐模擬仿真測試。

企業(yè)開展自動駕駛模型/算法/硬件系統(tǒng)/整車模擬仿真測試時，需要與仿真測試工具鏈或第三方仿真模型進行通信。規(guī)范相關的接口文檔，就能夠明確一幀完整消息的通信方式（可由消息頭部和數(shù)據部分組成，數(shù)據部分包含若干個package；每一個package 由頭部和數(shù)據部分組成，數(shù)據部分又包含若干個元素element）。具體結構體定義可以包括車輛坐標信息、初始化車輛參數(shù)信息、道路信息、試驗車輛信息、傳感器信息、探測目標物信息等。本文件主要用于指導企業(yè)測試人員/工程師基于不同在環(huán)仿真測試方式，開發(fā)和調試模擬仿真測試接口。同時，針對不同的仿真接口特點進行總結，基于以往經驗的積累以及參照開發(fā)和調試數(shù)據等，不斷優(yōu)化接口文檔的內容。

此外，針對企標2搭建的仿真模型，如測試需要，企業(yè)也可以定義相關接口，例如《車輛動力學模型接口文檔》《傳感器模型接口文檔》等，支撐企業(yè)開展模擬仿真測試。

企標4《模擬仿真測試場景搭建規(guī)范》技術類規(guī)范

編制目標：編制《模擬仿真測試場景搭建規(guī)范》主要目標是解決仿真測試場景搭建難、再現(xiàn)難的問題。

主要內容：規(guī)范了具體測試用例/場景的搭建方法、步驟和流程。

輸入：模擬仿真測試用例（.excel）等。

輸出：仿真場景文件（.xodr/.xosc）。

評審依據：能夠在仿真工具鏈中運行。

《仿真測試場景搭建規(guī)范》主要基于企標1獲得的具體測試用例，指導測試人員/工程師具體開展仿真測試用例/場景的搭建工作。本規(guī)范可參考企業(yè)內部使用的仿真平臺/工具的使用手冊或操作指南（例如：Sim Pro操作手冊）進行編制。主要包括靜態(tài)道路的搭建和動態(tài)場景的搭建。

（1）道路/地圖文件搭建，用于指導測試人員/工程師如何搭建地圖文件（.xodr）。針對靜態(tài)場景設計，明確創(chuàng)建道路（Road）、物體（Objects）和信號（Signals）的具體步驟，以及如何修改相關的參數(shù)設置等。

（2）場景文件搭建，用于指導測試工程師如何搭建場景文件（.xosc）。針對動態(tài)場景搭建，明確創(chuàng)建和修改動態(tài)場景的具體步驟，以及根據（1）搭建的具體道路狀況，建立復雜的交通流或對各種干擾的交通情況進行仿真，干擾包括行人干擾、不遵守交通規(guī)則的車輛干擾等。通常動態(tài)場景的設計是通過事件觸發(fā)形式，觸發(fā)條件包括位置等。

測試后

“測試后”是指執(zhí)行完仿真測試之后的階段，主要包括對仿真測試結果的評價和仿真測試用例/場景的空間分析和評估。測試評價可以為產品功能的迭代和優(yōu)化提供相關意見和建議；測試用例/場景的空間分析和評估可以識別有效場景和剔除不合理場景，最終定義泛化空間，優(yōu)化迭代測試用例。建議企業(yè)將以上兩個重要環(huán)節(jié)形成標準化的指導文件產品模擬仿真測試評價規(guī)范和場景空間分析評估規(guī)范，并參考執(zhí)行。

企標5《產品模擬仿真測試評價規(guī)范》

企標6《場景空間分析和評估規(guī)范》

企標5《產品模擬仿真測試評價規(guī)范》技術類規(guī)范

編制目標：編制《產品模擬仿真測試評價規(guī)范》主要目標是解決仿真測試用例/場景如何評價的問題。

主要內容：規(guī)范了具體測試用例/場景的評價指標、評價方法、評價步驟和判斷條件。

輸入：仿真測試數(shù)據（.log日志）等。

輸出：仿真測試用例/場景結果文件、測試報告等（.pdf）。

評審依據：

1）符合法律、法規(guī)和標準要求；

2）符合企業(yè)自定義評價指標要求；

3）提升產品功能或性能。

《產品模擬仿真測試評價規(guī)范》中應明確企業(yè)針對單一仿真測試用例/場景的評價范圍、評價要求、評價指標、評價方法和判斷條件，以及在政策、法規(guī)、國家標準的基礎上，適配企業(yè)和自身產品特點，自定義設置的獨特性、關鍵性評估指標或指標體系的流程和方法，例如，在滿足合規(guī)要求的基礎上，可再梯度區(qū)分不同在環(huán)仿真測試方式測試要求。

企業(yè)應明確如何從安全性、合規(guī)性、舒適性和智能性等方面對智能網聯(lián)汽車產品和自動駕駛系統(tǒng)進行全面、準確地評估。企業(yè)測試人員/工程師可以參考法規(guī)、標準中明確的安全性和合規(guī)性（交規(guī)符合性等）要求，詳細分析和拆解每個測試用例的通過要求的評價指標，最終滿足合規(guī)要求。在此基礎上，企業(yè)可關注車輛或自動駕駛系統(tǒng)的舒適性和智能性需求，例如，除緊急避險類場景外，車輛是否有急加/減速等，根據企業(yè)的獨特要求進行配置和調整，自定義評估指標、評估流程和評價方法，制定出更加符合企業(yè)需求和特點的評價體系，使評價結果更具有針對性和實用性。同時，企業(yè)可以根據自身發(fā)展的不同階段，及時調整和優(yōu)化本規(guī)范中的各類評價指標，以適應不斷變化的市場環(huán)境和企業(yè)戰(zhàn)略。

企標6《場景空間分析和評估規(guī)范》技術類規(guī)范

編制目標：編制《場景空間分析和評估規(guī)范》主要目標是解決仿真測試場景空間如何分析和評估的問題。

主要內容：規(guī)范了場景空間分析和評估的指標、方法、步驟和判斷條件。

輸入：測試用例描述（.excel）/場景文件（.xodr和.xosc）等。

輸出：場景空間分析和評估結果文件（.pdf）。

評審依據：

1）符合法律、法規(guī)和相關標準要求；

2）提升產品功能或性能。

本規(guī)范中的場景空間分析是評估所采用的測試用例泛化方法和測試效率的一種方式，即“測試前分析方法”，指的是在模擬仿真測試開始之前，在測試人員/工程師編寫測試用例時就進行的測試場景空間可靠性、敏感性和魯棒性的分析和估算，進而提高模擬仿真測試效率的一種手段。敏感性分析可以高效地探索測試空間并對其降維，降低后續(xù)分析的難度；可靠性分析與魯棒性分析可以精確地估計被測試系統(tǒng)在指定空間中的失敗概率與臨近面的魯棒性。場景空間分析內容可在企標1（3）部分中完成。

本規(guī)范中的場景空間評估是從統(tǒng)計學角度，明確如何對仿真測試用例/場景覆蓋度等影響產品測試驗證的重要因素進行科學、有效地評價。一是明確基于真實數(shù)據統(tǒng)計和理論分析等方法得到的用于自動駕駛產品仿真測試的一組測試用例是否有效；二是明確一組測試用例是否足夠覆蓋自動駕駛產品/系統(tǒng)的設計運行條件；三是明確是否支撐盡可能地識別了“Corner Case”；四是明確能否支持自動駕駛產品的最終驗證。

企業(yè)可自定義相關因素和指標，配合場景空間分析和評估，經過多輪的迭代，最終能夠降低采樣個數(shù)、優(yōu)化測試用例，有效解決測試用例/場景的覆蓋度問題。

仿真測試可信度評估

伴隨產品模擬仿真測試的整個過程，企業(yè)還應該進行仿真測試可信度評估。尤其是需要保證本次仿真測試使用的模擬仿真測試工具鏈的置信度。在本階段，企業(yè)可根據自動駕駛產品驗證和確認方案，在明確仿真測試涉及的全部仿真工具及其相關模型后，在本階段完成仿真工具鏈置信度評估，包括仿真工具置信度評估和仿真模型可信度評估，涉及到的企業(yè)標準規(guī)范主要包括：

企標7《仿真工具置信度評估規(guī)范》

企標8《仿真模型可信度評估規(guī)范》

企標9《場景置信度評估規(guī)范》

企標7《仿真工具置信度評估規(guī)范》技術類規(guī)范

編制目標：編制《仿真工具置信度評估規(guī)范》主要目標是解決如何開展仿真工具置信度評估的問題。

主要內容：規(guī)范了仿真工具置信度評估的評估方法、流程和評價指標等內容。

輸入：仿真工具開發(fā)代碼、過程文檔等。

輸出：仿真工具置信度評估結果文件（.pdf）。

評審依據：

1）符合法律、法規(guī)和相關標準要求；

2）仿真工具不會出現(xiàn)計算錯誤。參考WP.29 NATM文件[3]、 EU 2022/1426[4]，仿真工具置信度評估的具體流程包括仿真工具分析、仿真工具驗證和仿真工具確認。仿真工具分析主要是分析仿真工具的范圍和局限性，確定可能影響仿真測試結果的涉及仿真工具的不確定性來源。仿真工具驗證方法包括代碼驗證、計算驗證等。代碼驗證包括靜/動態(tài)代碼驗證、收斂性分析、精確解比較等；計算驗證是針對仿真工具產生的影響開展數(shù)值誤差估計，數(shù)值誤差需要保持在一定的范圍內以不影響仿真測試結果。仿真工具確認方法取決于仿真工具的結構組成和測試目標，包含靜/動態(tài)場景編輯模塊、仿真引擎模塊、車輛動力學模塊、傳感模塊（如涉及）等。在仿真工具置信度確認時，可使用專用測試場景進行驗證，確保仿真工具在即將開展的具體測試用例之外的測試用例/場景下，測試結果表現(xiàn)一致。詳細內容可參見企標9。

此外，基于驗證方法的理論基礎，企業(yè)可以根據專家經驗自定義仿真工具置信度的評估指標，具體指導評估工作的開展。

企標8《仿真模型可信度評估規(guī)范》技術類規(guī)范

編制目標：編制《仿真模型可信度評估規(guī)范》主要目標是解決如何開展仿真模型可信度評估的問題。

主要內容：規(guī)范了仿真模型可信度評估的評估方法、流程和評價指標等內容。具體又可以細分為以下5個子規(guī)范：

企標8-1《車輛動力學模型可信度評估規(guī)范》

企標8-2《傳感器模型可信度評估規(guī)范》

企標8-3《地圖模型可信度評估規(guī)范》

企標8-4《交通流模型和駕駛員模型可信度評估規(guī)范》

企標8-5《天氣環(huán)境模型可信度評估規(guī)范》

輸入：仿真模型參數(shù)、文檔等。

輸出：仿真模型可信度評估結果文件（.pdf）。

評審依據：

1）符合法律、法規(guī)和相關標準要求；

2）仿真模型與真實系統(tǒng)輸出結果的相似程度。

仿真模型可信度評估主要目的是指導測試人員/工程師具體開展仿真模型的可信度評估，最終證明基于企標2搭建的仿真模型或外采的第三方仿真模型，一是可被信任的，不會受到數(shù)字或邏輯缺陷的干擾；二是具備高保真度，即搭建的仿真模型與建模對象具備高的相似程度。本規(guī)范內容主要包括仿真模型的可信度評估方法、評估流程和評估指標等，涉及企標8-1約束的車輛動力學模型、企標8-2約束的傳感器模型、企標8-3約束的地圖模型、企標8-4約束的交通流模型和駕駛員模型、企標8-5約束的天氣環(huán)境模型等。

同樣，參考WP.29 NATM文件[3]、 EU 2022/1426[4]，仿真模型可信度評估流程包括仿真模型分析、仿真模型驗證和仿真模型確認。仿真模型分析主要是明確仿真模型的范圍和局限性，以及明確仿真模型內的不確定性來源，規(guī)范中可以注明不確定性來源的分類以及每個類別對仿真模型輸出的影響。仿真模型驗證需要對仿真模型的建模原理或數(shù)學模型進行正確地響應和分析，包括敏感性分析等。敏感性分析是基于優(yōu)化理論，量化模型輸入值的變化對模型輸出值的影響，即量化仿真模型對于輸入不確定性的“敏感程度”，并篩選出的對模型結果影響最大的參數(shù)定義為最關鍵參數(shù)。針對最關鍵參數(shù)開展敏感性分析后，可以幫助測試人員/工程師更深刻地理解模型，為后續(xù)模型的表現(xiàn)提供判斷依據。針對仿真模型確認，企業(yè)可以自定義用于仿真模型確認的方法和閾值，記錄用于模型確認的相關數(shù)據并注明相應數(shù)據的重要的質量特征（例如數(shù)據覆蓋度、信噪比等），以及編制具體的說明文件內容，確保用于確認仿真模型的數(shù)據能夠覆蓋仿真工具鏈的預期仿真功能。

其中，企標8-1和企標8-2重點是對工作原理的模擬，主要選擇使用典型場景以及典型參數(shù)對比的方式進行；企標8-3和企標8-5主要通過收集實際數(shù)據，觀察地圖 (基于高精度地圖導入)/天氣模型的輸出結果，并與實際情況進行對比，評估模型準確性；企標8-4重點是對規(guī)律和行為的模擬，從統(tǒng)計學意義上證明關鍵特征一致。

企標9《場景置信度評估規(guī)范》技術類規(guī)范

編制目標：編制《場景置信度評估規(guī)范》主要目標是解決如何開展仿真場景置信度評估的問題。

主要內容：規(guī)范了場景置信度評估的評估方法、流程和評價指標等內容。基于企標7約束的專用測試場景，通過將模擬仿真測試與封閉場地/實際道路測試結果進行有效地對比，驗證模擬仿真測試的可信度。

輸入：對比參數(shù)、模擬仿真/封閉場地/實際道路測試過程文檔、測試報告（.pdf）等。

輸出：場景置信度評估結果文件（.pdf）。

評審依據：符合法律、法規(guī)和相關標準要求。

在企標7仿真工具置信度確認中，明確可使用專用測試場景進行驗證，編制場景置信度評估規(guī)范的主要目的是指導模擬仿真測試人員/工程師具體開展基于專用測試場景的模擬仿真測試與實車測試（包括封閉場地測試和實際道路測試）結果的對比，通過制定測試結果和關鍵參數(shù)的對比分析流程和對比指標，證明在同一測試場景下，仿真試驗結果和實車測試結果趨勢或表現(xiàn)一致。對比指標包括相對誤差、均方根誤差和擬合度等。對比指標具體詳見賽目科技發(fā)布的《關于模擬仿真測試可信度評估方法的研究（下）——評估方法》一文。

通過開展場景置信度評估，以及結合測試準備階段已經完成的仿真工具置信度評估（企標7）和仿真模型可信度評估（企標8），最終完成仿真試驗的可信度評估。

附：企標0《產品仿真測試流程》流程類規(guī)范

編制目標：編制《產品仿真測試流程》主要目標是解決如何按照標準化的步驟和流程開展模擬仿真測試的問題，提高模擬仿真測試效率。

主要內容：規(guī)范了從測試準備、測試執(zhí)行中和測試結束的全流程內容和時間節(jié)點，確保每個測試任務都按照統(tǒng)一的標準執(zhí)行。

輸入：測試方案（.pdf）、測試用例（.excel）等。

輸出：產品模擬仿真測試報告（.pdf）。

評審依據：

1）符合法律、法規(guī)和相關標準要求；

2）測試流程的合理性。

本規(guī)范具體細分可包括模型在環(huán)（MIL）測試流程、軟件在環(huán)（SIL）測試流程、硬件在環(huán)（HIL）測試流程和車輛在環(huán)（VIL）測試流程。產品仿真測試詳細步驟包括：

（1）確定測試方案。明確測試人員/工程師、測試排期以及具體測試用例，具體測試用例生成可參考企標1；

（2）確定仿真測試工具鏈。根據（1）獲得的測試用例，確定仿真測試工具鏈，包括仿真工具和仿真模型，其中，仿真模型可參考企標2進行搭建；

（3）開發(fā)和調試仿真測試接口。根據（1）獲得的測試用例和（2）確定的仿真測試工具鏈，參考企標3，開發(fā)和調試仿真測試接口；

（4）開展仿真工具鏈置信度評估。為保障仿真測試工具鏈置信度，參考企標7和企標8，開展仿真工具鏈置信度評估（包括仿真工具置信度和仿真模型可信度評估）；

（5）根據（1）獲得的測試用例，基于（4）已經完成置信度評估的仿真工具鏈，參考企標4，搭建具體的仿真測試場景；基于（3）開發(fā)的仿真接口，完成測試環(huán)境的搭建；

（6）執(zhí)行具體仿真測試。根據（1）明確的測試人員/工程師和排期，參考企標0，執(zhí)行仿真測試；

（7）得到仿真測試結果。參考企標5和企標6，對于仿真測試結果進行評價。同時，可以參考企標9，將模擬仿真測試與封閉場地/實際道路測試結果進行有效地對比，驗證模擬仿真測試的可信度。

企業(yè)可以通過對企標0標準化的測試流程的定期復盤和審查，不斷優(yōu)化針對產品的測試效率和業(yè)務績效。同時，識別問題并持續(xù)改進測試流程，更好地適應市場變化、法規(guī)要求或客戶需求的變動。

結語

本文基于賽目科技的實踐經驗和研究成果，主要闡述了企業(yè)通過制定模擬仿真測試企業(yè)標準和規(guī)范體系證明理解和掌握仿真關鍵技術的核心理念。在國家鼓勵企業(yè)建立健全標準化工作制度和實施企業(yè)標準“領跑者”制度的政策背景下，配備專/兼職標準化人員/工程師，適配企業(yè)和自身產品特點，對模擬仿真測試過程中涉及的關鍵技術進行標準化和準確性的描述，具體地指導開發(fā)和測試人員/工程師開展智能網聯(lián)汽車產品的模擬仿真測試工作，把仿真測試做專、做精和做深，積極地促進智能網聯(lián)汽車產品質量提升，推動企業(yè)高質量發(fā)展。