关于模拟仿真测试可信度评估方法的研究（上）——评估框架

引言

随着智能网联汽车技术及产业的快速发展，预期功能安全等新的安全风险也日益凸显，传统的测试手段已无法满足对自动驾驶功能测试与验证的需求。模拟仿真测试技术以其高效率、低成本、高安全、高覆盖度等优势，成为自动驾驶功能测试验证的重要支柱[1]，已得到业内广泛认可。基于赛目科技前期提出的智能网联汽车产品测试策略研究成果，本篇文章提出模拟仿真测试可信度评估框架及一系列评估方法，为后续开展仿真测试可信度评估提供参考。

本系列文章将分上、下两篇，分别阐释赛目科技提出的模拟仿真测试可信度“评估框架”和“评估方法”两个核心问题。

可信度评估框架

联合国世界车辆法规协调论坛（UN/WP.29）自动驾驶验证方法非正式工作组（VMAD IWG）针对自动驾驶功能提出新评估和测试方法（New Assessment/Test Method for Automated Driving，NATM）[2]，包括场景目录，以及模拟仿真测试、封闭场地测试、实际道路测试、审核评估和在用监测报告等5类技术手段（以下简称“多支柱法”），支撑ADS的安全性验证，如图1所示。

图1 VMAD多支柱法框架

其中，仿真作为“多支柱法”的重要内容，在智能网联汽车综合安全评估中发挥着至关重要的作用。对此，NATM中针对仿真测试提出了可信度评估框架与流程，主要包含仿真试验的管理、分析、验证和确认四大组成部分，如图2所示。

·建模和仿真管理：数据谱系、团队经验、发布管理。

·建模和仿真分析：逻辑场景、关键性评估、工具链范围/说明、假设和限制、相关性阈值。

·建模和仿真验证：代码验证、计算验证、敏感性分析。

·建模和仿真确认：相关系统（如传感器、车辆及其他子系统）、集成系统。

图2 仿真试验可信度评估框架 国内针对仿真测试的标准化研究，《自动驾驶功能仿真测试标准化需求研究报告》中指出模拟仿真测试应遵循的基本原则为全面性、真实性和可重复性，其中，真实性是指仿真测试的场景参数应基于实际，逻辑参数设置合理，并且测试输出结果应与实车测试保持基本一致[3]。2022年11月，工信部联合公安部发布的《关于开展智能网联汽车准入和上路通行试点工作的通知（征求意见稿）》中针对仿真测试验证也明确要求：应证明使用的模拟仿真测试工具链置信度，以及车辆动力学、传感器等模型可信度，并通过与封闭场地和实际道路测试结果对比等手段验证模拟仿真测试的可信度[4]。 基于以上研究背景，我们得出模拟仿真测试的实现需要模型、工具和场景共同作用，三者紧密耦合，相辅相成。因此赛目科技提出一种模拟仿真测试可信度评估框架，其中主要包括仿真工具置信度、仿真模型可信度以及测试场景可信度，如图3所示。 图3 模拟仿真测试可信度评估框架

仿真工具置信度

仿真测试工具包含场景管理模块、仿真引擎、评价模块等，通过搭建智能网联汽车仿真测试所需的测试环境，反馈相关感知信息及车控指令，并形成自动驾驶算法模拟仿真测试评估结果，是完成自动驾驶模拟仿真测试的重要手段。仿真工具的置信度要求是仿真工具本身不应出现计算错误、算法逻辑变更、超预期的信号时序变更、同步状态改变等问题[1]，通过功能安全实现以上要求是主要的途径之一。参考ISO 26262 [5]汽车功能安全标准中汽车软件产品开发的要求，需要从设计开发到测试验证进行全流程的安全评估保障，主要工作包括：需求分析、系统架构设计、详细设计、单元测试、集成测试、功能测试，以验证仿真工具具备的置信度水平，具体流程如图4所示。

图4 仿真工具可信度评估框架仿真模型可信度

（1）车辆动力学模型

车辆动力学模型是汽车仿真技术的重要组成部分，主要作用是模拟车辆在不同行驶状态时的动力学行为[4]，根据ADAS或者自动驾驶系统的输入，结合路面特性对车辆本身进行仿真，完成闭环的测试。 针对车辆动力学模型的可信度验证，赛目科技提出“试验工况+对比参数”的验证框架，主要通过配置车辆动力学参数、构建典型试验工况、选取对比参数，进行仿真与实车测试结果的比对，具体流程如图5所示。

图5 车辆动力学模型可信度评估框架

（2）传感器模型

传感器建模是其在仿真环境中感知周围对象信息的必要环节，可以实现对感知算法效果的验证与评估。传感器模型配置主要是对摄像头、毫米波雷达、激光雷达、超声波雷达的物理特性根据仿真测试需求进行建模。 针对传感器模型的可信度验证，赛目科技提出“测试环境构建+对比参数”的验证框架，主要通过设置传感器参数、选取对比参数、构建典型场景，进行仿真与真实传感器反馈结果的比对，具体流程如图6所示。

图6 传感器模型可信度评估框架

测试场景可信度

在自动驾驶模拟仿真测试过程中，场景作为最重要的核心要素之一，可以部署到仿真环境或者真实的受控测试场地中，从而对被测车辆的特定功能在行驶环境下的表现进行试验和分析[6]。针对测试场景的可信度验证，赛目科技提出通过选取对比参数、实车标定试验、搭建测试场景，进行仿真与实车试验结果的比对，具体流程如图7所示。

·标准规范：参考GB/T《智能网联汽车 自动驾驶功能仿真试验方法及要求》（草案）和GB/T 41798-2022《智能网联汽车 自动驾驶功能场地试验方法及要求》[7]。

·试验场景：根据自动驾驶功能的设计运行条件确定可信度验证的测试场景集。

·试验参数：根据测试场景中是否存在交互行为选取各场景下的对比试验参数。

图7 仿真测试场景可信度评估流程

开展仿真测试与实车测试结果的一致性分析，主要体现为：智能网联汽车在同一测试场景下，模拟仿真测试和实车测试的试验结果趋势应保持一致，特征参数（如纵向速度、纵向加/减速度等）误差在一定范围内，从而验证仿真测试场景的可信度。

结语

本文是《模拟仿真测试可信度评估方法研究》系列的上篇，主要描述了仿真测试可信度评估的“评估框架”，主要包括仿真工具置信度、仿真模型可信度以及测试场景可信度。通过建立仿真可信度评估研究框架，有利于从总体上把握可信度评估的基本步骤和方法，有效推进可信度评估研究和实践。

下一期《模拟仿真测试可信度评估方法研究》下篇将重点介绍仿真测试可信度评估的“评估方法”，赛目科技对比分析并提出了一种定量的可信度评估指标，敬请期待。

参考文献

[1]刘法旺,何丰,周时莹等.基于场景的智能网联汽车模拟仿真测试评估方法与实践[J].汽车工程学报,2023,13(02):135-145.

[2]New Assessment/Test Method for Automated Driving (NATM) Guidelines for Validating Automated Driving System (ADS). Informal Working Group (IWG) on Validation Methods for Automated Driving (VMAD),2022.

[3]自动驾驶功能仿真测试标准化需求研究报告[R].全国汽车标准化技术委员会,智能网联汽车分技术委员会,2020.

[4]工业和信息化部和公安部.《关于开展智能网联汽车准入和上路通行试点工作的通知（征求意见稿）》, 2022.

[5]ISO 26262Road vehicles -- Functional safety

[6]冯屹,王兆.自动驾驶测试场景技术发展与应用[M].北京:机械工业出版社, 2020.

[7]GB/T 41798-2022 智能网联汽车 自动驾驶功能场地试验方法及要求[S].

扫描二维码

关注赛目科技

 

专注智能网联汽车

测试丨验证丨评价研究

作者：前瞻事业部-鞠晓男

---

原文标题：关于模拟仿真测试可信度评估方法的研究（上）——评估框架

文章出处：【微信公众号：赛目科技】欢迎添加关注！文章转载请注明出处。