高级自动驾驶感知系统前装量产爆发，如何高效测评系统性能表现？-汽车纵横网

激光雷达前装上车，毫无疑问是2021年智能驾驶领域最热门的话题，整个行业一致认为：激光雷达出色的感知性能将为智能驾驶带来更安全更舒适的体验。

但是，部署了激光雷达之后，怎么知道它对智能系统感知能力的提升到底有多少？是否能达到预期？激光雷达+摄像头+毫米波雷达的多传感器融合系统整体性能到底如何？

△车规级固态激光雷达M1实测点云，将在Q2启动定点项目量产交付

答案：测评！

△汽车行业项目开发模式中研发设计与测试验证各占一半

在严谨汽车行业开发体系中，研发设计与测试验证几乎各占一半，后者基于项目需求目标，客观测试并评价感知系统的性能和不足，为每一个关键节点指明开发方向，让整个项目开发处于“Know How”的状态中向前推进。

激光雷达作为一种新型的车用传感器，其数据可靠性、算法检测性能，理论上远高于摄像头和毫米波雷达，过去应用于摄像头和毫米波雷达测评的标准和工具，根本达不到测评激光雷达的水平。

△基于车规级固态激光雷达M1的实时感知表现，检测性能优于摄像头和毫米波雷达

必须基于更高的标准，针对激光雷达及传感器融合感知系统测评，开发一套高水准的测评标准和工具。

深知测评的重要，早在车规级MEMS固态激光雷达M1项目立项之初，RoboSense(速腾聚创)开始布局真值系统+测评工具链：RS-Reference。该解决方案产品推向市场3年以来，已服务于多家国际顶级OEM和Tier1。

下文将以最新版本RS-Reference 2.1为例，讲解激光雷达及多传感器融合感知系统的测评标准和工具链。

△RS-Reference版本迭代历程，方案长期持续优化升级，测评功能模块与软件工具链丰富

什么样的数据才能作为真值数据

测评就像考试，改卷打分需要参考答案，真值数据就是感知系统测评的“参考答案”。

所以真值数据一定要比待测系统(DuT)更准确，在检测性能及几何误差指标等全方面表现都是比待测系统(DuT)高一个层次存在。

△基于真值数据对待测感知系统的检测性能分析，图中简写含义：GT(真值)、TP(待测系统检测正确的目标)、DT(待测系统检测出来的目标)、FP(待测系统的误检目标)、FN(待测系统的漏检目标)

真值数据囊括智能驾驶感知系统所涉及的众多信息，既包括障碍物类型、速度、位置等动态信息，也包括车道线、道路边界等静态信息。同时，智能驾驶所面对的交通场景繁杂多变，严格地测评激光雷达及感知系统所需要的多场景真值数据量达到PB级。

在开发迭代中，伴随测试与研发升级循环交替，对真值的需求不断更新，真值数据的生成效率要跟上开发需求，不能因此拖慢项目进度。

PB级高质量真值数据如何获取

如上文所述，标注质量和生成效率是测试对于真值数据最为关注的两大维度。

传统人工标注方法，对每帧数据的目标进行逐个标注，标注时间长且人力成本巨大，1天采集的数据量大约需要1名标注员处理3年，约等于1:1000(1天的数据需要花1千天标注)，标注效率极其低下，根本无法满足频繁的测试需求。在标注能力上，人工方法存在显著缺陷：由于逐帧静态数据的标注方法，无法标注动态物体的运动速度和加速度；由于单帧数据对物体外形的重构不完整(比如单帧点云中前方车辆通常只有一个L型面)，标注框尺寸大小的准确性也无法保证。

RS-Reference提供一套智能化的真值生成&测评解决方案，以近乎于1:1的标注效率输出检测性能和几何误差指标远高于实时感知、人工标注和传统标注工具的真值数据。

△最新版RS-Reference 2.1数据采集传感器系统外观图

「高性能高成熟度的传感器数据收集系统」，采集更精确可靠的原始数据。RS-Reference 选用旗舰级128线激光雷达RS-Ruby、Leopard摄像头、大陆408毫米波雷达、GI-6695 RTK，并在最新的2.1版本中加入两颗近场补盲激光雷达RS-Bpearl，增强对近场盲区感知的测评应用。多款成熟高性能传感器同时采集驾驶环境数据，充分发挥各传感器优势，实现原始信息的全面覆盖、冗余可靠、精细准确。

「分体式的顶装部署，无需开孔改装」，最新版RS-Reference 2.1的传感器系统部署方案升级分体式顶置安装设计，可适配不同尺寸的车型，且车体无需开孔，不占有待测方案传感器安装位置，直接测评与量产车传感器方案布局一致的智能驾驶系统。

△最新版RS-Reference 2.1 采用分体式顶装设计

灵活适配不同尺寸测试车型

「积累深厚的感知算法+专用离线处理机制」，快速输出超高质量真值数据。算法是智能化标注超越人工标注的核心，负责真值数据的提取，RoboSense基于超过13年的激光雷达感知算法技术积累，为RS-Reference定制了专用的“离线感知算法”，充分利用多种高性能感知算法技术，配给充足的计算资源，对每一个障碍物数据进行“全生命过程跟踪识别”，悉数提取每一帧的真值数据。

基于对运动障碍物全过程的跟踪和多角度观察，RS-Reference可以实现速度和加速度标注，并通过更全面的形状和大小信息，准确划定标注框尺寸大小，即使复杂场景中紧密相靠的障碍物也能精确分切。

△RS-Reference 2.1生成的复杂场景感知真值数据可视化截图

全栈式测评工具链，可分析各种感知系统

传感器感知性能测评流程大致分为四大步骤：数据采集、离线后处理生成真值数据、DuT测评分析、优化升级DuT方案，完成优化升级之后重新采集数据，再次测评，如此循环直至获得满意的感知方案。其中每个环节包含大量细致的工作，配套的软件工具体系是项目高效推进的关键。

△感知系统开发的测评流程

「全栈式测评工具链」，RS-Reference全栈式工具链包括采集工具、传感器标定工具、可视化工具、人工校验工具、测评工具等等，最新的2.1版本中升级数据管理平台、加入场景语义标签功能，覆盖测评工作的每一个环节。

△RS-Reference为真值生成与测评提供全栈工具链

智能驾驶采用多传感器感知融合系统，开发过程中，摸清系统整体性能表现和每路传感器感知性能表现同样重要。唯有清楚系统的整体和每个组成部分的情况，才能为研发指明优化升级迭代方向，保证整个项目推进处于“Know How”状态当中。

「面向多传感融合，针对测评每个传感器」，RS-Reference不但可以对智能驾驶的感知融合结果进行测评，同时根据激光雷达、毫米波雷达、摄像头等不同类型传感器的工作特点，提供针对性的专用测评工具模块，且可按客户需求开发定制化工具模块，深入分析感知系统性能表现。

接下来，在2.2版本Reference中，我们还将释放路牌&路面标识、车道线类别、场景语义识别等项目的测评工具模块。

拓展应用价值巨大的真值系统

规划控制算法开发支持：智能驾驶方案开发者还可以基于RS-Reference搭建大规模驾驶场景库，在感知系统开发完成之前，并行开发规划控制系统核心算法，跳出“感知→规划→控制”串行模式的制约，大幅加快项目开发进程。

赋能仿真：利用RS-Reference在真实场景中生成海量真值数据构建仿真场景，不但可以获得源源不断的数据，而且大幅提升仿真场景数据的真实性。

测评路端感知系统：基于强大真值生成能力和测评工具链，RS-Reference还可以用于对车路协同路侧感知系统感知能力的测评，帮助智慧交通项目开发部署与验收。

获得多家顶级OEM和Tier1认可

RS-Reference推出三年以来，已服务于多家国际顶级OEM和Tier1，帮助多个智能驾驶项目攻克难题，获得客户的高度评价和大量订单。

△众多OEM和Tier1在智能驾驶感知系统项目开发初期就开始使用RS-Reference，并逐步组建规模化测试车队

Tier1案例：某全球知名的智能汽车解决方案企业，与RoboSense正式合作之前，开放性地探讨了用于激光雷达/毫米波雷达的感知评测方案。双方经过两个月的前期沟通和共同方案验证，RoboSense先交付了一套RS-Reference系统。在接下来的三个月里，RoboSense研发团队与客户展开了更密集交流，发现客户更深入评测需求，并对方案进行升级优化，帮助客户很好地解决了测评难题，获得客户的高度认可和多次订单。目前，该客户已经基于RS-Reference系统为测评工具，建立了一支拥有近10辆采集车的测试车队。

OEM案例：总部在国内的某顶级OEM，在经过认真的前期评估后，最终选择了RoboSense提供的RS-Reference系统。完成部署交付后，客户对系统进行了更加严苛的测试和分析，最终RS-Reference以优异的性能表现获得的客户肯定。目前OEM客户已经准备组建一个数十辆测试车的测试车队，使用RS-Reference系统开展后续传感器评测工作。