今年奥迪发布带有L3自动驾驶功能的A8时,很多人都注意到了新车前脸的一款激光雷达——ScaLa。ScaLa是全球第一款车规激光雷达,研发设计它的是一家德国公司Ibeo Automotive Systems GmbH。
Ibeo并不是一家初创企业,1998年6月1日创立时,公司的主要业务就是车载激光雷达。在经历了2000年被并入SICK AG(一家工业传感器系统供应商),2009年被现总裁买断独立之后,便有了今天的智能驾驶激光雷达系统供应商Ibeo Automotive Systems GmbH。
和很多公司不同,Ibeo既可以提供激光雷达硬件,也可以提供配套的软件算法。正是因为在软件算法方面的积累,Ibeo的现有业务已经从出售激光雷达软硬件产品,扩展到了传感器融合,乃至提供整套ADAS系统。
虽然Ibeo已经在车载激光雷达领域潜伏了好多年,但在国内举办用户大会还是第一次。11月20日Ibeo联合国内合作伙伴北京欧百拓信息科技(以下简称“欧百拓”)正式亮相,Ibeo CEO Dr. Ulrich Lages向我们揭晓了一款更适合未来自动驾驶汽车的新一代3D固态激光雷达,也分享了一些Ibeo的经验和本土化思路。
Ibeo CEO Dr. Ulrich Lages
聪明的激光雷达知道“该看什么”
Ibeo成立至今,出售的激光雷达都是内部机械旋转式。产品主要有两款:一款就是和一级供应商法雷奥合作,完成车规量产的4线激光雷达ScaLa;另一款是LUX系列,有4线、8线两类,是很多自动驾驶预研项目中采用的重要传感器。
为了让传感器更智能,Ibeo会为自己的激光雷达产品提供点云处理和软件算法。目前Ibeo算法支持车道标线、目标物识别,支持的目标物分类包括乘用车、卡车、自行车和行人等。
在Ibeo用户大会现场,我们可以看到一张使用Ibeo激光雷达探测路面的示意图,对于Ibeo探测到的物体,都会被标准上具体分类,并提供道路信息。
在观察Ibeo现有产品时,我们很容易发现一个特点——Ibeo的机械旋转式产品只有4线和8线,适用于ADAS功能。而很多目标要做自动驾驶的公司,都在出售多线数3D扫描式激光雷达。
在我们提问线数是否越多越好时,Dr. Ulrich Lages把这个问题拆解成了两个部分来作答:1. 多线数机械旋转式激光雷达是未来车载激光雷达的方向吗?2. 自动驾驶需要的激光雷达一定是360°高分辨率吗?
对于第一个问题,Ibeo从车规和成本的角度考虑,看到了多线数机械旋转式激光雷达面临的挑战。机械旋转式的多线激光雷达的确可以获得更大的视场角,但收集的点云数据越多,对计算资源能力的要求也就越高,同时还要解决额外的供电和散热问题。机械旋转式的多线激光雷达是实现高分辨率探测的一种方法,但从车规和降成本方面考虑,是有瓶颈的。
第二个问题的想法比较特别。根据Ibeo的经验,我们需要的高分辨率并不是全环境的高分辨率,要做的第一步其实是发现哪些是真正影响本车行驶的路面目标。就像人开车看路时,对焦区域也只有5°,激光雷达不必达到全视野的“清晰”,聚焦区域外的阴影变化,就已经足以支持激光雷达做出判断。最后适用于自动驾驶的激光雷达,可以智能锁定那些会对本车产生影响的目标物,再把足够多的分辨率分给这个目标物。
因此对于未来的自动驾驶激光雷达,Ibeo选择直接跳过机械旋转式的多线数激光雷达,把更多精力放在下一代雷达技术研发上。他们认为下一代车载激光雷达应该彻底摆脱掉旋转部件,而且在“该关注什么”这件事情上足够智能。
在接受车云菌专访时,Dr. Ulrich Lages介绍了他们心目中的下一代激光雷达 ——固态3D激光雷达。关于这款产品的技术方案他没有透露,只是向我们揭晓了产品的部分参数:探测范围可以达到0-300米,水平视场角范围可以根据客户需要定制。第一代固态激光雷达的水平角分辨率会做到0.25°,第二代升级为0.1°。
目前这款固态激光雷达还在A Sample阶段。2016年8月1日,采埃孚收购了Ibeo 40%的股份,主要合作研发的就是这款新型固态激光雷达。根据计划,新款固态3D激光雷达会在2021年完成车规量产。
自动驾驶需要原始数据层的融合
在聊到传感器融合时,Dr. Ulrich Lages认为现有的传感器融合方式(目标层融合)不能满足自动驾驶的安全需要,未来我们需要原始数据(Raw Data)层的深度融合。
这里做一个简单的科普。
所谓目标层的融合,是指摄像头、激光雷达、毫米波雷达这三个核心传感器各自提取目标,然后不同传感器间比对,得出一个结果——比如前方有一辆卡车。
这种融合方式会有一个问题——当不同传感器各自生成目标时,和目标无关的数据就会被丢掉。但实际上这些被过滤掉的原始数据可能包含有意义的特性信息,可以跟其他传感器数据融合,帮助做出更准确的判断。
一个例子很容易形容目标层融合出现的分歧。
上图中因为角度的问题,每个传感器看到的红球数量是不一样的。1号传感器检测到一个物体,2号传感器检测到两个物体。于是在传感器融合时出现了无法判断的情况。
Dr. Ulrich Lages认为,相比每个传感器给出自己的判断,更重要的是传感器告诉你它可能漏掉了什么。传感器融合的工作是建立一个数学模型,输出对目标物体可能性的一种描述。
因此,上面例子中,1号传感器在有限的视野中只检测到了一个物体,但它提交的报告应该是:因为有物体遮挡,所以我能确定的物体是“有一个,但还可能存在其他物体”。2号传感器可以毫无疑问地“确认检测到两个物体”。这样,传感器融合后可以轻易得出“前方有两个物体”的结果。
鉴于对传感器融合的理解,Ibeo除了提供激光雷达软硬件产品,还延展到提供传感器融合服务,核心技术就是建立上面提到的数学模型。
Dr. Ulrich Lages告诉车云菌,Ibeo自2005年开始研究多个激光雷达传感器的数据融合,并在几年前开发了新的概念模型,用于激光雷达和其他传感器数据的融合研究。他们在定义传感器融合的标准接口,包括每一类传感器在融合时提供的数据结构、采用的数据加密模式。
中国的本土研发与产品化
不同地区的交通场景不同,决定了自动驾驶研发需要区域定制。在中国,帮助Ibeo在中国落地产品的是欧百拓,这家初创公司成立于2015年初。其创始人剧学铭博士曾在德国慕尼黑工大任教,有多年参与宝马研究院自动驾驶项目的经验。
经历了激光雷达的科普期后,目前欧百拓根据中国市场的自动驾驶研发需求,主要在做两项工作。
一项是提供用于自动驾驶评测的参考平台。
例如在验证待测视觉传感器技术是否达标时,传统方法是人工在线下一帧一帧捕捉摄像头收集到的图像,标记出行人、车辆等目标。这种做法效率低,时间成本高。Ibeo的评测平台用激光雷达和算法代替了人工。在公共道路完成测试后,研发人员可以将数据导入到这个平台,自动完成对真实数据的标定。
另一项工作是做本地的算法研发,进行激光雷达的数据采集和场景分析工作。
车云菌在会场外,看到了一辆Ibeo欧百拓的数据采集车。车上有六个LUX四线激光雷达,和两个Sick一线激光雷达。欧百拓工程师告诉我们,采集车主要做的工作是采集本地数据,用于激光雷达软件算法研究,希望能提供更适用于中国交通环境和驾驶习惯的软件算法。剧学铭博士告诉车云菌,欧百拓与Ibeo合作的本地化自动驾驶落地项目,也将在近期公布。
车云小结
对于自动驾驶需要什么样的激光雷达,Ibeo给出的答案很克制。Dr. Ulrich Lages强调,满足未来L4\L5自动驾驶的传感器还未出现,不同传感器都要做技术迭代。剧学铭博士也告诉车云菌,要实现数据层的深度融合,不同传感器之间的配合会更紧密,需要更深层的数据共享。
因为很早就和车企共同进行自动驾驶预研,我们在和Dr. Ulrich Lages讨论产品时,可以感受到一种“熟知完整系统后再收敛到具体模块需求”的思考模式。这是在和其他激光雷达公司交流时,从未获得的体验。Ibeo也在用这种模式,探索着自动驾驶最终落地的方式。
以下为Dr. Ulrich Lages采访速记,车云菌做了不改变原意的删减:
Q:Ibeo正在研发一款固态3D激光雷达,能向我们详细介绍一下吗?
A:我们的新款激光雷达是一款3D激光雷达,可以检测车道线,地面覆盖物,目标物等等。探测范围可以达到0-300米,水平视场角可以达到32°,第一代固态激光雷达的水平角分辨率会做到0.25°,第二代升级为0.1°。可以根据客户需求定制。
Q:为什么传感器融合很难?
A:过去,人们在传感器探测到物体的时候会很高兴,因为识别物体这块很难做。但现在不一样了,你可以使用不同的传感器,有雷达、摄像头、激光雷达等等,它们都可以提供对目标物体的识别信息,但它们可能提供的是不同的信息,比如前方是三个物体,前方是四个物体,所以你需要找到解决这种争议的方法。
在自动驾驶应用中,重要的是传感器告诉你它可能漏掉了什么,而不是它识别到了什么物体。但是现在的传感器都在报告它们探测到了什么物体,也就是说提供给你的是各种各样的信息,这些信息是令人困惑的,因此也难以进行融合。
举例来说,在我们刚才进行的这个小小的实验中,1号传感器在有限的视野中只检测到了一个物体,但它提交给你的报告应该是:因为有物体遮挡,所以我能确定的物体是有一个,但还可能存在其他物体。对2号传感器来说,可以毫无疑问地确认检测到两个物体。因此,经过传感器融合就可以轻易得出前方是有两个物体的结果。
所以你会发现,传感器融合结果准确与否,很大程度上取决于各个传感器对自己局限性的认识。这些局限性可能包括其他物体的干扰,或者是有隐藏的部分,也可能来自于天气条件的干扰等,因为雷达、激光雷达等在雨天或者雾天的表现各不相同。每个传感器都应该上报自己的局限性,最终,这就意味着每个传感器提供的信息,包括原始数据,其实就是可能性的问题了。
之后,如果有某个固定的标准,每个传感器能够提供包括点云、可能性、可靠性在内相似的信息,你就能据此建立一个数学模型,但该数学模型输出的结果依然只是对目标物体可能性的一种描述,但这已经是一种生成环境模型很好的方式了。这意味着,最后就不存在上述实验可能出现的,到底是一个物体还是两个物体的争议了。
但问题在于,这样的数学模型是非常复杂的。绝大多数人在进行传感器融合时,一般开始采取的都是传统的方法。即你可能最开始只有一个雷达,紧接着有摄像头加入,这个时候就要融合雷达和传感器的数据。你可能发现了两种传感器提供数据有分歧,但通常人们是基于具体的使用案例来解决存在的争议的,比如在这个案例中我们主要参考摄像头的数据,因为雷达的数据并没有更可靠,结果就是随着传感器数量的增加,你就无法建立持续性的数学模型,因为它是基于不断进化这个基础产生的。如果采用这个方法来进行传感器融合的话,你可能永远都无法实现L5级的自动驾驶。
那么采取其他截然不同的方法呢?
你首先需要先建立一个数学模型,然后再根据这个数学模型来设计传感器,但不是很多公司会选择这种方法。因为一旦建立了数学模型之后,你就定义了接口(interface),即使有某个传感器失能,你完全可以选择对这些传感器的数据不予理会。
Q:做软件的开发人员需要懂其他传感器吗?
A:是的。你需要对其他传感器有基础知识的了解。因为你希望每个传感器能够提供相似的信息,而且你如果要比较两个不同类型传感器回传的数据,一定要保证这些数据是通过相似模型产生的,否则是无法进行比较的。
所以我们朝着这样的方向努力,保证传感器供应商提供的数据是通过某种标准生成的,即便不同的供应商提供的是不同的传感器,但它们上传数据的端口都是一样的,因此很容易将这些即插即用的传感器数据进行融合。
不过现在绝大多数都不是采取的这样方法,在你想要增加摄像头、雷达、激光雷达等传感器的时候,你可能就得从头开始了,你得搞清楚到底要怎么使用这些传感器的数据。这样就太糟了,浪费时间,不是高效的解决方案。如果未来我们能提供更多标准化的接口,传感器提供更多和自己探测能力匹配的数据,这样传感器融合也将能够更容易地进行。这也意味着你可以替换不同的传感器,比如说将A雷达换成B雷达,它照样会起作用。
Q:您能具体介绍一下Ibeo Reference System这款产品吗?这是用于自动驾驶汽车测试的产品吗?
A:如果一家传感器供应商生产了新的传感器套装,那它一定需要在公共交通中来测试这套传感器的性能。当在公共交通中测试并搜集数据后,剩下的还需要对这些数据进行分析处理。
但是通过雇用人工进行手动标定障碍物的方法耗时耗力,花费不菲。假设高速公路上实现一个小时的简单场景,可能就需要100个小时的人工标定工作。如果是更复杂场景的话,这个时间还会翻倍。因此,当你希望了解所搜集的数据是否有用时,通过传统的人工标定的方式其实是十分不可取的,这会大大拖延产品投放市场的进程。
有了ibeo Reference System,在公共道路完成测试后,可以将数据导入到这个平台。我们会基于时间轴上目标轨迹追踪历史来处理这些数据,通过算法自动完成对真实数据的标定(ground truth data),这要比人工更准确更快。这意味着假设你提交了8小时的测试数据,那么只需要8小时即可完成对这些数据的测算和标定,供系统分析使用。采用其他解决方案的话,你可能得等几周时间。
越来越多的公司出于时间和成本的考虑会优先选择ibeo的这套解决方案,这是我们业务增长非常迅速的一个版块,在中国已经由我们的合作方欧百拓开始提供相应的支持方案。
Q:从ADAS到自动驾驶,ibeo会提供哪些不同的产品用在哪些不同的阶段?
A:现在如果我们要测试一辆车,我们会直接从经销商那里买一辆车回来,我们打开CAN总线,将一个网关放进去,这样我们就能获得对整辆车子的控制权。之后我们启动车子,它就能够正常行驶了,但车子并不会觉察到增加了一个额外的网关,但我们却可以影响车子的转向、刹车等。这意味着在L5级别的自动驾驶,所有汽车内部传输的数据必须以安全加密的方式进行。
这其实需要一个和现在传统车型完全不同的架构,这意味着每一个传感器传输的信息必须是安全加密的。
但我们现在还没有这样的传感器,如今的传感器无法以这样的方式对传输数据进行安全加密。这其实是一个循序渐进的过程,随着技术的进步,整个汽车电子架构也会朝着更安全的方向演进,但是现在还没有能够让L5自动驾驶成为现实的架构。
所以让人们在谈论你需要多少ECU来做冗余,你如何在车内从A到B传输数据,所有人都明白如果要将车内数据向外传输的话,网络信息安全是首要考虑的问题。但车内数据的传输又如何呢?你可以为驾驶开发任何功能,只要有安全员在,就可以保证没有其他人对这辆无人车进行篡改。所以在L5自动驾驶实现后,车子本身要变得很聪明,能够自我保护,比如说在自我检测到异常后能够靠边停车等,保证乘客的安全。
所以目前量产的传感器并不符合L5自动驾驶要求,它们绝大部分是面向驾驶辅助功能应用开发的。
在机器完全取代人进行驾驶后,自动驾驶系统需要聪明到能够探测到异常的地步。尽管目前我们可以开发像L5级自动驾驶的功能,也可以进行相应的展示,我们甚至可以将这些车辆放进公共交通流中,但这将面临着非常大的风险。因为传感器并不完美,传感器融合技术也并不到位,数据传输也无法做到安全加密,我们还面临着很多方面的挑战,所以目前的自动驾驶还无法凌驾于ADAS之上。
对驾驶辅助系统而言,我们可以逐步开发各项功能,驾驶员可以起到督导的作用,但是自动驾驶就不一样了,目前还没有哪家公司可以提供完整的解决方案,我们还没到这项应用量产的技术。
Q:为什么Ibeo的激光雷达线只有4线或8线,激光雷达的线数是越多越好吗?
A:线数越多,就需要更多的能量来发射所有的激光。使用多线数激光雷达会存在能量的问题,供电的电池很快就会耗尽;会存在散热问题;会存在计算资源能力上限的问题,这些数据用于传感器融合时,数据量非常庞大。
我们需要的是覆盖车身高和宽的探测范围,所用线数的多少取决于具体案例和环境。当你开车的时候,你的集中观察的区域大约是5度,只要有5度你就能知道发生了什么。如果有一辆车快速地从路边切入,我问你那是一辆什么车,你可能并不知道具体是什么车。但是你可以感觉到有一辆车突然开过来,你可以看到一个影子,并且根据影子变化采取行动。
每个人都在研发传感器,希望覆盖非常大的范围。比如摄像头可以看到非常广泛的区域,但是在处理数据的时候就会出现问题。我并不认为这是一个关于需要越来越多线数的问题,而是智能可适应的传感器,可以根据环境的情况做相应的调节。
最后我们需要的传感器,会有特定的探测距离,探测角度,解决方案会足够好去探测和自动驾驶汽车有关系的物体。这个东西可能很小,比如路上的石头,有时候是一个大卡车。对于大卡车,我们自然不需要那么多的线数。对于路上的石头,如果我知道它在那里,我就可以把探测区域集中在那么一小块,而不需要全环境360度的探测,这种360度3D探测方式下,会有很大的探测区域是天空。
Q:Ibeo目前整个研发团队有多少的人员储备?
A:2005年我们开始进行传感器融合技术的研究,最初只是进行多个激光雷达传感器数据的融合研究。几年前,我们开发了新的概念模型,用于激光雷达和其他传感器数据的融合研究。我们的团队增长迅速,在传感器融合方面的研究我们现在有几十人的规模。