关闭

搜索

搜索 菜单
光子学媒体 Photonics Marketplace 【欧洲杯官方唯一指定】 生物学学 Europhotonics. 视觉谱图 2012年欧洲杯投注门 Photonics Prodspec. 【2021欧洲杯官方合作伙伴】

激光雷达和数据融合提高了人工智能的性能

Facebook 推特 linkedin 电子邮件 评论
来自各种传感器的多个图像的组合导致有效地检测距离以及自驾驶汽车的潜在危险。

Pablogarcía-gómez,jordi riu和圣地亚哥Royo,Beamagine sl

成像莱达传感器是用于自动车辆中的用于感知任务的系统中的主要组件之一。LIDAR产生的3D数据被认为是有用的,因为这种数据是测量实时物理出现的结果。这些包括诸如两个激光脉冲之间的时间延迟(在脉冲飞行时间技术的情况下的情况)或返回信号的多普勒偏移(以频率调制的连续波接近)的时间延迟。

基于3D点云分析的自动人机检测预安装软件。礼貌的波束。


基于3D点云分析的自动人机检测预安装软件。礼貌的波束。

与其他3D技术不同 - 如STENEOVION - 利用LIDAR,不需要后处理,因为收集3D数据不依赖于软件算法的使用。LIDAR还承载自己的照明源,消除了对外部照明的依赖。然而 - 即使在整个汽车行业中经过证明的LIDAR数据是可靠的 - 为了提高可靠性,模态必须与其他传感技术相结合,无论是用于自主车辆还是用于关键应用的感知系统。国际买球的网站这些车辆和系统无法允许虚假检测。第二个甚至第三个信息的信息,记录相同的视野(FOV)一致地帮助减少对特定技术的依赖性,并且它们最小化了感知失败的机会。

全体数据融合

最常与激光雷达相结合的传感器是雷达和摄像机,其一起可以从任何频带收集来自可见波长到长波红外(LWIR)的光谱信息。数据融合技术用于将来自所有传感器的信息组合。两种主要方法是早期和晚期数据融合。早期方法在感知前熔化图像数据,而后期方法在感知之后融合在对象级别的信息。已显示早期融合方法提供更高水平的可靠性1

但是,早期选项必须更精确地熔断来自各种成像模式接收的图像。视差问题可能导致LIDAR和来自摄像机的图像的3D数据在所有距离中的整个视野​​中的图像不那么重合,这可能会损害整个系统的鲁棒性。视差是常见的,并且在某些情况下不可能避免,特别是当传感器在车辆表面上铺展时。数据融合软件可以管理的FOV的变化视角。

此外,传感器系统的制造商必须提供校准后产品的机械对准的寿命保证。如果系统接收甚至少量扭曲的信息,则传感器之间的视差未对准,并且需要新的校准过程。

最近开发的组合成像系统包括LIDAR传感器,并使用全体数据融合 - 同时将数据集成到所有距离 - 作为其主要特征之一(图1)。此功能允许在所有距离处提供准确和无视差融合。传感器的标准版本包含两个互补类型的摄像机:RGB用于可见光谱和LWIR收集热数据。

图1. L3CAM包含三重传感器集成。横向窗口对应于激光孔孔,中央顶部区域集成了RGB相机,中央底窗口包括热相机。礼貌的波束。


图1。L3CAM包含三重传感器集成。横向窗口对应于激光孔孔,中央顶部区域集成了RGB相机,中央底窗口包括热相机。礼貌的波束。

然而,也可以使用相机的图像在其他波长 - 例如接近IR,Shortwave-IR,Midwave-IR,Polarimetric和甚至多光谱相机中的图像。相机集成在同一壳体内,因此保证机械对准。

从三个对齐的传感器收集的信息是没有视差问题的,可以通过用户自己的感知软件算法来管理。表中显示了传感器系统中分离的与集成相机的比较。

图2和3示出了各种成像模式的示例。

图2. 3D点云图像(A),RGB图像(B)和热图像(C)。礼貌的波束。
图2. 3D点云图像(A),RGB图像(B)和热图像(C)。礼貌的波束。
图2. 3D点云图像(A),RGB图像(B)和热图像(C)。礼貌的波束。


图2。3d点云图像(一个),一个RGB图像(b)和热图像(C)。礼貌的波束。

图3. RGB数据(A)重叠的3D图像数据。3D通过热数据重叠的图像数据(b)。礼貌的波束。
图3. RGB数据(A)重叠的3D图像数据。3D通过热数据重叠的图像数据(b)。礼貌的波束。


图3。RGB数据重叠的3D图像数据(一个)。3D通过热数据重叠的图像数据(b)。礼貌的波束。

减少虚假警报速率

互补成像模式的组合可以有效地降低使用AI感知软件时典型的误报率。冗余和互补数据源的使用允许用户找到更多的方法来面对感知挑战2。用于行人自动检测的感知人工智能就是一个例子。使用实时对象检测系统和YOLO(你只看一次)算法等资源,可以在RGB相机的视场内检测到人类。

在理想的工作条件下,这种工具可以在检测人类(故事的引导形象)时实现> 90%的有效性。然而,当条件小于理想时(例如,在夜间或恶劣天气下)时,误报率迅速增加。照明的变化,小横截面对象检测的要求,或者恶劣天气的存在可以使由于频繁的误报,使得组合的成像系统无用。

在具有挑战性的条件下,具有互补失效模式的传感器可用于在对象检测中提供冗余,以及容忍,以帮助避免收集不可靠的数据。例如,热摄像机补充RGB检测,因为它们在夜间和雾化条件下提供比RGB摄像机更好的性能。并且LIDAR可以确定物体的尺寸,因此消除了从各种距离处计算纵横比的不确定性。这三种传感器组合显着降低了误报率并提高了AI软件的鲁棒性,从而实现了对AI感知的可靠培训。

固态扫描

由于缺乏大型移动元素,市场集中在LIDAR应用中的固态设备。在光学图像生成期间干预的电动机或旋转头等大型力学是在车辆上安装时可能发生故障的关键元件。已经证明,由于其共振频率,MEMS扫描仪对电动系统的振动不太敏感,因此它们高于典型的车辆振动频率3.。这些使传感器系统能够更容易宽容,其中运行车辆的实际环境。

LIDAR传感器的一个关键方面,用于诸如汽车的快速移动车辆是能够检测到道路上的任何物体的能力。为完成此任务,垂直轴处的点云的分辨率变得至关重要。通常,任何大于10cm的物体会损坏保险杠,因此车辆的感知必须能够及时检测对象以改变课程。

具有足够垂直角度分辨率和范围的体面垂直FOV的组合不易实现。结果点云必须包含大量线,通常约为200.只要集成传感器系统的Y轴分辨率不限于固定数量的发射器或接收器,可以由用户配置此分辨率。

然而,随着LIDAR来折衷,其中一个是y轴上的该分辨率转化为较低的帧速率。在含有200个水平线(图4)的BeamAgine的L3CAM配置的情况下,帧速率将限制为10 fps。

图4.一个600×200像素单帧云图像。礼貌的波束。


图4。一个600×200像素的单帧点云图像。礼貌的波束。

应用程序

车辆机器人技术是该系统的主要应用之一,特别是当机器人在户外操作,需要远程检测障碍物的能力时。汽车行业和卫星对接是这项技术的另一个目标。

传感器系统中分离和集成摄像机规格的比较 传感器系统中分离和集成摄像机规格的比较


然而,任何需要传感的平台 - 包括船只,起重机,火车,无人机和越野车 - 与这些系统兼容。其他应用包括安全性和监控的静态装置,例如入侵检测,外围保护,无人值守控制中心的监控,在铁路轨道上检测人类,以及人群分析。

满足作者

PabloGarcía-gómez是加泰罗尼亚技术大学光学工程博士生,在那里他获得了物理工程硕士学位。他正在完成与Beamagine的激光雷达图像融合有关的博士工作,同时他为大学的各种研究项目做出了贡献。

Jordi Riu是滨山的首席执行官和联合创始人。他拥有电子学士学位,以及来自加泰罗尼亚技术大学的光学工程中的博士学位。他的博士学位工作,产生了几项专利,以基于MEMS扫描仪为中心的固态激光雷达成像。他一直在过去10年的Lidar成像的硬件开发。

圣地亚哥Royo是Beamagine的联合创始人,在那里他是业务发展副总裁。他也是基于光子学的疏散公司​​Snelloptics和Obstech Spa的联合创始人。Royo拥有17项专利,其中11项被许可的四个不同的公司。他有超过50个同行评审出版物的撰写文件。欧洲杯用什么软件下注

参考文献

1.T.Y.Lim等人。(2019年12月)。高级驾驶员辅助系统中车辆检测的雷达和相机早期融合。神经信息处理系统第三次会议自主驾驶研讨会的机器学习(Neurips 2019)。

2. R. Hebbalaguppe等。(2016)。监控摄像机网络中的蜘蛛/蜘蛛网触发的误报的减少。IEEE国际图像处理会议(ICIP),凤凰,www.doi.org/10.1109/icip.2016.7532496

3. J. Iannacci(2015年)。MEMS的可靠性:对开发水平的故障机制,改进解决方案和最佳实践的视角。显示,卷。37,pp。62-71。


Europhotonics.
春天2021.
词汇表
视差
当眼部横向移动时,在两个物体之间引起相对运动的光学现象。当图像和掩模版本之间的望远镜中出现视差时,这表明图像尚未形成在掩模版的平面中。
莱达
光检测和测距的首字母缩略词,描述了使用光束代替传统微波束的系统进行大气监测,跟踪和检测功能。LADAR,激光检测和测距的首字母缩略词,使用激光检测速度,高度,方向和范围;它通常被称为激光雷达。
特征 视差 莱达 数据融合 自动车辆 脉冲激光器 f 视差问题 波束 固态扫描 传感器和探测器

评论
回到顶部
Facebook 推特 Instagram. linkedin YouTube rss.
2021欧洲杯竞猜app [电子邮件受保护]

光子媒体,劳琳出版社
X 订阅Europhotonics.杂志 - 免费!
我们使用cookie来改善用户体验并分析我们的网站流量,如我们所示隐私政策。通过使用本网站,您同意使用饼干除非你已经禁用了它们。