关闭

搜索

搜索 菜单
光子学媒体 Photonics Marketplace 【欧洲杯官方唯一指定】 BioPhotonics Europhotonics. 视觉谱图 2012年欧洲杯投注门 Photonics Prodspec. 【2021欧洲杯官方合作伙伴】

LIDAR和数据融合增加了AI性能

Facebook 推特 linkedin 电子邮件 注释
来自各种传感器的多个图像的组合导致有效地检测距离以及自驾驶汽车的潜在危险。

Pablogarcía-gómez,jordi riu和圣地亚哥Royo,Beamagine sl

成像激光雷达传感器是用于自动车辆中的用于感知任务的系统中的主要组件之一。LIDAR产生的3D数据被认为是有用的,因为这种数据是测量实时物理出现的结果。这些包括诸如两个激光脉冲之间的时间延迟(在脉冲飞行时间技术的情况下的情况)或返回信号的多普勒偏移(以频率调制的连续波接近)的时间延迟。

基于3D点云分析的自动人机检测预安装软件。礼貌的波束。


基于3D点云分析的自动人机检测预安装软件。礼貌的波束。

与其他3D技术不同 - 如STENEOVION - 利用LIDAR,不需要后处理,因为收集3D数据不依赖于软件算法的使用。LIDAR还承载自己的照明源,消除了对外部照明的依赖。然而 - 即使在整个汽车行业中经过证明的LIDAR数据是可靠的 - 为了提高可靠性,模态必须与其他传感技术相结合,无论是用于自主车辆还是用于关键应用的感知系统。国际买球的网站这些车辆和系统无法允许虚假检测。第二个甚至第三个信息的信息,记录相同的视野(FOV)一致地帮助减少对特定技术的依赖性,并且它们最小化了感知失败的机会。

一致的数据融合

最常与激光雷达相结合的传感器是雷达和摄像机,其一起可以从任何频带收集来自可见波长到长波红外(LWIR)的光谱信息。数据融合技术用于将来自所有传感器的信息组合。两种主要方法是早期和晚期数据融合。早期方法在感知前熔化图像数据,而后期方法在感知之后融合在对象级别的信息。已显示早期融合方法提供更高水平的可靠性1

然而,早期的选择必须更精确地融合从各种成像模式接收到的图像。视差问题可能导致LIDAR和来自摄像机的图像的3D数据在所有距离中的整个视野​​中的图像不那么重合,这可能会损害整个系统的鲁棒性。视差是常见的,并且在某些情况下不可能避免,特别是当传感器在车辆表面上铺展时。数据融合软件可以管理的FOV的变化视角。

此外,传感器系统的制造商必须提供校准后产品的机械对准的寿命保证。如果系统接收甚至少量扭曲的信息,则传感器之间的视差未对准,并且需要新的校准过程。

最近开发的组合成像系统包括LIDAR传感器,并使用全体数据融合 - 同时将数据集成到所有距离 - 作为其主要特征之一(图1)。此功能允许在所有距离处提供准确和无视差融合。传感器的标准版本包含两个互补类型的摄像机:RGB用于可见光谱和LWIR收集热数据。

图1. L3CAM包含三重传感器集成。侧窗与激光雷达孔径相对应,中央顶部区域集成了RGB摄像头,中央底部窗口包括热成像摄像头。礼貌的波束。


图1。L3CAM集成了三重传感器。侧窗与激光雷达孔径相对应,中央顶部区域集成了RGB摄像头,中央底部窗口包括热成像摄像头。礼貌的波束。

然而,可以使用其他波长成像的相机,如近红外、短波-红外、中波-红外、偏振甚至多光谱相机。摄像机集成在同一个外壳内,因此机械对准得到保证。

从三个对齐的传感器收集的信息是没有视差问题的,可以通过用户自己的感知软件算法来管理。表中显示了传感器系统中分离的与集成相机的比较。

图2和3示出了各种成像模式的示例。

图2. 3D点云图像(A),RGB图像(B)和热图像(C)。礼貌的波束。
图2. 3D点云图像(A),RGB图像(B)和热图像(C)。礼貌的波束。
图2. 3D点云图像(A),RGB图像(B)和热图像(C)。礼貌的波束。


图2。3d点云图像(一种), RGB图像(b),以及热成像(C)。礼貌的波束。

图3。3D图像数据与RGB数据重叠(a). 3D图像数据与热数据重叠(b).由Beamagine提供。
图3。3D图像数据与RGB数据重叠(a). 3D图像数据与热数据重叠(b).由Beamagine提供。


图3。RGB数据重叠的3D图像数据(一种)。3D通过热数据重叠的图像数据(b)。礼貌的波束。

减少误报率

互补成像模式的结合可以有效降低人工智能感知软件使用时的虚警率。使用冗余和互补的数据源可以让用户找到更多的方法来面对感知挑战2。可以在用于自动行人检测的感知AI中找到该示例。使用诸如实时对象检测系统和算法YOLO(您只需看一次)的资源,可以在RGB相机的FOV中检测到人类。

在理想的工作条件下,这种工具可以在检测人类(故事的引导形象)时实现> 90%的有效性。然而,当条件小于理想时(例如,在夜间或恶劣天气下)时,误报率迅速增加。照明的变化,小横截面对象检测的要求,或者恶劣天气的存在可以使由于频繁的误报,使得组合的成像系统无用。

在具有挑战性的条件下,具有互补故障模式的传感器可用于提供目标检测的冗余性,以及容错性,以帮助避免收集不可靠的数据。例如,热成像相机作为RGB检测的补充,因为它们在夜间和雾天提供比RGB相机更好的性能。激光雷达可以确定物体的大小,从而消除在不同距离上计算宽高比的不确定性成为可能。这种三传感器组合大大降低了误报率,提高了人工智能软件的鲁棒性,实现了人工智能感知的可靠训练。

固态扫描

市场主要集中在激光雷达应用中的固态设备,因为它们缺乏大型移动元件。大型机械装置,如在光学图像生成过程中介入的马达或旋转磁头,是安装在车辆上时可能失效的关键部件。已经证明,由于MEMS扫描仪的共振频率高于典型车辆的振动频率,因此它们对振动的敏感性低于电动系统3.。这使得传感器系统更能适应车辆在现实环境中的操作。

LIDAR传感器的一个关键方面,用于诸如汽车的快速移动车辆是能够检测到道路上的任何物体的能力。为完成此任务,垂直轴处的点云的分辨率变得至关重要。通常,任何大于10cm的物体会损坏保险杠,因此车辆的感知必须能够及时检测对象以改变课程。

具有足够垂直角度分辨率和范围的体面垂直FOV的组合不易实现。结果点云必须包含大量线,通常约为200.只要集成传感器系统的Y轴分辨率不限于固定数量的发射器或接收器,可以由用户配置此分辨率。

然而,激光雷达带来了权衡,其中之一是,在y轴上增加的分辨率转换成较低的帧率。在Beamagine的L3CAM配置的情况下,它包含200条水平线(图4),帧速率将被限制为10帧/秒。

图4.一个600×200像素单帧云图像。礼貌的波束。


图4。一个600×200像素的单帧点云图像。礼貌的波束。

应用程序

车载机器人是该系统的主要应用之一,特别是当机器人在户外工作时,需要远距离探测障碍物的能力。汽车工业和卫星对接是这项技术的另一个目标。

传感器系统中分离相机与集成相机的技术指标比较 传感器系统中分离相机与集成相机的技术指标比较


然而,任何需要传感的平台 - 包括船只,起重机,火车,无人机和越野车 - 与这些系统兼容。其他应用包括安全性和监控的静态装置,例如入侵检测,外围保护,无人值守控制中心的监控,在铁路轨道上检测人类,以及人群分析。

满足作者

Pablo García-Gómez是加泰罗尼亚技术大学光学工程的博士生,他在那里获得了物理工程的硕士学位。他正在Beamagine完成与激光雷达图像融合相关的博士工作,同时为大学的各种研究项目作出贡献。

Jordi Riu是Beamagine的首席执行官和联合创始人。他拥有加泰罗尼亚技术大学的电子学硕士学位和光学工程博士学位。他的博士学位研究以基于MEMS扫描仪的固态激光雷达成像为核心,并获得了多项专利。在过去的10年里,他一直致力于激光雷达成像的硬件开发。

圣地亚哥Royo是Beamagine的联合创始人,在那里他是业务发展副总裁。他也是基于光子学的疏散公司​​Snelloptics和Obstech Spa的联合创始人。Royo拥有17项专利,其中11项被许可的四个不同的公司。他有超过50个同行评审出版物的撰写文件。欧洲杯用什么软件下注

参考文献

1.T.Y.Lim等人。(2019年12月)。高级驾驶员辅助系统中车辆检测的雷达和相机早期融合。神经信息处理系统第三次会议自主驾驶研讨会的机器学习(Neurips 2019)。

2. R. Hebbalaguppe等。(2016)。监控摄像机网络中的蜘蛛/蜘蛛网触发的误报的减少。IEEE国际图像处理会议(ICIP),凤凰,www.doi.org/10.1109/icip.2016.7532496

3. J. Iannacci(2015年)。MEMS的可靠性:对开发水平的故障机制,改进解决方案和最佳实践的视角。显示,第37卷,第62-71页。


Europhotonics.
春天2021.
术语表
视差
当眼部横向移动时,在两个物体之间引起相对运动的光学现象。当图像和掩模版本之间的望远镜中出现视差时,这表明图像尚未形成在掩模版的平面中。
激光雷达
光探测和测距的首字母缩写,描述了用光束代替传统微波束进行大气监测、跟踪和探测功能的系统。Ladar是laser detection and测距的首字母缩写,用激光探测速度、高度、方向和距离;它通常被称为激光雷达。
特性 视差 激光雷达 数据融合 自动车辆 脉冲激光器 f 视差问题 波束 固态扫描 传感器和探测器

注释
回到顶部
Facebook 推特 Instagram. linkedin YouTube rss.
2021欧洲杯竞猜app (电子邮件保护)

光子媒体,劳琳出版社
X 订阅Europhotonics.杂志 - 免费!
我们使用cookie来改善用户体验并分析我们的网站流量,如我们所示隐私政策。通过使用本网站,您同意使用饼干除非你已经禁用了它们。