关注
已关注
已认证
粉丝量 0
400-860-5168转4784
仪器信息网认证电话，请放心拨打
康谋分享 | 神经重建在自动驾驶模拟中的应用
2024/08/19 10:30
阅读：10
分享：
方案摘要：
产品配置单：
康谋b-plus高性能车载数据计算机/DATALynx ATX4
型号： KM-B16047-DLY-EP3-0023、KM-B16047-DLY-EP3-0024
产地： 德国
品牌： b-plus
面议
参考报价
联系电话
方案详情：
验证自动驾驶软件需要数百万公里的测试。这不仅意味着系统开发周期长，而且系统的复杂度也会不断增加，同时，大规模的实车测试也会耗费巨量的资源并且可能会面临未知的安全问题。aiSim这样的虚拟仿真工具可以减轻真实世界测试的负担。
AD和ADAS系统依靠闭环验证来确保安全性和性能。然而，实现闭环评估需要一个能够准确代表真实世界场景的3D环境。虽然这些3D环境可以由3D设计工程师手工构建，但这种方案很难解决Sim2Real的差距并且在可扩展方面存在一定的局限性。为此，本文为您介绍神经重建如何打破限制，在自动驾驶模拟中的具体应用。
一、神经渲染——弥合差距
神经渲染可以利用深度学习技术来缓解这个问题，它可以从一个新的视角上逼真地渲染静态（和动态）环境。当然这种方法也存在一定的优劣点：
1、优点：
（1）高保真的仿真质量：神经渲染可以产生几乎和现实无异的场景，增强现实感。
（2）数据驱动和可扩展：这种方法具有可扩展性，使其适用于实时应用（如3D高斯泼溅）。
2、缺点：
（1）分布外的对象：神经渲染很难将分布外（即以前未见过的）的对象插入 3D 环境中。
（2）伪影对动态物体的影响：伪影可能会影响动态物体的外观。
（3）几何不一致：在深度预测中，可能会出现几何不一致。
二、现有生成模型的挑战
目前的生成模型能够创建高度逼真的图像和视频，但它们在几个方面存在不足，例如:
（1）仅 2D 信息：这些模型不提供 3D 信息，仅在 2D 图像空间中操作。
（2）射影几何的空白：更多内容请参见https://arxiv.org/abs/2311.17138
（3）有限的传感器模态:这些模型不能用于生成其他传感器模态(例如，激光雷达)。
三、康谋混合解决方案：集成式神经重建
为了解决这些限制，aiSim5提供了一种混合方案。在成熟的基于物理的渲染方案中集成最前沿的神经重建技术，使我们能够在任意位置虚拟地插入动态对象，调整环境条件，并渲染以前未见过的相机视角。
通过这种方式，我们能实现以下的功能：
1、虚拟动态内容插入
（1）添加具有逼真光照和环境光遮蔽的动态对象。
（2）模拟如雨、雪、雾等环境效果，以创建更多样化的模拟场景。
2、多模态渲染：
（1）从任意相机视角生成精确的RGB图像、深度图和激光雷达强度图（如下图所示，第一行为GT）。
（2）未来的工作将包括语义分割掩码和雷达仿真。
3、相机虚拟化:
（1）模拟各种虚拟相机设置，包括不同的相机的安装和定向以及模型。
（2）下图展示了模拟的前置鱼眼（左）、前置广角（中）和前置长距（右）相机的渲染效果，这些图像是通过一个没有直接使用前置相机数据训练的模型生产的，也就是说，这些视角并没有专门采集数据进行训练。
以上就是关于神经重建在自动驾驶模拟中具体应用的内容。
下载本篇解决方案：
更多
康谋技术 | 高效同步与处理：ADTF流服务在自动驾驶数采中的应用
康谋ADTF流服务，凭借其高效的数据处理能力、灵活的架构设计和强大的同步机制，能够有效解决多传感器数据处理和同步问题，并适应不断变化的开发需求！今天康谋带您了解ADTF 流服务在自动驾驶数采领域中的应用。
汽车及零部件
2024/08/12
康谋分享 | 自动驾驶联合仿真——功能模型接口FMI（终）
本文带您了解，如何在aiSim中，通过UDP和aiSim车辆动力学API（Vehicle Dynamics Interface, VDI）来实现和外部的FMU车辆动力学模型的联合仿真？
汽车及零部件
2024/08/05
康谋技术 | 自动驾驶传感器标定技术：从单一到联合标定
随着智驾从L0（预警功能）迈向L2.9（城市NOA）的快速演变和装配，车辆对外界的感知需求也在快速增加。传感器标定成为关键，确保了以多传感器为核心的采集系统能够提供精确、可靠的环境感知信息。
汽车及零部件
2024/07/29
康谋技术 | 自动驾驶：揭秘高精度时间同步技术（二）
在自动驾驶中，对车辆外界环境进行感知需要用到很多传感器的数据，如果计算中心接收到的各传感器消息时间不统一，则会造成例如障碍物识别不准等问题。本文通过“统一时钟源”、“软硬件同步”等内容，探讨如何对各类传感器进行高精度的时间同步。
汽车及零部件
2024/06/03
