NVIDIA 英伟达DRIVE AGX自动驾驶开发平台
授权经销商-富瑞博国际
关键词: NVIDIA DRIVE AGX自动驾驶嵌入式超级计算平台, NVIDIA英伟达自动驾驶DRIVE开发平台, NVIDIA英伟达DRIVE AGX 自动驾驶开发者套件
![01.jpg 01.jpg](https://img1.17img.cn/17img/images/202008/uepic/1a7e3743-1d8f-41a5-ba38-5d3a1379d14b.jpg)
NVIDIA DRIVE-自主汽车开发平台
NVIDIA DRIVE ™ 是NVIDIA旗下一个自动驾驶行业的端到端平台,平台包括车载计算机(DRIVE AGX)和完整的参考架构(DRIVE Hyperion™)以及数据中心托管仿真(DRIVE Constellation ™) 以及深度神经网络(DNN)训练平台(DGX™). 这些平台还包括丰富的软件开发工具包(sdk),以加速自动驾驶汽车(AV)的开发。
![a1.jpg a1.jpg](https://img1.17img.cn/17img/images/202008/uepic/a20ec27e-0bb3-4f77-86ad-df823b6cec2e.jpg)
NVIDIA DRIVE AGX自动驾驶嵌入式超级计算平台
The NVIDIA DRIVE™ AGX Developer Kit提供了开发生产级自主车辆(AV)所需的硬件、软件和示例应用程序。NVIDIA DRIVE AGX系统建立在生产汽车级硅上,具有开放的软件框架,并拥有大量汽车合作伙伴(包括汽车级传感器供应商、汽车1级供应商)可供选择。
细节
驱动器AGX硬件选项
驱动AGX Xavier™ 开发工具包(SKU 2000):包括两个Xavier系统芯片(SOC),用于开发SAE 2/3级自动驾驶应用程序
驾驶AGX Pegasus™ 开发工具包(SKU 2200):包括两个Xavier SOC和两个NVIDIA Turing™ 用于开发robotaxi应用程序的GPU
![6.jpg 6.jpg](https://img1.17img.cn/17img/images/202008/uepic/b65ff96d-25c9-4434-96d0-a870f41752a0.jpg)
![7.jpg 7.jpg](https://img1.17img.cn/17img/images/202008/uepic/8247727f-e45a-4708-a037-b79624fcd2d3.jpg)
NVIDIA DRIVE AGX XAVIER
NVIDIA DRIVE AGX Xavier为L2+级高级驾驶员辅助系统和L3级自动驾驶而设计。其核心是Xavier系统级芯片(SoC),它是世界上第一款用于自动驾驶的芯片,也是有史以来最复杂的系统级芯片。它包含六种不同类型的处理器,可高效运行多种冗余性深度学习算法。
DRIVE AGX Xavier™ 开发工具包(SKU 2000):
组件描述详细信息
基于armv8isa的两个Xavier soc 8核“Carmel”cpu
深度学习加速器(DLA)5个TOP(FP16)| 10个TOP(INT8)
英伟达伏特™-类集成GPU 20 TOPS(INT8)| 1.3 TFLOPS(FP32)
可编程视觉加速器(PVA)1.6 TOPS
图像信号处理器(ISP)1.5千兆像素/秒
视频编码器高达1.2 GPix/s
视频解码器
内存带宽(256位LPDDR4)136 GB/s
通过16x GMSL(R)端口驱动AGX系统I/O摄像头90 Gb/s
通过以太网传输的激光雷达/雷达~50 Gb/s
车辆IO 6 CAN接口
包括配件摄像头200万像素RCCB摄像头,60度视野
车辆线束连接到车辆IO端口
其他电缆将驱动器AGX系统连接到主机开发计算机
驱动软件驱动操作系统
预装Linux Ubuntu操作系统
QNX选项还提供NVIDIA CUDA®库,包括TensorRT®(用于访问深度学习硬件加速器);NVMEDIA(用于访问用于图像处理和计算机视觉的硬件加速器);compute和NVIDIA CUDA工具。
NVIDIA DriveWorks SDK提供了参考应用程序、工具和一个全面的模块库,这些模块利用了DRIVE AGX平台的计算能力。
DRIVE AV提供了可利用DriveWorks SDK进行感知、映射和规划的模块。
DRIVE IX算法用于可视化车辆周围环境、基于AI的驾驶员监控和车内辅助。
![1.jpg 1.jpg](https://img1.17img.cn/17img/images/202008/uepic/d1c315b0-cdb0-4a96-9fac-b0a2f57cc421.jpg)
![2.jpg 2.jpg](https://img1.17img.cn/17img/images/202008/uepic/3bc16221-f858-48cd-8719-82bb67d631cd.jpg)
NVIDIA DRIVE AGX PEGASUS
NVIDIA DRIVE AGX Pegasus能在AI感知、定位以及路径规划方面提供强大的处理性能,专为L4级高级自动驾驶、L5级全自动驾驶以及自动驾驶出租车设计。 该系统由两个NVIDIA Xavier处理器以及两个NVIDIA Turing GPU组成,可运行各种冗余的深度神经网络以确保安全操作。
NVIDIA DRIVE AGX Pegasus™ 工具包(SKU 2200):同上,但增加了:
组件描述详细信息
两个“图灵”离散GPU(驱动AGX Pegasus)图灵离散GPU(TU104 SXM2)130个TOP(INT8)| 8.1 TFLOP(FP32)通过NVIDIA®NVLink连接到Xavier SoC™ (20 GB/s)
离散GPU内存带宽384 GB/s
![3.jpg 3.jpg](https://img1.17img.cn/17img/images/202008/uepic/3dc8e52f-8a35-4037-97cd-b7a603116d69.jpg)
概述
NVIDIA DRIVE AGX开发工具包是一个开放的人工智能汽车计算平台,它使汽车制造商、一级汽车供应商和其他开发人员能够加快自动化和自主汽车的生产。
该套件附带NVIDIA DRIVE AGX开发者系统(以下简称“开发者系统”),采用两个NVIDIA®Xavier设计™主板上的SoC处理器。本文档提供了基于NVIDIA®Xavier的开发系统的硬件功能和规格的详细信息™建筑。
![4.jpg 4.jpg](https://img1.17img.cn/17img/images/202008/uepic/e1fdd97c-1e83-4c44-a7ec-be9f274a6f8e.jpg)
NVIDIA DRIVE Hyperion Developer Kit
NVIDIA DRIVE Hyperion开发工具包
![5.jpg 5.jpg](https://img1.17img.cn/17img/images/202008/uepic/5f84930f-b2fb-43da-8dc7-3ff8831fd4fd.jpg)
NVIDIA DRIVE Hyperion™是NVIDIA L2+自动驾驶解决方案的参考架构,包括完整的传感器套件和AI计算平台,以及用于自动驾驶、驾驶员监控和可视化的完整软件堆栈。DRIVE Hyperion套件可以集成到测试车辆中,使AV开发人员能够开发、评估和验证AV技术。借助NVIDIA DRIVE Hyperion,软件配置用于数据采集(各种传感器),数据记录(使用存储设备),可视化(使用车内显示),车辆界面(使用线控驱动器接口)和软件更新(使用调制解调器)。这让开发人员可以使用NVIDIADRIVE应用程序和DRIVE软件进行体验、评估和开发。
英伟达驱动Hyperion™ 是NVIDIA 2+级自主解决方案的参考架构,包括完整的传感器套件和AI计算平台,以及用于自动驾驶、驾驶员监控和可视化的完整软件堆栈。DRIVE-Hyperion开发工具包可以集成到测试车辆中,使AV开发人员能够开发、评估和验证AV技术。软件更新为使用NVIDIA DRIVE OTA“空中传送”更新基础设施和服务来驱动Hyperion。
![a4.jpg a4.jpg](https://img1.17img.cn/17img/images/202008/uepic/343db794-b9df-409c-86ab-e685df26cc71.jpg)
DRIVE Hyperion设计用于:
-自主汽车(AV)开发商专注于2+级以上的自主性。
它适用于以下目标:
-DRIVE AV评估
-DRIVE IX评估
-AV自动驾驶汽车感知神经网络训练的数据采集
-地图数据采集
-道路测试
这一切是如何结合在一起的
![a5.jpg a5.jpg](https://img1.17img.cn/17img/images/202008/uepic/887ff9df-159b-454c-9699-9ad060785152.jpg)
通过DRIVE Hyperion,软件配置用于数据采集(各种传感器)、数据记录(使用存储设备)、可视化(使用车内显示)、车辆界面(使用线控接口)和软件更新(使用调制解调器)。这使得开发人员可以体验、评估和使用NVIDIA驱动器应用程序和驱动器软件进行开发。
传感器布局
![8.jpg 8.jpg](https://img1.17img.cn/17img/images/202008/uepic/7f5b17cc-93bb-4d07-ac20-ecee0a5ef7b7.jpg)
DRIVE-Hyperion开发工具包具有特定类型和配置的传感器,以支持2+级自治和更高级别的应用程序开发。
7x外部摄像头(Sekonix/On Semi AR0231)
-2x前置摄像头(120 FOV和60 FOV),用于欧洲NCAP安全和基本L2功能
-3x侧面(120 FOV)和后置摄像头(60 FOV),用于高级公路L2+功能
-2x用于城市发展的交叉交通(120 FOV)摄像头
1x用于驾驶员监控功能的车内(55 FOV)摄像头(在Semi AR0144上)
8x雷达(大陆ARS430)
-1x前置中心雷达,用于基本L2功能
-4x转角雷达,用于高级公路L2+功能
-1x后雷达,用于高速自动换道
-2x城市发展交叉交通雷达
1x用于惯性测量装置的自动校准
![12.jpg 12.jpg](https://img1.17img.cn/17img/images/202008/uepic/62fcd970-76ae-45bf-a18c-a67cf348ac13.jpg)
NVIDIA DRIVE Constellation
NVIDIA DRIVE Constellation
DRIVE Constellation是一款由两个并排服务器组成的自动驾驶车辆仿真平台。其中一台服务器DRIVE Constellation Simulator使用NVIDIAGPU运行 DRIVE Sim软件,用以生成在虚拟世界中车辆行驶的传感器结果。另外一台服务器DRIVE Constellation Vehicle搭载了DRIVE AGX Pegasus AI汽车计算机,用来处理仿真的传感器数据。这款基于云端的平台可使汽车在虚拟世界中驾驶数十亿英里。
NVIDIA DRIVE Constellation™是一个基于云的虚拟现实仿真平台,旨在支持自主汽车的开发和验证。
该平台是一个数据中心解决方案,由两个并排的服务器组成:
第一台服务器,NVIDIA DRIVE Constellation Simulator模拟器,使用NVIDIA GPUs运行驱动器模拟软件模拟虚拟世界。模拟器产生传感器输出从虚拟世界中的虚拟汽车驾驶。
第二台服务器,NVIDIA DRIVE Constellation Vehicle,包含驱动AGX Pegasus AI汽车计算机运行完整的AV软件堆栈,以处理模拟传感器数据。
DRIVE Constellation Vehicle的驾驶决策反馈到DRIVE Constellation Simulator中,实现位精度的硬件在环测试。
![13.jpg 13.jpg](https://img1.17img.cn/17img/images/202008/uepic/aaf5db10-2328-4678-87f3-e43219147713.jpg)
DRIVE Constellation优势
-可扩展解决方案:DRIVE Constellatio是一个可扩展的平台。它被设计成可以在数据中心大规模部署。这一规模将允许数百万英里的测试和验证。在云中部署的Constellations vehicles越多,我们每年可以行驶的里程就越多
-最高保真度:DRIVE Constellation simulation platform驾驶星座仿真平台是真实世界中最精确的自主汽车表现形式。它有点准确,计时准确
-模拟罕见和困难条件:有了控制交通和测试环境的能力,开发人员可以在不危及实际车辆和车辆乘员的情况下,钻研特别罕见和困难的条件。这些包括极端天气,困难的照明,以及来自周围车辆的危险操作
-基于场景的测试:驾驶星座使车辆能够不断地遇到学习时刻,并反复测试,而不是驾驶数千英里等待新的和重要的交通状况
-模拟中的测试是可重复的,并且集中于在现实世界中很少出现且难以重现的关键案例。在模拟中驾驶一英里比在实际的高速公路上行驶几百英里能产生更多的体验。
![10.jpg 10.jpg](https://img1.17img.cn/17img/images/202008/uepic/7d6318c0-1a44-402a-a420-f85ad5016b9d.jpg)
自动驾驶汽车应用开发从DRIVE-AGX开发平台开始,然后对DRIVE Constellation的软件算法进行验证。经过充分的验证后,该软件被部署用于使用DRIVE-Hyperion参考体系结构的道路测试。此过程将重复多次以提高性能。
![14.jpg 14.jpg](https://img1.17img.cn/17img/images/202008/uepic/605229c9-7f34-42a1-99c0-30f7614ef601.jpg)
DRIVE Constellation 结构
NVIDIA DRIVE Constellation组件:
DRIVE-Sim是一种仿真软件,它为虚拟测试提供了丰富的三维环境。当车辆在DRIVE-Sim中进行测试时,将为摄像机、雷达、激光雷达等生成传感器数据,并将其发送到被测的AV软件堆栈中。然后,AV堆栈返回控制信号,在sim卡中操作虚拟车辆。DRIVE-Sim是一个开放式平台,它允许为车辆动态、传感器模型、场景等插入定制组件。
DRIVE Constellation模拟器是一个功能强大的GPU服务器,它能够运行DRIVE-Sim并为多个传感器实时生成精确定时的数据。在驾驶星座模拟器上生成的数据被发送到在驾驶星座车的AV硬件上运行的AV软件。
DRIVE Constellation Vehicle是一个数据中心服务器,包含车内AV硬件和AV软件。它与驱动器星座模拟器共享高速数据连接,以低延迟接收所有生成的数据。两个系统之间的时间是严格控制的
NVIDIA驱动软件使我们的客户能够开发自动化和自动驾驶车辆的生产质量应用程序。它包含软件模块、库、框架和源包,开发人员和研究人员可以使用它们来优化、验证和部署他们的工作。我们的基础软件产品包括:
![a20.jpg a20.jpg](https://img1.17img.cn/17img/images/202008/uepic/892240f3-342b-4224-9a59-40ef4c49710d.jpg)
DRIVE OS
底层实时操作系统软件包括一个安全性
应用程序框架,并提供自适应AUTOSAR的支持。
DRIVE AV
自主车辆驾驶系统软件集成了各种dnn,用于检测所有类型的环境和这些环境中的对象,以及车辆定位和路径规划算法。
DRIVE IX
这种基于深度学习的软件堆栈使制造商能够在车内开发智能体验,从使用座舱摄像头的驾驶员监控系统到语音和手势激活的人工智能助手。
DRIVE AR
perception visualization软件堆栈用于为仪表板和后座屏幕构建驾驶舱体验。它从车辆传感器获取复杂的信息,并将其转换为易于理解的全面准确的视觉效果,帮助乘客建立对AV技术的信任。
DRIVE Hyperion
这个完整的AV开发和测试平台包括一个DRIVE AGX Pegasus系统,以及用于自动驾驶的传感器(七个摄像头、八个雷达和可选的激光雷达)、用于驾驶员监控的传感器、用于定位的传感器以及其他附件。
DRIVE Mapping
测绘解决方案集成了一个可扩展的传感器套件、软件开发工具包(SDK)以及与领先的测绘公司合作提供的联合集成高清晰度地图。我们的端到端映射技术有助于收集环境数据、创建高清地图并保持更新。
![b1.jpg b1.jpg](https://img1.17img.cn/17img/images/202008/uepic/47741d3b-cd0c-49ab-88bf-5599ed6f4d9d.jpg)
其他NVIDIA硬盘硬件和软件解决方案在支柱2和3中重点介绍。
NVIDIA DRIVE AGX体系结构使车辆制造商能够制造和部署功能安全的自动驾驶汽车和卡车,并证明其符合国际安全标准,如ISO 26262和ISO/PAS 21448、NHTSA建议和全球NCAP要求。
\\安全需要高性能的计算
对于自动驾驶汽车,处理性能意味着安全。计算量越大,算法越复杂,深层神经网络中的层次就越多,可以同时运行的dnn也就越多。英伟达提供了前所未有的320万亿次操作,第二次深度学习计算在drive AGX Pegasus
发展基础设施 支持深度学习
除了车载超级计算硬件,NVIDIA解决方案还为数据中心提供动力,用于解决安全AVs开发中面临的关键挑战。一辆测试车每年可以产生数PB的数据。捕获、管理和处理这些海量数据不仅仅是一辆车,而是一个车队,需要一个全新的计算架构和基础设施。
NVIDIA DRIVE Perception基础设施提供并支持大量数据收集、深度学习开发和可追溯性,以支持大型自主车队。它运行在NVIDIA DGX SaturnV上,我们的AI超级计算机由660个nvidiadgx-1组成™ 系统有5280个GPU,能够处理660千兆次的人工智能模型开发和训练。
![sensorlayout_3d_001.png sensorlayout_3d_001.png](https://img1.17img.cn/17img/images/202008/uepic/7d9db0d4-4670-46fc-8328-18949817db4f.jpg)
使命
相信下一代交通是自主的。共享和私人车辆、长途和短途旅行、送货和物流、自主性将从根本上改善出行方式。在英伟达,我们的汽车团队的任务是开发自动驾驶技术,使所有人的道路更安全、更不拥挤、更灵活。“安全是自动驾驶汽车最重要的方面。英伟达创造一个安全的自动驾驶平台是我们最大的努力之一,它为汽车制造商将自动驾驶汽车推向市场提供了关键因素。
![富瑞博联系方式新400logo新.png 富瑞博联系方式新400logo新.png](https://img1.17img.cn/17img/images/202008/uepic/ce58d44e-4b1c-44d5-ae7e-8d151b42ea0d.jpg)
富瑞博国际有限公司
Freeboard International Co.,Ltd.
Head-office:Unit 2309, BANK OF AMERICA TOWER 12, HARCOURT ROAD CENTRAL,HONG KONG
Mainland-office:21/F, PEARL RIVER TOWER, NO.15 ZHUJIANG WEST ROAD, TIANHE DISTRICT, GUANGZHOU
热线电话:, 转3111
,
FAX:
E-mail: