理想汽车发布端到端+VLM全新自动驾驶技术架构
2024/07/07 | 作者 曹杨 | 编辑 张轶骁 | 收藏本文
2024年7月5日,理想汽车在“2024智能驾驶夏季发布会”上宣布,将于7月内向全量理想AD Max用户推送“全国都能开”的无图NOA,并将于7月内推送全自动AES(自动紧急转向)和全方位低速AEB(自动紧急制动)。
同时,理想汽车发布了基于端到端模型、VLM视觉语言模型和世界模型的全新自动驾驶技术架构,并开启新架构的早鸟计划。
理想汽车产品部高级副总裁范皓宇表示:“理想汽车始终坚持和用户共同打磨产品体验,我们已经在全国各地积累了超百万公里的无图NOA行驶里程。”
作为新造车企业智驾“内卷”的新方向,端到端模型的输入主要由摄像头和激光雷达构成,多传感器特征经过CNN主干网络的提取、融合,投影至BEV空间。
为提升模型的表征能力,理想汽车设计了记忆模块,兼具时间和空间维度的记忆能力。在模型的输入中,理想汽车还加入了车辆状态信息和导航信息,经过Transformer模型的编码,与BEV特征共同解码出动态障碍物、道路结构和通用障碍物,并规划出行车轨迹。
此外,端到端模型在信息传递、推理计算、模型迭代上均具有显著优势。在实际驾驶中,端到端模型展现出更强大的通用障碍物理解能力、超视距导航能力、道路结构理解能力,以及更拟人的路径规划能力。
理想汽车智能驾驶研发副总裁郎咸朋表示:“从2021年启动全栈自研,到今天发布全新的自动驾驶技术架构,理想汽车结合端到端模型和VLM视觉语言模型,带来了业界首个在车端部署双系统的方案,也首次将VLM视觉语言模型成功部署在车端芯片上,这套业内领先的全新架构是自动驾驶领域里程碑式的技术突破。”
相关报道