11月10日,英伟达正式发布名为Alpamayo 2 Edge的端到端自动驾驶模型。该模型旨在解决车载算力受限与复杂场景推理需求之间的矛盾,通过结合因果推理与扩散动作生成技术,实现了从场景理解到连续轨迹输出的闭环能力。在DRIVE AGX Thor车规级芯片上运行后,其闭环驾驶表现较未使用闭环强化学习的基线检查点提升了48.9%,标志着自动驾驶AI从“看懂道路”向“自主驾驶”迈出了关键一步。

自适应推理机制平衡算力与精度

针对车载系统对响应时间的严格要求,Alpamayo 2 Edge引入了Adaptive Reasoning自适应推理机制。传统端到端模型往往将中间过程视为黑箱,而该模型强制生成Chain-of-Causation(CoC)因果链,要求模型解释驾驶决策的依据。为了控制推理开销,模型设计了特殊标记,在常规驾驶状态下直接输出该标记以结束显式推理文本生成,仅在复杂交通交互时生成完整的因果解释。

数据构建方面,英伟达利用Alpamayo 2 Super生成CoC自动标注,并通过离线蒸馏训练Edge模型。公开数据显示,训练集包含115,000小时多摄像头驾驶视频及370万条CoC推理标注。这种以Meta-Action变化为锚点的标注方式,避免了逐帧生成带来的重复描述,使模型能更精准地学习障碍物、交通参与者与自车动作之间的因果联系。

双模块架构实现场景到轨迹的转化

Alpamayo 2 Edge采用双模块架构,由约2.45B参数的VLM骨干和约0.2B参数的Diffusion Action Expert组成。VLM负责处理6路摄像头、22帧图像及20个历史Ego Pose,提供场景语义与导航条件;动作专家则基于这些条件生成连续控制量。这种设计通过Detach梯度隔离,防止连续控制目标干扰语言视觉骨干的训练,确保两个模块分别优化语义理解和运动生成。

在输出层面,动作专家生成每个时间步的加速度和曲率,通过Unicycle Model积分形成车辆轨迹。模型最终输出覆盖未来6.4秒的64个Waypoints,包含XYZ位置及旋转矩阵,并区分车辆后轴实际行驶路径与车身朝向。这种基于Flow Matching训练的控制量表达,比直接生成坐标更贴近车辆运动学规律,提高了轨迹的物理合理性。

评估反馈驱动闭环强化学习

为了将推理质量纳入训练反馈,英伟达引入了AlpaJudge评估机制。该机制提供Reference-Based和Reference-Free两个版本,其中RF版本从动作匹配、安全性、场景依据、要素完整性和因果一致性五个维度评价推理质量。实验显示,经AlpaJudge评分筛选后,中间分数样本在精选数据中的占比从27%提高至81%,有效提升了训练数据的质量。

在闭环强化学习阶段,模型接入AlpaGym和AlpaSim仿真环境,通过观察当前动作对后续场景的影响来更新策略。在AlpaSim的875个场景中,模型平均每发生一次责任事故或驶离道路事件前行驶约15.15公里。这一系列技术组合不仅提升了模型的推理透明度,也通过闭环验证显著增强了其在真实复杂交通环境中的鲁棒性与安全性。