Waymo利用谷歌Gemini 开发端到端自动驾驶模型
IT之家 10 月 31 日消息,用谷自动驾驶公司 Waymo 长期以来一直将与谷歌 DeepMind 的发端联系及其数十年的 AI 研究视为其在自动驾驶领域超越竞争对手的战略优势。现在这家 Alphabet 旗下的到端公司更进一步,为其机器人出租车开发一种基于谷歌多模态大语言模型(MLLM)“Gemini”的自动新训练模型。
Waymo 今天发布了一篇新的驾驶研究论文,介绍了一种名为“端到端多模态自动驾驶模型”(EMMA)的模型新模型。这种新的用谷端到端训练模型能够处理传感器数据,生成“自动驾驶车辆的发端未来轨迹”,帮助 Waymo 的到端无人驾驶车辆做出关于去哪里以及如何避开障碍物的决策。
但更重要的自动是,这是驾驶首次有迹象表明,自动驾驶领域的模型领导者计划将 MLLM 应用于其业务。这意味着 MLLM 可能不仅仅局限于聊天机器人、用谷电子邮件组织者和图像生成器等领域,发端而是到端可以扩展到自动驾驶领域。
在研究中 Waymo 提出,传统的自动驾驶系统通常会为感知、映射、预测和规划等各种功能开发特定的“模块”。虽然这种方法在过去多年中效果显著,但也存在可扩展性问题,主要是由于模块间的误差积累和通信有限。此外,这些模块由于是“预定义”的,因此面对“新环境”时适应能力较差。
Waymo 认为,像 Gemini 这样的 MLLM 可以解决这些问题。首先,这些模型是经过大量互联网数据训练的“通才”,能提供超出常规驾驶记录的丰富“世界知识”;其次,它们通过“链式推理”等技术展现出“卓越”的推理能力,能够将复杂任务分解为一系列逻辑步骤,模仿人类的思维方式。
Waymo 表示,EMMA 模型在帮助机器人出租车应对复杂环境方面表现良好。例如,当遇到各种动物或道路施工时,EMMA能够帮助无人驾驶汽车找到合适的行驶路线。
据悉,特斯拉等其他公司也在大力开发其自动驾驶汽车的端到端模型。特斯拉首席执行官埃隆・马斯克声称,最新版本的 FSD12.5.5 采用了“端到端神经网络”人工智能系统,将摄像头图像转换为驾驶决策。
这表明,在部署真正的无人驾驶车辆方面领先于特斯拉的 Waymo 也对追求端到端系统感兴趣。该公司表示,其 EMMA 模型在轨迹预测、物体检测和道路图理解方面表现出色。
但 EMMA 也有其局限性,Waymo 承认,在将该模型投入实践之前,还需要进行未来的研究。例如,EMMA 无法整合来自激光雷达或雷达的 3D 传感器输入,Waymo 表示这是因为“计算开销太高”,并且一次只能处理少量图像帧。
研究论文中未提及的另一个风险是,像 Gemini 这样的 MLLM 会存在“幻觉”,而无人驾驶汽车的容错率非常有限。因此,在这些模型能够大规模部署之前,还需要进行更多研究。
(责任编辑:娱乐)
-
比其他专业高几十分!高考601分女生选择殡葬专业引热议:直言好就业
12月23日消息,近日,在民政职业大学新生中,一名高考601分的女生选择殡葬专业就读,这也是我国殡葬行业首个职业本科专业。“好就业”也是陈雪彤选择殡葬专业的主要原因。经过一番网 ...[详细] -
11月25日讯 NBA常规赛,篮网首节37-28领先国王。首节比赛,篮网卡梅隆-托马斯和国王福克斯上来就对飚,二人进攻端里突外投手感都很火热,其中卡梅隆-托马斯出战11分钟,8投5中三分2中1),罚球 ...[详细]
-
点击个人头像主页→发现→最佳阵,排出你的专属国足541阵欧国联哈萨克斯坦541阵0-0逼平挪威,双方控球比29%-71%,射门4-19,身价差距和国足vs日本的首发一样相差30倍。如果国足抄作业用54 ...[详细]
-
4AM拥有的世界第一称号最多,为何没有世界冠军呢?由JR0649466353发表在绝地求生 pubg4AM拥有的世界第一称号最多,为何没有世界冠军呢?世界第一指挥、世界第一独狼、世界第一自由人、世界第 ...[详细]
-
孙少军:小米上周锁单破7k,本月累计破20k,上涨原因之一是坠坡事件。
孙少军:小米上周锁单破7k,本月累计破20k,上涨原因之一是坠坡事件。由Leois发表在汽车区 cars ...[详细] -
9月7日讯对于当前中超联赛赛程的安排,记者陈永在社媒发文表示,目前中超赛程与亚冠精英赛、国足比赛日都是相悖,因此建议将中超联赛赛程拉长。本赛季中超联赛于3月1日开赛,11月2日收官。对此,陈永在社媒建 ...[详细]
-
2024-2025 中国女子篮球联赛WCBA 第五、六轮合肥文旅 VS厦门环东文旅2024.11.26 周二 19:30/2024.11.28 周四 19:30合肥体育中心体育馆合肥)/ 对 手 信 ...[详细]
-
...[详细]
-
12月14日讯 意女甲第13轮,拉齐奥女足对阵米兰女足,中国球员杨莉娜替补登场。拉齐奥女足本轮对阵米兰女足,皮埃蒙特第2分钟和第52分钟打入两球,杨莉娜第57分钟替补登场。最终,拉齐奥女足2-0击败米 ...[详细]
-
在宣布首席执行官帕特·基辛格离职后,英特尔已开始评估新的CEO人选,该公司最有可能引入外部人士来担任这一职务。据悉,英特尔关于新CEO人选的讨论还处于早期阶段,尚未确定任何候选人。据知情 ...[详细]