《自动驾驶汽车“清算”危机背后：LLM技术能拯救一切吗？》

加入轩辕之学 成就新汽车人

撰文 / 马晓蕾

编辑 / 张    南

来源 / Techcrunch，作者：Kyle Wiggers

说自动驾驶汽车正在被 ” 清算 “，这一点都不夸张。

在10月底，加利福尼亚州车管局（DMV）对通用自动驾驶子公司的Robotaxi运营许可进行了暂停。这场意外事故的起因是自动驾驶汽车中的一辆卷入了行人的底部，然而这仅仅是一个表面现象。实际上，公众和监管机构对于频繁发生的自动驾驶技术已经失去了信任，这才是问题的根本所在。

不久之前，Cruise公司决定召回其自动驾驶汽车车队进行调整。与此同时，旧金山的市民纷纷走上街头，表达对这项新技术试验的关注和担忧，认为该市已经成为新兴技术的 testing ground，这引发了公众的广泛争议。

一家初创公司近期宣称，其掌握了使自动驾驶更加安全的核心技术，并自信地表示，这一突破性技术有望改变反对者对自动驾驶的观念。

一家专注于为汽车制造商合作伙伴开发自动驾驶软件的公司名为 Ghost Autonomy，近日该公司对外宣称已启动对多模态大型语言模型（LLM）在自动驾驶领域应用的探究。这种人工智能模型具备处理文本以及图像信息的能力，其应用案例如 ChatGPT 所示，已成为当前人工智能领域的热点之一。

这个领域已经吸引了许多企业和创业者的关注。为了将 LLM 应用于自动驾驶领域，Ghost 和 ChatGPT 的制造商 OpenAI 选择了与 provider 合作。这种合作关系使得 OpenAI 系统和 OpenAI 紧密的合作方 Microsoft Azure 能够提供早期访问权限，这对于该项目的成功至关重要。除此之外，项目还获得了 500 万美元的初始投资。

Ghost 联合创始人和首席执行官约翰·海耶斯（John Hayes）在面对媒体时指出：“LLM 为我们提供了一种全新的方式来理解稀有场景，从而为复杂环境下的推理提供了支持。然而，现有的模型在这一领域仍存在一定的局限性。随着 LLM 技术的不断提升，其在自动驾驶领域的应用场景将会日益广泛。”

Ghost是一个专注于图像和生成文本的人工智能模型。那么，它是如何将其应用于控制自动驾驶汽车的？据海耶斯透露，Ghost目前正测试一款软件，该软件依赖多模态模型，以实现更复杂的场景解释。通过分析车载摄像头捕获的路面场景图片，该软件可以向汽车控制硬件提供道路决策建议，例如建议汽车行驶至右侧车道。

海耶斯表示：“在我们的项目中，我们将致力于对现有模型进行精细调整，同时构建我们自己的模型，以期在最程度上提升模型的可靠性和道路性能。举例来说，对于较为简单的模型而言，它们在应对施工区的复杂路况时可能会显得力不从心，诸如临时车道、手持标志牌的交通协管员不断变动，以及与其他道路用户的复杂互动。然而，实践证明，我们的 LLM 技术具备类似于人类的推理能力，能够有效地处理这些繁复的变量。”

不过，专家对此持怀疑态度。

华盛顿大学专注于法律和数据伦理研究的博士生凯斯（Os Keyes）向媒体表示：”Ghost 只是把 LLM 作为营销流行语。事实上，你把这个宣传语换成区块链，并把它发回 2016 年同样说得通，显然这是一个骗局。”

凯斯认为，LLM 根本就不是自动驾驶的工具。他断言，LLM 并不是为此目的而设计或训练的。

伦敦国王学院高级讲师迈克 · 库克（Mike Cook）的研究重点是计算创造力，他同意凯耶斯的总体评价。他指出，多模态模型本身远没有搞清楚，OpenAI 的旗舰模型会凭空捏造事实并犯下人类不会犯的基本错误，比如错误地复制文本和弄错颜色。

库克说：” 我不相信计算机科学领域有什么灵丹妙药。我们根本没有理由让 LLM 处理像驾驶汽车这样危险而复杂的事情。世界各地的研究人员已经在努力寻找方法来验证 LLM 在写作文等相当普通的任务中的安全性，而将这种不可预测且不稳定的技术应用于自动驾驶，往好了说是不成熟，往坏了说是被误导。”

但是，海耶斯和 OpenAI 不会被劝退。

在一份新闻稿中，OpenAI 的首席运营官兼 OpenAI 初创基金经理 Brad Lightcap 说，多模态模型有可能将 LLM 的适用性扩展到许多新的用例，包括自动驾驶和汽车。他补充道：” 多模态模型能够通过结合视频、图像和声音来理解和得出结论，可能会创造出一种新的方式来理解场景，并在复杂或不寻常的环境中进行导航。”

至于海耶斯，他认为 LLM 可以让自动驾驶系统从整体上推理驾驶场景，并利用广泛的世界知识来驾驭复杂和不寻常的情况，甚至是它们以前从未见过的情况。他声称，Ghost 正在通过车队积极测试多模态模型驾驶决策，并与汽车制造商合作，共同验证并将新的大模型集成到 Ghost 的自动驾驶堆栈中。

海耶斯说：” 毫无疑问，目前的模型还不能完全用于汽车的商业用途。要提高它们的可靠性和性能，还有很多工作要做。但这正是特定应用公司在这些通用模型上进行研发的市场所在。像我们这样拥有大量训练数据和对应用有深刻理解的公司将极大地改进现有的通用模型。模型本身也将得到改进。最终，自动驾驶将需要一个完整的系统来提供安全性，其中包含许多不同的模型类型和功能。多模态模型只是帮助实现这一目标的工具之一。”

这是对一项未经验证的技术许下的承诺。Ghost 能做到吗？像 Cruise 和 Waymo 这样资金雄厚、资源充足的公司在测试自动驾驶汽车多年后仍遭遇滑铁卢，谁敢对此下定论？

点击阅读原文

▼