阅读LINGO-1: Exploring Natural Language for Autonomous Driving

1 背景

wayve在9月14日公布了大语言模型和自动驾驶的结合模型LINGO-1，可以用自然语言解释自动驾驶的决策原因。
网页链接：https://wayve.ai/thinking/lingo-natural-language-autonomous-driving/
但是目前没有论文和开源代码。

2 Motivation

大型语言模型LLM在AI领域研究和应用越来越多。这促进了相关研究：
视觉语言模型VLM，vision-language model
图片分类image classification
文本图像检索text-to-image retrieval
视觉问题解答visual question answering

3 具体过程

LINGO-1能够和自动驾驶模型进行交互interacting with driving models through dialogue, where users can ask autonomous vehicles what they are doing and why