FROZEN TRANSFORMERS IN LANGUAGE MODELS ARE EFFECTIVE VISUAL ENCODER LAYERS

本文是LLM系列文章，针对《FROZEN TRANSFORMERS IN LANGUAGE MODELS ARE EFFECTIVE VISUAL ENCODER LAYERS》的翻译。

摘要

本文揭示了大型语言模型（LLM），尽管仅根据文本数据进行训练，但在没有语言的情况下，对于纯视觉任务来说，它是令人惊讶的强大编码器。更有趣的是，这可以通过一种简单但以前被忽视的策略来实现——使用来自预训练LLM的冻结transformer块作为组成编码器层来直接处理视觉标记。我们的工作突破了利用LLM进行计算机视觉任务的界限，大大偏离了传统实践，传统实践通常需要多模式视觉语言设置以及相关