An Early Evaluation of GPT-4V(ision)

本文是LLM系列文章，针对《An Early Evaluation of GPT-4V(ision)》的翻译。

摘要

在本文中，我们评估了GPT-4V的不同能力，包括视觉理解、语言理解、视觉解谜以及对深度、热、视频和音频等其他模式的理解。为了评估GPT-4V的性能，我们手动构建656个测试实例，并仔细评估GPT-4V的结果。研究结果的亮点如下：（1）GPT-4V在以英语视觉为中心的基准测试中表现出令人印象深刻的性能，但无法识别图像中的简单中文文本；（2） GPT-4V在回答与性别、种族和年龄等敏感特征相关的问题时表现出不一致的拒绝行为；（3） GPT-4V在包括一般语言理解基准和视觉常识知识评估基准在内的语言理解任务上获得比GPT-4（API）更差的结果；（4） 小样本提示可以提高GPT-4V在视觉理解和语言理解方面的表现；（5） GPT-4