GPT-4：论文阅读笔记

• 多模态的模型：GPT-4是一个多模态的模型，可以接受文本或图像的输入，但是只能以纯文本的形式给出输出。OpenAI的实验表明，通过结合图像输入，GPT-4能够取得更好的回答效果。
• GPT的训练完成：早在2022年8月，OpenAI就已经完成了GPT-4的训练过程，但是在后面的这段时间都在对GPT-4进行持续调整。
• 借助用户对回答的评价：GPT-4在训练过程中，通过借助用户对模型回答的评价来帮助模型性能的提高。
• 专门搭建的训练集群：OpenAI专门搭建了一个计算机集群用于GPT-4的训练。此前，该集群也被用于GPT-3.5的训练过程。
• 训练效果的外推：OpenAI的GPT-4在训练过程中非常稳定，并且实现了根据小规模数据集上的模型训练效果推理出大规模数据集上的模型训练效果。大模型的训练本身是非常复杂的，如果中间出现了意外情况，则需要返回到上一个检查点重新训练，因此OpenAI能够实现训练效果的预测是非常有价值的。
• GPT-4更加理性：在之前的一系列大模型中，模型越大在面对一些问题时越难以做出理性的决定，但是GPT-4变得更大，却能够很好地做出理性的推断。
• 不同语言上的表现性能：总体而言，GPT-4在不同语言上的表现性能都很好。而且，对于不同语言的性能和使用语言的人数没有直接关系。GPT-4在英语上的性能比在中文上的性能要好。
• 角色扮演能力：GPT-4可以实现角色扮演，这是通过System Message实现的，从而更好地应用于具体的领域。
• 更长的输入：GPT-4可以处理8192个token的输入，还有一个改进的版本可以处理32768个token的输入，但是暂未开放。
• 限制性：
  • 推理正确但是答案错误：GPT-4经常会出现推理过程正确但是答案错误的情况；
  • 训练数据不是最新：GPT-4的训练数据截止2021年9月（尽管后面可能存在一定的更新）。
  • RLHF对模型的影响：在使用RLHF之前，GPT对回答答案的置信度和答案正确的概率差不多；但是经过RLHF之后，两者之间的差距就变大了，也就是模型的校准没有那么好了。