『大模型笔记』缩放定律(scaling laws)是由记忆而非智力解释的吗？

一. 缩放定律(scaling laws)是由记忆而非智力解释的吗？

1. 视频原文内容

• 一般智能并不是将特定任务的技能扩展到很多技能，因为可能的技能是无限的。一般智能是能够解决任何问题、掌握任何技能，并且使用非常少的数据迅速掌握这些技能的能力。这使你能够应对可能遇到的任何情况。这就是一般性的定义。一般性不是将特定的技能放大，而是能够将你的思维应用于任何事物，任何任意的事物。这需要适应和高效的即时学习能力。

• 规模最大化的论点，归根结底，这些人指的是“规模损失”，这是你在训练模型时花费的计算量和你在基准测试中获得的性能之间的经验关系。那么关键问题是，如何衡量性能？增加更多的计算和数据实际上在提高什么？答案是基准测试的性能。

• 问题是，衡量性能的方式并不是一个技术细节。它不是事后考虑的事情，因为它会缩小你提出的问题