Is Temperature the Creativity Parameter of Large Language Models?阅读笔记

最近有小伙伴来问LLM的参数该如何设计，废话不多说来看看paper吧。首先，常见的可以进行调参的几个值有temperature，top-p和top-k。今天这篇文章是关于temperature的。

原文链接：https://arxiv.org/abs/2405.00492

temperature如果用简单的一句话来说，就是：Controls randomness, higher values increase diversity。数值越高，输出的结果多样性越大。大家其实直接用这个标准拿去参考调整参数就行。其实大部分的人都是这么做的，我们先来看一下openai commutiy上讨论的帖子：Cheat Sheet: Mastering Temperature and Top_p in ChatGPT API - API - OpenAI Developer Forum。这个回答者，还给出了一个不同use case情况下的参数设置参考，当然具体情况还是要看实验结果的哈。

然后2024年五月出的这篇文章，研究工作比较新了，我们先来看一下文章的摘要部分给出的结论：

Here, we investigate this claim using a narrative generation task with a predetermined fixed context, model and prompt. Specifically, we present an empirical analysis of the LLM output for different temperature values using four necessary conditions for creativity in narrative generation: novelty, typicality, cohesion, and coherence. We find that temperature is weakl