LARGE LANGUAGE MODELS AS OPTIMIZERS

本文是LLM系列文章，针对《LARGE LANGUAGE MODELS AS OPTIMIZERS》的翻译。

摘要

优化无处不在。虽然基于导数的算法是解决各种问题的强大工具，但梯度的缺乏给许多现实世界的应用带来了挑战。在这项工作中，我们提出了PROmpting优化（OPRO），这是一种利用大型语言模型（LLM）作为优化器的简单有效的方法，其中优化任务用自然语言描述。在每个优化步骤中，LLM都会从包含先前生成的解决方案及其值的提示中生成新的解决方案，然后对新解决方案进行评估，并将其添加到下一个优化步骤的提示中。我们首先展示了关于线性回归和旅行推销员问题的OPRO，然后继续进行提示优化，目标是找到最大限度提高任务准确性的指令。通过各种LLM，我们证明了OPRO优化的最佳提