PMC-LLaMA: Towards Building Open-source Language Models for Medicine

本文是LLM系列文章，针对《PMC-LLaMA: Towards Building Open-source Language Models for Medicine》的翻译。

摘要

最近，大型语言模型（LLM）在自然语言理解方面展示了非凡的能力。尽管这些模型在日常对话和问答中表现出了熟练程度，但由于缺乏特定领域的知识，它们在需要精确性的领域（如医学应用）中经常会遇到困难。在本文中，我们描述了构建一个专门为医学应用程序设计的强大的开源语言模型的过程，称为PMC LLaMA。我们的贡献有三方面：（i）我们系统地研究了将通用基础语言模型适应医学领域的过程，这包括通过整合480万篇生物医学学术论文和3万本医学教科书，以数据为中心的知识注入，以及与特定领域指令相一致的全面微调；（ii）我们为指令调整提供了一个大规模、全面的数据集。该数据集包括医学问