DataWhale AI夏令营 大模型微调Task1笔记

日期: 2024年8月11日

报名参加挑战赛。

理解挑战赛的任务和流程。

基于讯飞大模型定制训练平台和spark-13b微调模型，生成高考语文现代文阅读和英语阅读问题QA对

学习过程:

Step 1: 报名赛事

访问赛事链接并完成报名。

完成个人认证。

Step 2: 运行 Baseline: 数据处理

运行代码得到output.jsonl 文件

下载 output.jsonl 文件。

然后在讯飞平台进行大模型训练。

• 启动环境并运行代码。

• 模型的输出如下

• 

学习心得:

• 在报名过程中，我注意到赛事的官方页面提供了详细的指导步骤，这对于初次接触此类竞赛的新手来说非常友好。
• 数据处理的代码运行非常顺畅，即使对于没有编程经验的人来说也很容易操作。
• 通过下载 output.jsonl 文件，我对数据处理有了初步的认识。虽然还没有深入了解代码细节，但是已经能够感受到数据准备的重要性。
• 熟悉了大模型微调的步骤，知道了数据的重要性

遇到的问题

prompt撰写不熟练，大模型训练步骤不熟练

总结

我熟悉了大模型的微调步骤，尝试撰写训练集以及数据

---