[论文笔记]Adapter turning

引言

今天带来第一篇大语言模型高效微调的论文Adapter Tuning笔记。

预训练+微调的范式是一种高效的迁移学习机制。然而，当有很多下游任务时，微调参数并不高效：对于每个任务都要有一个全新的模型。

作者提出了基于adapter模块的迁移学习方法，可以产生一个紧凑和可扩展的模型。只需要为每个任务增加少部分可训练参数，而固定原来模型的参数。

作者说Adapter可以获取接近SOTA的表现。

在预训练的模型中进行迁移学习可以在很多NLP任务上得到很好的表现。当下游任务很多时，又不希望为每个下游任务微调一个全新的模型。

作者提出了基于adapter模块的迁移学习方法，可以产生一个紧凑和可扩展的模型。紧凑意味着对于每个任务只需要额外少量的参数。可扩展意味着可以逐步训练以解决新任务，而不会忘记先前的任务。

在NLP中最常用的迁移学习技术有两种，分别是基于特征的迁移和微调。作者提出了基于adapter模块的另一种迁移学习方法。

基于特征的迁移关于预训练实数嵌入向量，这些向量可以为单词、语句或段落级别。然后把这些向量应用到自定义的下游模型。

微调就是从预训练的模型中拷贝权重然后基于下游任务更新它们。最近的工作表面微调通常效果比基于特征要好。

但是这两种方法都需要为每个任务训练一组新的权重，而作者提出的adpater微调方法可以更高效的利用参数。

图1的x轴表示每

相关阅读:
网络安全（黑客）自学
CentOS7和CentOS8 Asterisk 20.0.0 简单图形化界面6--JSSIP呼叫demo
“深入理解机器学习性能评估指标：TP、TN、FP、FN、精确率、召回率、准确率、F1-score和mAP”
4个宝宝晚上不建议出门的原因,你知道吗?
美容院如何体现差异化服务?
【数据结构】排序(3)—堆排序&归并排序
手写Callable、FutureTask实现主线程阻塞，获取异步线程的执行结果
Vue实现面经基础版案例（路由+组件缓存）
ConnectTimeout和ReadTimeout所代表的意义
电力电子转战数字IC20220727day57——寄存器模型（续）

原文地址：https://blog.csdn.net/yjw123456/article/details/133027362