大模型微调方法

大模型微调方法。先写个初稿，后续逐渐完善。

1.Ladder Side-Tuning（LST）

LST，它是在原有大模型的基础上搭建了一个“旁支”（梯子），将大模型的部分层输出作为旁枝模型的输入，所有的训练参数尽在旁枝模型中，由于大模型仅提供输入，因此反向传播的复杂度取决于旁枝模型的规模，并不需要直接在原始大模型上执行反向传播，因此是可以明显提升训练效率的。
在这里插入图片描述

参考：
苏剑林. (Jun. 20, 2022). 《Ladder Side-Tuning：预训练模型的“过墙梯” 》[Blog post]. Retrieved from https://kexue.fm/archives/9138

相关阅读:
打造一个开箱即用的超级丝滑的漂亮hexo博客网站
推荐系统笔记（八）：推荐系统中的长尾效应
A-Level经济真题（6）
centos安装python3/pip3项目所需的第三方模块（在线安装&&离线安装）
收藏帖！今年下半年系统集成该如何备考？
ANTLR4规则解析生成器(三)：遍历语法分析树
window环境下安装node.js8+angular6
Pytorch intermediate(四) Language Model (RNN-LM)
easyexcel导入读取数据后，实体类的字段全为null
有向图D和E

原文地址：https://blog.csdn.net/zephyr_wang/article/details/125535751