Pruning Pre-trained Language Models Without Fine-Tuning

本文是LLM系列文章，针对《Pruning Pre-trained Language Models Without Fine-Tuning》的翻译。

摘要

为了克服预训练语言模型(PLMs)中的过度参数化问题，剪枝作为一种简单直接的压缩方法被广泛使用，它直接去除不重要的权重。先前的一阶方法成功地将plm压缩到极高的稀疏度，而性能下降很小。这些方法，如运动剪枝，使用一阶信息剪枝plm，同时微调剩余的权重。在这项工作中，我们认为微调对于一阶剪枝是多余的，因为一阶剪枝足以在没有微调的情况下将plm收敛到下游任务。在此动机下，我们提出了静态模型剪枝(SMP)，该方法仅使用一阶剪枝使plm适应下游任务，同时达到目标稀疏度水平。此外，我们还设计了新的掩蔽函数和训练目标来进一步改进SMP。在各种稀疏度水平上的大