Tsinghua:Finding Skill Neurons in Pre-trained Transformer-based Language Models

这篇文章我觉得研究的挺有意思的。
找到神经网络中最有帮助的神经元的一个过程。这个过程的价值是减少PLM参数的前提下，还能提高模型的效果。

在本文中，我们发现在对特定任务进行快速调整后，预训练的 Transformers1 中某些神经元的激活可以高度预测任务标签。我们将这些神经元称为技能神经元，并通过发现以下内容来确认它们编码特定于任务的技能：(1) 技能神经元对于处理任务至关重要。当相应的技能神经元受到扰动时，预训练的变形金刚在任务上的表现会显着下降。 (2) 技能神经元是任务特定的。相似的任务往往具有相似的技能神经元分布。

We dub these special neurons skill neurons and develop a simple and effective method to find them for classification tasks via prompt tuning.。

具有高生产力的的神经元被预测为skill neurons.

论文中发现的：

（1）技能神经元普遍稳定地出现。对于所有 7 个调查任务和 5 个随机试验，我们始终可以找到具有接近提示调整的高预测能力的技能神经元。 (2) 技能神经元对于处理任务至关重要。当我们通过在它们的激活中添加随机噪声来扰乱技能神经元时，相应任务的性能下降比随机神经元受到扰动时要显着得多。 (3) 技能神经元是任务特定的。相似的任务表现出相似的技能神经元预测排序，并且相同类型任务的技能神经元对于处理任务比不同类型任务的技能神经元更重要。 (4) 技能神经元不是来自浅层词选择性。技能神经元通常不会选择性地激活与任务相关的关键词，并且它们的预测能力不会受到提示调整中使用的标签词的显着影响。

neuron的作用怎么判断？（没看太明白。）

在二分类任务中做的验证和测试。