关于为什么有了通用BERT，却还需要特定领域BERT？-对此问题做出回答的相关理论和文章（如有）（持续更新ing...）

诸神缄默不语-个人CSDN博文目录

一开始其实只关注Bert，但是后来感觉应该扩展到所有LLM上，所以连标题都改了

最近更新时间：2023.6.27
最早更新时间：2022.9.20

1. 理论

1. (2020 ACL) Re26：读论文 Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks：大致是说LLM在通用域上预训练之后，在领域和任务上再继续预训练会提升模型效果。理论似乎提的不多，反正就是用实验证明了这么干是有用的

1.1 空间论

不同类型的语料所覆盖的空间会不一样，训练出来的模型理论上应该是对训练集所覆盖的空间的测试集的泛化效果更好，而如果你用的是特定语料的LLM，但是你想测试其他领域的余料的话，它的泛化性就会弱。

1.2 知识论

预训练语言模型能学习到语料中的知识，而通用语料缺乏特定领域的知识，因此直接用通用LLM难以解决需要专业知识的特定领域的问题。
（可以参考：LawBERT: Towards a Legal Domain-Specific BERT? | by Erin Zhang | Towards Data Science）

2. 典型的特定领域LLM

生物医学：BioBERT
科学出版物：SciBERT
金融：FinBERT, GloomBertGPT
医学：ClinicalBERT
法律：LegalAI领域大规模预训练语言模型的整理、总结及介绍（持续更新ing…）