【大咖说Ⅱ】中科院信工所研究员林政：大规模预训练语言模型压缩技术

欢迎来到2022 CCF BDCI大咖说系列专题报告

听顶级专家学者围绕特定技术领域或选题，讲述自身成果的研究价值与实际应用价值

便于广大技术发烧友、大赛参赛者吸收学术知识，强化深度学习

每周一、三、五，「大咖说」与你相约“一碗数据汤”~

本期大咖

林政，中科院信工所研究员，博士生导师。研究兴趣包括情感分析、智能问答、模型压缩等；2018、2019年连续获得全国“军事智能-机器阅读”挑战赛冠军；2020年在常识推理阅读国际比赛排行榜上取得了三个任务的第一名；近几年在NIPS、ACL、EMNLP、AAAI、IJCAI等国内外顶级学术会议和期刊上发表论文50篇，入选F5000优秀论文，获得国家自然科学基金青年项目、面上项目、国家重点研发计划等多个项目资助。

研究技术方向：网络内容安全，自然语言处理

分享主题：大规模预训练语言模型压缩技术

近几年，预训练语言模型已经成为自然语言处理的主流范式。预训练语言模型的使用分为两步，第一步是在大规模无监督语料上pre-train（预训练）一个大模型，第二步是在下游任务上fine-tune（微调）得到任务相关模型。

随着各类预训练语言模型（如BERT、GPT）的参数量呈指数级增长，这些大模型在带来性能提升的同时，也带来了一些新的问题。比如，大模型的训练开销大、难以在资源受限的场景中部署应用等。所以，我们需要对大规模预训练模型进行高效压缩。

戳视频，看林政老师的完整分享内容↓↓↓

希望大家听完林政老师的分享，能学以致用，应用到竞赛中打怪升级、实操进阶哟~