11.27学术报告听讲笔记

笔记链接：https://download.csdn.net/download/Hekena/87178210

报告人：张宁豫——浙江大学

连邦学习：在满足数据隐私、安全、监管要求的前提下，设计一个机器学习框架，让人工智能系统高效的共同使用各自的数据。
特点：

1. 各方数据都保留在本地，不泄露隐私也不违法法规
2. 多个参与者联合数据建立虚拟的共有模型且共同获益体系
3. 在联邦学习体系下各个参与者身份地位相同
4. 联邦学习的建模效果和将整个数据集放在一起建模的效果相同或相差不大
   训练过程：初始化+本地训练+更新聚合

模型拆分为共有的模型部分和私有的模型部分。
连邦学习优于单客户训练，且不同参数拆分策略存在不用影响。

医疗领域的联邦关系抽取问题

1. 困难或问题：
   最先进的关系抽取模型通常使用基于Transformer的预训练语言模型其参数量较大
   联邦学习的框架包括大量的本地平台，每个平台和中央服务器之间的通信是必要的
   模型繁琐、本地平台众多，上传带宽通常被限制在1MB／s或更少
2. 解决方式：上传中央服务器的是预测结果不是模型参数。
   联邦学习场景下的信息抽取问题存在特定的挑战：
3. 如何共享／私有信息抽取的Schema信息（是否私有设置）
4. 如何解决不同Client之间的抽取对象歧义问题（负迁移）（类似于实体歧义问题）
5. 设计适合NLLP隐私泄露评估指标
6. 探索更丰富的联邦信息抽取的新