ACL-IJCAI-SIGIR顶级会议论文报告会（AIS 2022）笔记2：分析与可解释性

录播视频地址：AIS 2022丨ACL-IJCAI-SIGIR顶级会议论文报告会回放视频公开啦
智源官网活动主页，有详细议程的介绍：ACL-IJCAI-SIGIR顶级会议论文报告会（AIS 2022）

本文关注5月14日的分析与可解释性部分，即Session 2：Analysis and Interpretability（分析和可解释性）。主要内容是截图slides，并附注一些讲解内容。比我之前写cs224w和李宏毅的笔记会简略很多，在图中不言自明的内容我就不另附介绍了。

文章目录

1. 关于中文生物医药数据集的构建工作
2. 从损失函数层面构建抵御对抗攻击的方法
3. 鲁棒彩票网络
4. 如何检测出非自然表达的对抗样本
4. 关于法律案件匹配的可解释性
5. 信息检索的鲁棒性提升
6. 多模态情感分类项目
7. Few-Shot text-to-SQL
8. NER的噪音标签修正
9. 基于图网络的协同过滤的可解释性

1. 关于中文生物医药数据集的构建工作

阿里云陈漠沙
在这里插入图片描述
这个任务感觉其实类似于实体消歧任务

QA环节：
医学benchmark与其他领域的构建区别：医疗语料获取有难度，数据匿名、经过委员会审核，中文医疗领域的特点（domain knowledge、标注方法）

2. 从损失函数层面构建抵御对抗攻击的方法

复旦大学刘勤
在这里插入图片描述
文本防御：针对性的防御方法

通用的防御方法（对抗训练方法）：沿着梯度上升的方向，去找那些会对模型造成最大影响的样本
时间消耗很大（K次复循环）

在这里插入图片描述
在training loss接近0的时候就不用进一步降低，从而避免过拟合、获得较好的泛化能力

flooding在损失函数逼近阈值时做了一个梯度上升和梯度下降的交替，让参数更加平滑，获得鲁棒性

缺点：对b敏感

捕捉过拟合的时间点
在这里插入图片描述
Q：flooding在bert上做的实验，是否对别的也有用？A：在roberta上做过实验，有效。对非预训练模型还没有做过实验。

3. 鲁棒彩票网络

复旦大学郑锐
在这里插入图片描述
探究预训练模型本身的结构可能会对鲁棒性带来怎样的影响

对各种攻击都有比较好的效果
以前的模型从优化的角度，本作从模型的角度

现在发现模型压缩后鲁棒性会降低，本工作就是为了逆着这个思路来，找到鲁棒性更高的彩票网络
在这里插入图片描述
迭代、复制、剪枝→掩码m
鲁棒性更依赖于模型权重而不是结构

Q：传统彩票网络裁减比例可以做很大，本工作只有40%以内。A：剪枝范围可以做很广，但是为了强调，本文仅选择鲁棒性最好的稀疏度作为主实验结果（可能不是最clean的）。

4. 如何检测出非自然表达的对抗样本

上海交通大学王佳翼
在这里插入图片描述

用在文本防御的框架中
transformation set：变换后再分类，用均值作为输出（随机变换+平滑。这种方法在CV领域已经得到了较好的效果）（直觉上感觉这种做法也可以用在grammatical error correaction这类任务中）
在这里插入图片描述
Q：有没有方法能产生更自然的对抗样本？A：现在的方式还是比较启发式的方法剔除不自然的指标（语义相似性、语法错误的个数、流畅度、复杂度），还没有能直接生成更自然的对抗样本的方法。

4. 关于法律案件匹配的可解释性

中国人民大学
在这里插入图片描述

研究动机

在这里插入图片描述
用自然语言的形式来解释
长文档只有部分要件与匹配结果相关
领域知识，标签代价高

在这里插入图片描述

所提方法

在这里插入图片描述
要件对齐

要件提取过程被建模为正向的最优运输
语义相似度和要件相似度：指导运输
训练阶段：逆向自由运输

在这里插入图片描述

实验分析

在这里插入图片描述

小结

在这里插入图片描述

5. 信息检索的鲁棒性提升

昆士兰大学庄胜尧
在这里插入图片描述
人脑可以自动改正拼写

但是对预训练模型来说，这些typo会对篇章检索造成巨大的错误

wordpiece对这种typo本身就很不友好

（这玩意要转换到中文上岂不是得具体到笔画？）

Q：如果typos比例太高，是否会对训练产生负面影响？A：没做实验。一般用户typos本身也比较少。加一个typo就会对原始的篇章检索影响很大，如果typos多的话应该更会。本文的方法，一个typo只会影响一个token的嵌入，原始方法一个typo可能会影响多个token，造成的影响会更大。

6. 多模态情感分类项目

南京理工大学王洁铭
在这里插入图片描述多模态属性及情感分析
输入：图片+推文+实体

在这里插入图片描述当前模型缺点：没有考虑实体和图像之间的关系，大多考虑文本
对没有出现在图片中的实体，我们不希望图片影响其情感分析
对于出现在图中的实体，我们希望将其定位，辅助分析其情感

在这里插入图片描述实体出现在图片中的情况与其情感高度相关

用图像做上下文，和target进行跨模态交互（二分类）

和region交互

Q：多模态会双刃剑，图文可能不匹配，这种情况是否会对模型产生负面影响？A：会有，但也有“讽刺检测”任务。对情感分析任务，希望通过粗粒度对齐排除和图像不相关情感的干扰，有一定抵抗干扰的能力。

7. Few-Shot text-to-SQL

东南大学郭心南
在这里插入图片描述
问题与表格一一对应的情况

在这里插入图片描述

方法一：对同义词情况支持不好
方法二：方法简单，没有考虑到SQL语句中不同槽位预测和差异性

六个子任务：不同的槽位

置信度：伪标签

column specificity：鼓励模型学习常见列/特征

Q：非规范语言是否会带来严重影响？A：会的，现在方法都会着重于提取实体和关系，可能对用户本身的表达形式要求没那么高。