哈尔滨工业大学秦兵：大模型背景下可信自然语言理解
https://github.com/Waste-Wood/e-CARE
大模型背景下可信自然语言理解
1.将符号逻辑加入到神经网络中：外部知识的引入
2.由因果关系挖掘语义关系，排除表面关系线索
3.面向低资源：利用相似领域训练模型以及共用其结构提升效果
UCSB李磊：大规模多语言翻译的挑战与机遇
三个idea挺不错
1.不同语言同义词的随机替换
2.利用句子间的对比学习提升效果
3.利用单模型的共享模型结构或为不同语言插入适配器网络的方法
腾讯QQ唐萌：基于区分开关键词和意图词的文本语义匹配
关键词从远程知识库获取，如果在库中，是关键词，否则不是
数据量有限时，效果更好点ß
关键词远程监督规则
达摩院魏相鹏：基于连续语义增强的神经机器翻译
保证泛化的同时&也保证原有语义
重点：1.在于如何采样，2.连续语义的如何更好的表示
清华大学周璟：面向小样本学习的高效、鲁棒的数据增强
文本分类/理解样本增强
解决类似EDA这种生成噪声样本的问题: 有样本标签反转的情况存在
1.用T5预训练模型用完形填空任务生成关键词
2.训练判断标签是否相等的2分类模型（标签保持还是反转）或者直接用T5进行决定标签是否保持和原句子一致还是不一致。
trick: 对增广的句子的结果按照概率降序排列，取概率高的和不重复的。
港中文王文轩：理解和改进针对机器翻译任务的序列到序列预训练
常见的PTM NMT有两个gap: domain-gap: 这个很容易理解，作者设置了一个copy实验判断test是接近当前domain还是pretrain-domain；
object-gap: 上游是mask到目标语言，下游是语言到语言。有一些现象可以反映(略)
所以本文做了解释和改进：
1.用领域内的数据对PTM进行进一步训练(常规操作)：超参设置有一定技巧(略)
2.为源语言加入噪声，拉近上游与下游的gap(感觉有点牵强，可能吧)
北航王冰：Text-to-SQL 模型对真实对抗性表格扰动的鲁棒性研究
这个方向稍微有点冷门：可能能用于对话和问答中
主要做了以下贡献：
1.提出了一种表格对抗扰动范式，同时实现了一些准则
2.发布了一个表格攻击的数据集
3.提出了一种对抗样本生成框架CTA（数据增广）：CTA（中间采用了NTI等模型）
复旦大学邱锡鹏：迈向大规模高效自然语言处理
邱锡鹏老师组队PTM的研究太全面&强了，这里主要是做了效率相关的分享：
1）结构：提出了NIP提出的计算图传递效率指标，受star-trms启发，提出hypercube trm，类似工作也有：CPT，ernie3.0
2）预训练：CoLAKE（将动态可插拔知识在PTM阶段融入）
3）微调：参考19年多任务NER以及prompt/adapter-tuning，提出的y-tuning/black-box tuning
4）部署：类似T5/分类任务&匹配任务转换等，提出了ABSA(index)，NER任务融合
5）推理：动态路由Token-level early exiting
西湖大学张岳：人在闭环的自然语言处理
主要工作有两个：
#1.情感分析
1.让关键词保持，非关键词可替换
2.矫正/替换掉模型的关注的非因果特征，对于漏掉的因果特征通过增广来生成
灵感来源: 人会根据一些关键信息去伪存真。
关键：增广数据的数量选择，太多可能会过拟合
#2.机器翻译
加入人类翻译的提示，提升效果。类似：规则+模型
#其他：
训练时引入非局部的特征，给句法分析带来提升
AMR/AMR-to-text
开源了开放领域的句法分析数据
词嵌入、对象级情感分析
QA（略）
清华大学秦禹嘉：面向新数据的语言模型持续高效预训练
预训练模型的终身学习：针对之前的很多工作在有新数据时，都是从头开始训，提出：
1）对模型进行宽度进行增长：矩阵分解，保证输入一致时输出一致；然后，加随机的noise
2）对模型进行深度进行增长：按序按需对一些层进行特征copy
3）warmup: 额外训一会，保证之前知识的学会
4）新数据训练：基于memory，动态调整新数据和老数据的比例
5）domain prompt：加上领域的提示词->合适的激发相关领域的知识特征
其他: 知识/参数继承，多任务，预训练模型、fine-tuing模型的评估，Switch-trms，pangu-α
小米李嫣然：基于混合策略和常识图谱的情绪疏导对话
关键词：情感对话(情绪理解，怎样表达，应该表达什么，有技巧的缓解情绪压力)，可解析性
1.将context句子以及comet生成context常识数据通过trms编码
2.根据上下文计算多个策略的（8个策略->8*N的矩阵）分布：可在一轮对话中生成一个策略混合的回答。
3.解码端，将output通过trm编码，然后通过cross-attention方法融合常识和策略等
comet(常识推理，常识生成模型): 根据输入的一些提示，会根据场景生成一些前置，后置，心理，因果等状态结果
西安大略大学王馨頔：知识增强的端到端生物医学文本标签
背景&概念：标签多而分布不均衡
动机：之前的专注于标题和摘要，本文引入外部知识；标签之间存在上下位关系；期刊/作者对标签分类有贡献
通过共现概率计算期刊和mash的标签子集
收集相似期刊的标签集
提出模型KenMeSH：
1.输入中的标题采用bilstm，摘要用bilstm+dilated-cnn(文本太长)
2.标签表示：将标签集的gcn表示和embeding进行concate
3.通过外部知识为每篇文章生成特有的masks，然后计算label和text的attention
通过共现概率计算期刊和标签的标签子集
收集相似期刊(KNN)的标签集
4.分类
中科院林海涛：基于角色交互的面向角色的对话摘要方法
关键词：多任务，对话摘要生成，基于角色
背景：提取摘要
动机：其他角色可以帮助获取当前角色的摘要信息
模型结构：
1.跨越注意力交互：计算角色a和角色b的编码侧注意力和自注意力（关注其他角色中的关键信息）
2.解码器自注意交互：某1时刻，角色使用当前隐藏状态和另一角色历史所有隐藏状态（关注其他角色中的摘要关键信息）
3.结合1和2的注意力生成摘要