-
TinyBERT 数据增强
TinyBERT 数据增强
TinyBERT: Distilling BERT for Natural Language Understanding
关于论文的解读已经有很多文章了，本文仅仅说明数据增强的步骤。
数据增强步骤
1.mask句子中的一个字词
1) 如果该单词的只有一个字
使用语言模型BERT预测出这个位置最有可能的m个词，作为候选集。
2）如果该单词含有多个字
使用GloVe的相似词向量的词汇进行组合，作为候选集。
2. 使用一个阈值p决定，是否将这个被mask的字词随机替换为候选集中的词汇。
3. 对文本中的每个词，重复地执行以上步骤，得到一个新的文本加入增强的数据集。
-
相关阅读:
HTML5+CSS3+JS小实例：霁青+翠蓝的Tabbar动画特效
弘辽科技：拼多多怎么可以引来自然流量？怎么得自然流量？
2022年安全员-B证试题及模拟考试
2022-2028全球及中国弹簧测试系统行业研究及十四五规划分析报告
Day 89
claims, ok := token.Claims.(*CustomClaims)
win10上使用VS2017编译libcurl
SpringClould 实战入门四-Zookeeper、Consul
latex-minted高亮代码配置
【数据结构初阶】二叉树——堆的应用（堆排序 + TOP-K问题）
- 原文地址：https://blog.csdn.net/weixin_41021342/article/details/126956279