TIOBE 滚动测试报 2021.10

SpeechIO TIOBE

ASR Benchmark

滚动测试报告 2021年10月

1、更新日志

最新更新日期:2021-10

• 2021年10月：

  • 场景：增加 [电台节目:张震鬼故事] [华语大学生辩论赛] [同声传译现场 时政]

  • 流程：TN模块增加无意义 filler 词 "呃，啊" 过滤

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2021年7月：

  • 场景：增加 [短视频-产品开箱] [短视频-农业种植] [线下培训-古希腊哲学]

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2021年4月：

  • 发布：Leaderboard 项目

  • 场景：增加 [汽车之家-汽车评测] [小艾大叔-豪宅带看]

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2021年1月:

  • 场景：增加[体育赛事解说-NBA] [纪录片-篮球人物]

  • 厂商：得到"创业公司S"授权，身份公布为思必驰AISpeech，调用平台为[思必驰开放平台-一句话识别服务]

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2020年12月:

  • 场景：增加 [少儿卡通 小猪佩奇&熊出没]

  • 厂商：百度服务切换至极速版，详见 [百度服务切换说明]

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2020年11月：

  • 场景：增加 [评书 单田芳-白眉大侠]，[相声 德云社]，[脱口秀 吐槽大会]

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2020年10月：

  • 指标：增加 SOTA 数值 ，详见 [当我们谈论SOTA时，我们在谈论什么]

  • 场景：增加 [短视频 电影剪辑 谷阿莫&牛叔说电影] [短视频 美食&烹饪 琼斯爱生活&贫穷料理]

  • 测试集发布：[新闻联播] 测试集已公开发布，后续滚动测试不会每期都覆盖该场景

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2020年9月：

  • 场景：增加 [在线教育 罗翔 法考] [在线教育 张雪峰 考研]    

  • 厂商：[阿里云+]已上线合并入公网版本[阿里云]，TIOBE 历史数据记录始终以公网版本为准。

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2020年8月：

  • 场景：增加 [播客 创业内幕]

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2020年7月：

• • 场景：增加 [播客 故事FM]

  • 重要修复：发现 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录] 三个场景测试集标注错误，全面检查&修正；作废这三个测试集6月的测试结果，7月开始启用修正后的测试集。详情见本月已经发布的[更正说明文章]

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2020年6月：

• • 场景：增加 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录]

  • 厂商：增加 阿里+ ，为阿里云新算法的试用版; 测试中取消[谷歌], 因谷歌的中文识别性能没有参考性，且费用超过其余各家之和。

  • 更名：原搜狗知音平台 改名为 搜狗AI开放平台

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2020年5月：

• • 修复搜狗多句结果解析bug

  • 场景：增加 [天下足球-世界杯往事] [罗振宇跨年演讲] [李永乐老师在线讲堂]

  • 厂商：增加 创S

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2020年4月：

• • 场景：增加 [鲁豫有约大咖一日行]

  • 厂商：增加 微软 Azure 认知服务 搜狗知音平台

  • 测试：全厂商 × 全场景 滚动刷新测试

• 2020年3月：

  • 项目发布：[引篇] [测试规范]

• • 场景：增加 [新闻联播]

  • 厂商：增加 阿里 百度 谷歌 讯飞 腾讯 创Y

2、滚动测试

已有测试集信息汇总

最新滚动测试结果汇总

纵轴（字准确率%）绘制范围为 [70, 100]

(注：讯飞被低估，原因详见链接 [SOTA])

最新滚动测试详细数据

3、简评

• 本季度新加入 [张震鬼故事] [大学生辩论赛] [同声传译现场] 场景测试。

• 本季度测试流程中的TN模块加入了无意义 filler 词 “呃，啊”的过滤，各厂商数字会因此有少许提升。

• 本次滚动测试，阿里的调用更新到公网最新版“拾音石”，在 SpeechIO 测试集上性能全面下滑。其它厂商服务无明显变化。

• 自本期滚动测试开始，SpeechIO 在有精力的前提下尽量做到每期都全面更换调用账号。