这篇文章是今年发表的一篇Transformer类文章。文章作者提出了ViT的增强版——SuperViT,其核心有2个:①多尺度输入;②Token-keeping-rate机制。作者通过一系列实验证明SuperViT可以在计算效率和正确率上实现比Swin-T更好的表现力!
参考文档: ①源码 ②Transformer学习(四)—DeiT ③各类Transformer都得稍逊一筹,LV-ViT:探索多个用于提升ViT性能的高效Trick
京公网安备 11010502049817号