AnatoMask论文汇总

挑战1

1.随机掩码策略忽略医学图像解剖的重要区域，无差别掩码
2.重建复杂的重要区域

方法： 自我蒸馏方法

1.模型充当教师通过计算 重建损失 确定要屏蔽的重要区域，生成更关注解剖重要区域的掩码
2.模型充当学生学习这些掩码
3.用学生的指数移动平均（EMA）权重更新教师模型

挑战2

MIM需要大规模训练数据

方法2： 掩蔽动力学函数（从易到难的掩蔽策略）

1.模型计算重建损失，由于医学解剖的重要区域复杂难重建，可以通过重建损失大的区域 学习到重要区域
2.教师随着学生的进步，不断增加MIM任务难度

方法优势

1.让模型学习找到并重建重要区域
2.优先对重要区域进行掩码
3.提高预训练效能