Pair 团队简介
深圳大学医学超声影像计算实验室(Medical Ultrasound Image Computing Lab, MUSIC) 的倪东教授和杨鑫博士等带队研发。团队成员10余人,Pair软件历时近3年研发,仍在持续大幅优化中。Pair定位于解决医学影像标注软件长期存在的问题,致力于成为最优秀、最专业、最懂医生的国产医学影像标注软件。Pair自2020年7月于MICS大会公开以来,得到了很多前辈老师的重要指导和批评意见,确立了更多值得解决的问题。Pair目前已基本完成第一阶段基础标注功能的开发,即将进入第二阶段的全面智能化,同时进一步丰富基础标注功能。
标注工作的痛点 ·
智能化医疗影像分析非常依赖医生的标注,然而繁琐且耗时的手动标注工作常常使医生倍感压力。医学影像的标注往往涉及多种数据模态(如MRI、X光、超声等)、多种数据格式(如2D图像、视频、病理、3D数据等),和多样的标注类型(如点、线、面、体等),因此产生了复杂的标注场景,在标注过程中会面临如下问题:
若所需标注的类型繁多,同时又欠缺层次化组织和管理,则容易发生误操作;
不同医生的标注习惯可能存在差异,标注流程和规范难以统一;
完全依赖手动标注时,难以应对大规模、复杂的标注需求,既会造成医生的负担,也会严重制约研究项目的进度。
除此之外,差异化的用户需求对标注软件的功能多样性与兼容性发出极高的挑战。然而,多数现有的标注软件支持的数据模态有限,且功能单一,缺乏灵活性,培训成本高。即使是熟知的ITK-SNAP和LabelMe也是如此。多数用户选择切换和熟悉不同标注软件来适应不同数据,这导致标注效率大幅降低。
Pair的核心功能亮点 ·
我们的Pair作为一款“全家桶式”的医学图像标注软件,具备专业便捷、通用易用且智能化的特点,与其他标注软件相比,拥有如下核心功能亮点:
1
多项目通用,兼容各种数据模态和格式
Pair可兼容CT、X-Ray、MRI、PET、超声、病理切片等10余种数据模态和兼容2D、视频、3D、病理、信号、放疗勾画文件等20余种文件格式。用户可使用Pair完成各种医学影像智能项目的标注工作,无需切换软件。
2
支持多种标注类型,覆盖诸多影像AI研究的标注需求
Pair提供了多边形、矩形框、关键点、分类标签、文本属性、测量项等20多项通用标注功能,涵盖了分割、分类、目标检测、关键点定位等常见任务的所有标注类型。
3
智能辅助标注,让医生从繁重的手动标注中解脱
Pair提供阈值分割、魔术棒、曲线拟合、矩形框跟踪、标签记忆/复制等自动化辅助标注功能。Pair尤其配备独有的用户自定义AI标注和通用智能分割标注AutoSeg,两项功能均可搭载深度学习模型,仅需普通电脑CPU,即可实现对解剖结构的一键式智能标注,有效缓解医生的标注压力,为影像的标注提供加速度。
4
标注流程规范化,支持大规模的标注任务
Pair提供了自定义标签配置和管理功能,可以有效避免标注人员因误操作或个人习惯不同而引发的混乱,如不同医生可能会对同一器官有不同的标签命名等。此外,同一项目统一配置文件,有利于科研人员对标注信息的高效读取。Pair具备优异的工作流,支持上千张图像和视频的同时导入。轻松处理超大视频[>1.2G]、超大病理切片[>2.2G],不卡顿,不闪退。优化了对CPU、内存的管理,使得软件具有很强的兼容性,在无GPU独显,性能较差的电脑仍可流畅使用。
5
病例隐私脱敏和影像加密,保障数据的安全流通
Pair配套的安全化软件PairCode提供了完善的DICOM文件脱敏功能、多层权限的高阶加解密标注功能,以实现病例隐私、医学影像以及标注资源的多重安全,并保护AI模型拥有者的产权。
6
完善和丰富的教程用例资源,降低培训成本
软件内置中英双语使用教程,以各个标注功能为主线展开介绍。另有AI模块使用说明和Pair标注结果读取说明,方便开发者即查即用。B站上有持续更新的教程视频介绍,以每个大模块展开介绍,让标注者快速上手,降低培训成本和时间。
MindSpore社区和Pair团队携手共进 ·
MindSpore是华为开源的一款全场景AI计算框架,旨在提供友好设计、高效运行、简捷部署的开发体验,目前应用于医疗、金融、科研等多个领域,提供面向端边云多种场景的主流硬件支持,并针对昇腾硬件平台提供深度优化能力。MindSpore着力构筑面向全球的人工智能开源社区,推动人工智能软硬件应用生态繁荣发展。
Pair与MindSpore社区合作后,以MindSpore框架为基础,提供基于CPU的医学影像智能标注功能。作为一款国产一站式标注软件,Pair可兼容CT、X-Ray、MRI、PET、超声、病理切片等10余种数据模态和2D、视频、3D等数据格式,提供了多边形、矩形框、关键点、分类标签、文本属性、测量项等20多项通用标注功能,涵盖了分割、分类、目标检测、关键点定位等常见任务的所有标注类型。值得一提的是,Pair配备独有的自动分割标注功能,搭载深度学习模型,基于MindSpore快速的CPU推理,仅需一步框定操作即可快速实现目标轮廓的全自动精确标注,免除了繁琐的手动勾画过程,节省标注时间,可高效推动AI研究项目的进度。
Pair的自动分割标注功能旨在缓解医生手动标注的压力,加快标注流程。据统计,使用Pair的自动分割标注功能,相比医生手动勾画可节约70%的时间成本。Pair搭载的自动化模型是使用PyTorch训练得到,将模型导出为ONNX, 使用MindSpore提供的转换工具即可将ONNX转换为MindSpore Lite模型,且在C++中部署MindSpore Lite模型推理非常简单。MindSpore Lite中高效的内核算子可以充分发挥CPU硬件算力,减少推理耗时,相比Libtorch,可以达到26%的加速提升。
目前,Pair已在超过2000位用户和200多个海内外研究机构、企业、医院间使用,成功实现商业落地,且有稳定活跃的研发团队进行持续的优化升级。更多的相关信息可见https://space.bilibili.com/616429598。
MindSpore官方资料
GitHub : https://github.com/mindspore-ai/mindspore
Gitee:https://gitee.com/mindspore/mindspore
官方QQ群 : 871543426