重点已划好！OpenMMLab 7 月动态一览

OpenMMLab 7 月月刊新鲜出炉！我们有 7个算法库更新了版本。

• MMCV 兼容了 PyTorch 1.12 并提供预编译包，MMCV 和 MMClassification 支持了苹果 M1 芯片的训练
• MMSelfSup 支持 MAE 重建图像可视化
• MMDetection3D 支持了 ECCV 2022 最新 LiDAR-based 室内场景 3D检测器 FCAF3D
• MMOCR 新增支持 ArT 数据集
• MMDeploy 支持了高通 SNPE 推理引擎，SDK 增加了 C++ API，扩充了对 MMRotate 中 RoI Transformer 算法的部署支持

详细功能支持细节可以继续翻阅以下内容查看哦～！

贡献之星

活跃之星

星星说：非常感谢喵喵和社区大佬们对小弟的喜爱，小弟来到社区之后学习到了很多，成长了很多。看大家在群里的讨论并从中学习知识是一天中觉得最幸福的事情，希望大家以后也能继续支持 OpenMMLab，支持我！

星星说：大家好，我是浙江工业大学的研究生小萌新，研究方向是医学图像的检测和分类！很高兴可以在 OpenMMLab 社群和各种志同道合的小伙伴们一起交流学习，我是当初因为一个生物目标检测项目的原因初步接触 MMDetection，里面的很多模型我也都使用过，一开始刚配环境以及如何训练自己的数据集也是一头雾水踩了很多坑，直到现在也可以熟练配置和使用了，一些模型的改动也学会了很多，感谢 MMDetection 带我入门目标检测。在群里说不上大佬，只是复现的多了，自然就有经验，希望大家都可以学有所成！

亮点功能抢先看

MMCV

支持 MPS 训练

MMSelfSup

支持 MAE 重建图像的可视化

MMDetection3D

支持了 ECCV 2022 的最新 anchor-free LiDAR-based 针对室内场景的 3D 检测器 FCAF3D

MMDeploy

• 支持了高通 SNPE
• SDK 增加了 C++ API

更新详情

MMCV

新功能

• 添加 bbox overlap MPS 算子
• 添加 PrRoIPool CUDA 算子

代码改进

• 添加 torch_meshgrid 函数处理 PyTorch 版本兼容问题
• MMDistributedDataParallel 添加 _run_ddp_forward 方法用于兼容 PyTorch1.12
• ProfilerHook 支持将 trace 日志默认保存到 work_dir
• 添加类型注解，便于阅读代码

Bug 修复

• 修复 trt_deform_conv.cpp 中的属性名问题
• 修复 pixel_group.cpp 中的变量名问题
• 修复 PointsSampler 算子的索引问题

感谢 @triple-Mu @pallgeuer @triwahyuu @ytzhao @WINDSKY45 @EvelynWang-0423 @zcyKTH @zhangtingyu11 @ychfan @GPhilo @0reza @Happylkx 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmcv/releases/tag/v1.6.0

https://github.com/open-mmlab/mmcv/releases/tag/v1.6.1

MMClassification

新功能

• 支持在苹果 M 系列芯片上使用 MPS 加速训练

Bug 修复

• 修复了一个 Albu 数据变换中可能导致崩溃的错误

感谢 @HinGwenWoong 在此版本中的贡献。

更多内容请见：

https://github.com/open-mmlab/mmclassification/releases/tag/v0.23.2

MMSelfSup

新功能

• 支持 MAE 重建图像的可视化

代码改进

• 更新 mdformat 设置
• 添加 circle ci 配置
• 修复语言更换链接问题
• 更新 tutorials/4_schedule.md 中的文档链接

Bug 修复

• 修复 extract.py 文件中 cfg/args 路径问题，应用 cfg 中的路径进行处理
• 修复 SimMIM 配置文件中掩码生成器类型名称的错误

感谢 @doem97 在此版本中的贡献。

更多内容请见：

https://github.com/open-mmlab/mmselfsup/blob/master/docs/en/changelog.md

MMDetection3D

新功能

• 支持 FCAF3D
• 添加单相机到多相机的数据预处理转换
• 支持 lift-splat-shoot 的视角变换模块

代码改进

• 消除 SUN RGB-D 预处理期间最大点数的限制
• 支持 circle CI
• 更新 dockerfile 中各种依赖版本

Bug 修复

• 修复了 DepthInstance3DBoxes.overlaps 里的偏向角
• 修复了 DGCNN 配置文件
• 修复 bbox head 未注册的错误
• 修复 S3DIS 预处理中丢失的物体
• 修复采用 spconv 2.0 时的模型加载错误

感谢 @filaPro @HuangJunJie2017 @Xiangxu-0103 @ChonghaoSima 在此版本中的贡献。

更多内容请见：

https://github.com/open-mmlab/mmdetection3d/blob/master/docs/en/changelog.md

MMSegmentation

新功能

• 添加了 Swin-L transformer 训练结果

代码改进

• 更新了 ERFNet 训练结果

Bug 修复

• 修复 colab tutorial 中的 bug
• 修复 SegFormer 模型下载链接
• 修复文档

更多内容请见：

https://github.com/open-mmlab/mmsegmentation/blob/master/docs/en/changelog.md#v0270-7282022

MMOCR

新功能

• 支持了 ArT 数据集

代码改进

• 在推理脚本中支持使用 ABINet 视觉模型
• 简化了对字符串文本距离的计算
• 完善对于 MIM 的支持，简化了安装文档

Bug 修复

• 修复了可能导致反向传播时导致错误的 += 操作符
• 修复了 ABINet 中对于文本分数的错误计算
• 修复了 SDMGR 中对 edge embedding 的计算
• 补全了 CT80 数据集的下载链接

感谢 @tpoisonooo @Abdelrahman350 @Hegelim @xiefeifeihu @MingyuLau @balandongi @amitbcp @TekayaNidham @easilylazy 在此版本中的贡献。

更多内容请见：

https://mmocr.readthedocs.io/en/latest/changelog.html

MMDeploy

新功能

• 支持了高通 SNPE
• SDK 增加了 C++ API
• 支持了 MMRotate le135 旋转物体坐标表示法和 RoI Transformer 的部署
• 增加 latency 测试工具 test/profile.py

代码改进

• 优化 Python SDK 的预编译脚本
• 升级 ppl.nn 和 ppl.cv 分别到 0.8.1、0.7.0
• 支持批量图像测试
• 采用setuptools的方式安装 onnx optimizer
• Python SDK 支持 kwargs 输入
• 增加新的编译选项 MMDEPLOY_BUILD_SDK_MONOLITHIC， 支持把 SDK 编译为一个动态库
• 增加新的编译选项 MMDEPLOY_BUILD_EXAMPLES，支持同时编译库和样例程序
• 升级 GPU Dockerfile 基础镜像，支持 TensorRT 8.2.4.2
• 新增对 torch.Tensor.__setitem__的重写，以及 ONNX pass CommonSubgraphElimination，用以优化 ONNX graph
• 【BC Breaking】规范化命名 SDK C API

Bug 修复

• 修复 macOS 和 android 下编译错误的问题
• 修复Cascade R-CNN, YOLOX 和 SATRN 导出的问题
• 修复 check_env.py 校验自定义算子库是否存在的逻辑判断错误
• 修复 TopK 和 padding 算子在不同 torch 版本下的导出兼容性问题
• 修复 SingleRoIExtractor 和 DistancePointBBoxCoder.decode 导出失败的问题
• 支持 ONNX 导出时，传入 img_metas

更多内容请见：

https://github.com/open-mmlab/mmdeploy/releases/tag/v0.7.0

热门活动

我们进行了 4 次社区开放麦直播，分享内容覆盖纯视觉 3D 检测、姿态估计、手势识别、有向目标检测。

感谢社区小伙伴的积极分享和每周四晚的陪伴，错过的小伙伴可以查看回放哦~

【社区开放麦】第 15 期 突破纯视觉 3D 检测深度估计瓶颈1312 播放 · 4 赞同视频正在上传…重新上传取消​

【社区开放麦】第 14 期 从时间序列角度破解姿态估计中的两大问题1352 播放 · 3 赞同视频正在上传…重新上传取消​

【社区开放麦】第13 期 手势识别算法与开箱即用的正确姿势1222 播放 · 2 赞同视频正在上传…重新上传取消​

【社区开放麦】第12期 视觉有向目标的高精度检测1522 播放 · 6 赞同视频正在上传…重新上传取消​

技术干货

当然，还有干货满满的技术文章也都一一整理在这里啦~

OpenMMLab：模型部署入门教程（七）：TensorRT 模型构建与推理40 赞同 · 6 评论文章正在上传…重新上传取消

OpenMMLab：万字长文教你优化轻量姿态估计模型（算法篇），附调参侠秘籍！25 赞同 · 1 评论文章正在上传…重新上传取消

OpenMMLab：模型部署入门教程（六）：实现 PyTorch-ONNX 精度对齐工具94 赞同 · 7 评论文章正在上传…重新上传取消

OpenMMLab：OpenMMLab 进阶指南，模型训练测试全流程解析38 赞同 · 3 评论文章正在上传…重新上传取消

OpenMMLab：神奇的 StyleGAN，用 18 支画笔作画的它究竟有多强7 赞同 · 0 评论文章正在上传…重新上传取消

OpenMMLab：经典网络结构搜索算法 SPOS，快速完成模型压缩23 赞同 · 2 评论文章正在上传…重新上传取消

OpenMMLab：PyTorch1.12 亮点一览 | DataPipe + TorchArrow 新的数据加载与处理范式34 赞同 · 5 评论文章正在上传…重新上传取消

OpenMMLab：【3D 目标检测模型部署】全链条打通！PointPillars 从模型到部署55 赞同 · 7 评论文章正在上传…重新上传取消

看了这么多，这个 7 月你最 pick 我们的哪项更新，最喜欢我们的哪期分享？快在评论区告诉我们吧~

https://github.com/open-mmlab​github.com/open-mmlab