系列文章目录

【模型部署】人脸检测模型DBFace C++ ONNXRuntime推理部署（0）
【模型部署】人脸检测模型DBFace C++ ONNXRuntime推理部署（1）待完成…

待续…

---

1 背景

目前，随着应用场景不断丰富、算法部署技术成熟、计算平台算力增长，深度学习模型工程落地需求巨大，模型的端侧部署很有必要。

DBFace官方给出了Pytorch训练以及NCNN移动端部署的代码，所以我在此基础上使用ONNXRuntime （ORT）推理引擎进行部署。

1.1 ONNXRuntime简介

ONNX Runtime是一个开源项目，旨在跨广泛的框架、操作系统和硬件平台加速机器学习。它可以使用一组API加速跨所有部署目标的机器学习推断。ONNX Runtime会自动解析您的模型，以确定优化方式，并提供对可用最佳硬件加速的访问。它适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎。ONNX Runtime在设计上是轻量级和模块化的，CPU的构建只有几M字节。可扩展架构、优化硬件加速器，降低计算延时，提升计算效率。

ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, MXNet）可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软，亚马逊 ，Facebook 和 IBM 等公司共同开发，以开放源代码的方式托管在Github上。目前官方支持加载ONNX模型并进行推理的深度学习框架有： Caffe2, PyTorch, MXNet，ML.NET，TensorRT 和 Microsoft CNTK，并且 TensorFlow 也非官方的支持ONNX。

1.2 DBFace介绍

DBFace模型出自国内人工智能公司深兰科技（DeepBlue）下属深兰科学院算法研究所 。DBFace的初衷是设计成一款轻量级的人脸检测器，能够在边缘计算上有效的使用，而疫情时期的特殊需求，也使得对于hard类（例如戴上口罩）人脸检测势在必行。因为CenterNet具有后处理的简洁高效性，以及对小目标友好等特点，在综合性能和速度的考虑下，我们选择了CenterNet结构做检测任务，采用MoblienetV3做Backbone。相较于MobilenetV2，MobilenetV3在其基础上新增了 SE 、Hard-Swish Activation等模块，在兼顾Infernce速度的同时提升网络性能 。官方文档说明：https://github.com/dlunion/DBFace。

2 模型部署基本流程

1、使用某种深度学习框架训练模型，目前pytorch支持的算子更多一些，所以一般建议用pytorch训练模型，省得自己手捏算子。
2、导出模型为中间表示，pytorch有torch.onnx.export()直接转为ONNX，其本身也有TorchScript表示形式。
3、用ORT载入onnx模型并推理。ORT提供了多种语言接口，如python、java、C++。本系列博客将介绍用python和C++ API进行推理的基本操作。

3 推理结果

3.1 可视化检测结果

3.2 推理时间

不同尺度输入图像推理时间比较：

参考

1. ONNXRuntime官方网站及文档：https://onnxruntime.ai/
2. DBFace官方开源代码：https://github.com/dlunion/DBFace
3. 模型部署入门教程：https://zhuanlan.zhihu.com/p/477743341