安卓手机部署分割模型

1. 模型来自：https://github.com/PaddlePaddle/PaddleSeg/blob/release/2.6/contrib/PP-HumanSeg/README_cn.md中的 PP-HumanSegV2-Lite。
2. 部署到手机上用的是MNN。
3. 安卓手机。

本文工程地址

先看结果

高亮的就是分割的人像结果

流程

1. 若要自己转模型，请自行安装https://github.com/PaddlePaddle/PaddleSeg，(本文代码提供了onnx模型和mnn模型)。具体流程如下：

• 在https://github.com/PaddlePaddle/PaddleSeg/blob/release/2.6/contrib/PP-HumanSeg/README_cn.md中下载以下权重。
• model.pdparams是训练时的动态图，部署的时候需要转换成静态图，转换步骤如下：模型的权重的路径写在配置文件中。会自动在output目录下生成四个文件（静态图）。然后用下述指令生成静态图。
• PaddleSeg/contrib/PP-HumanSeg$ python ../../export.py --config configs/human_pp_humansegv2_lite.yml --input_shape 1 3 192 192
• 转onnx，需要安装paddle2onnx
• paddle2onnx --model_dir ./output --model_filename model.pdmodel --params_filename model.pdiparams --save_file ./model.onnx --opset_version 11
• 到此可得到onnx模型。
  

2. C++ MNN部署，这一步就简单过一下。通过MNNConvert把onnx转成MNN模型。本文首先把得到的图像送给网络得到结果，然后结果乘以输入图像得到输出。
3. 部署到安卓上时，得到的结果是cv::mat数据类型，需要把它转换成Bitmap。代码在jni_inferface.cpp中，具体如下:

    cv::Mat result = HumanSegment::detector->Inference(srcMatImg); // 获得结果，转换为java对应的类型，传给mainactivity使用

    AndroidBitmapInfo info; //保存图像参数
    void *pixels = 0;       //保存图像数据
    cv::Mat &src = result;

    CV_Assert(AndroidBitmap_getInfo(env, bitmap, &info) >= 0);
    CV_Assert(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888 ||
              info.format == ANDROID_BITMAP_FORMAT_RGB_565);
    CV_Assert(src.dims == 2 && info.height == (uint32_t) src.rows &&
              info.width == (uint32_t) src.cols);
    CV_Assert(src.type() == CV_8UC1 || src.type() == CV_8UC3 || src.type() == CV_8UC4);
    CV_Assert(AndroidBitmap_lockPixels(env, bitmap, &pixels) >= 0);
    CV_Assert(pixels);

    cv::Mat tmp(info.height, info.width, CV_8UC4, pixels);
    cv::cvtColor(result, tmp, cv::COLOR_RGB2BGRA);
    AndroidBitmap_unlockPixels(env, bitmap);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

4. 结果，在小米9，晓龙855上测试。基本可以达到实时，大约18fps。

最后，本博客对您有用的话，点个赞哦，^_