需求

人脸检测以后，有了检测框，需要将眼睛扶正，并裁剪，然后resize成需要的大小。
人脸检测结果如下：

其中蓝色是检测框，内部的红色框是我根据长宽扩展的正方形，绿色框是根据眼睛倾斜角度计算的正方形区域，我需要的就是这个区域。为了得到绿色方框的区域。
最初的方法：

1. 计算绿色方框的外接矩形，也就是外侧的红色方框；
2. 将外侧的红色方框区域裁剪下来；
3. 根据眼睛倾角以方框中心进行旋转；
4. 裁剪内部绿色的区域，得到最终的结果；

可以看到上述方法包含两次裁剪和一次旋转。这不是一个好的方案。经过搜索，我了解到opencv里还有透视变换函数cv::warpPerspective， 可以用一个函数替代上述一连串操作，而且速度还快（我是在arm上做的测试）。

透视变换

下图左侧是仿射变换，右侧是透视变换。仿射变换只能做通过旋转，resize、和两条边的倾斜做变换。而透视变换模仿了人眼透视原理，可以调节每个边的远近。仿射变换是通过2x3矩阵进行的变换，透视变换是用3x3矩阵进行的变换。

我的目标就是使用透视变换，替代“裁剪+旋转+resize”这一系列操作。（仿射变换应该也能做到，因为我的操作都是在二维内，但是我还没试）

cv::warpPerspective

透视变换的函数是cv::warpPerspective。
调用原理就是先计算一个3x3的变换矩阵，然后进行变换。
计算变换矩阵的时候，需要的是源图像上的坐标和目标图像上的坐标。srcTri[]数组内我填的就是上图绿色方框的四个点的坐标，坐标顺序：“左上，右上，右下，左下”。out_img我已提前设置了大小，所以dstTri就是out_img四个点的坐标。

//透视变换
int face_PerspectiveTransform(const  cv::Mat &src_img, int incline_bbox[8], cv::Mat &out_img)
{
    cv::Point2f srcTri[4];
    // CvMat*       warp_mat = cvCreateMat (3, 3, CV_32FC1);

    //坐标顺序：左上，右上，右下，左下
    for (int i = 0; i < 4; i++)
    {
        srcTri[i].x = incline_bbox[i * 2];
        srcTri[i].y = incline_bbox[i * 2 + 1];
    }

    auto w = out_img.cols;
    auto h = out_img.rows;

    cv::Point2f dstTri[4] = {{0, 0}, {w, 0}, {0, h}, {w, h}};

    cv::Mat M = cv::getPerspectiveTransform(srcTri, dstTri);

    cv::warpPerspective(src_img, out_img, M, out_img.size());

    return 0;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

效果

参考资料

Cropping Rotated Rectangles from Image with OpenCV（python）

Robustly crop rotated bounding box on photos（python）

OpenCV代码提取：warpPerspective函数的实现(c++)

opencv官方的例子：https://docs.opencv.org/3.4/de/dd4/samples_2cpp_2warpPerspective_demo_8cpp-example.html#a26