一 采集数据并制作正负样本数据集

1.1 录制视频

 1.2 将单个视频截取为指定分辨率的图像

1.3 处理负样本视频

1.4 本次训练正负样本数量选择与图片重编号

二 利用matlab制作制作正样本标注框文件

三 开始训练opencv级联分类器

3.1 生成正样本文件pos.txt

3.1.1 对label.txt进行处理,

3.1.2 生成暂时性的pos.txt即pos_tmp.txt

3.1.3 合并pos_tmp.txt和label.txt，得到pos.txt

3.1.4 手动将pos.txt中小数改为整数

3.2 生成负样本文件neg.txt 

 3.3 生成样本文件

 四 测试级联分类器及调参

4.1 pub_image功能包

4.2 利用级联分类器检测车辆

4.3 编译运行

4.4 github仓

---

@meng

一 采集数据并制作正负样本数据集

1.1 录制视频

        录制的视频如下，包括正样本视频（车辆）、负样本视频（不包含车辆）。

        利用自己手机或者相机等录制视频有一个好处是—原始的图像分辨率一致（视频的分辨率均为1920*1080），比从网上或一些数据集上找的数据要好一些（可能数据量不够全面，但简单学习应该是够用）

1.2 将单个视频截取为指定分辨率的图像

        这里选择导出为分辨率640*360（原始分辨率1920*1080各缩小3倍）

        用PotPlayer视频软件打开一个视频；将视频暂停，并将时间拖到视频开头

依次点击：PotPlayer—视频—图像截取—连续截图

这里根据需要配置如下，注意箭头所指的地方，自己熟悉后可以根据需要进行更改；配置完成后，点击“开始”（此页面不要关闭!!!!!!!!）

 

直接点击播放，即可在指定的路径下生成当前视频的指定分辨率的图片

对其他正样本视频进行类似处理就好；总共得到293个正样本图片 

1.3 处理负样本视频

        为了保证负样本是正样本的3倍-5倍，需要截取比正样本多的图片，这里截取了1357个负样本图片

        （这里就不放图了）

1.4 本次训练正负样本数量选择与图片重编号

        注：图像重编号不是必要的，但是重编号后能够保证后面matlab生成的标注框顺序与图片顺序在各种排序（win10、ubuntu）下能够比较容易保持一致

        从选择100张，负样本中选择300张；分别重新编号为pos-00001。。。pos-00100,放到pos文件夹下，neg-00001。。。neg-00300，放到neg文件夹下        

        这里提供一种方法：使用ubuntu系统进行的重编号：图片目录下，依次全选、右键重命名、输入pos_00或输入neg_00，点击＋号并选择”001,002,003,004”

二 利用matlab制作制作正样本标注框文件

        打开matlab，依次APP--图像处理和计算机视觉--Image Labeler；会弹出Image Labeler窗口，效果如下：

Image Labeler窗口内，点击Load—Add image from folder，到达正样本文件夹时，CTRL+A选中全部图片即可，如下：

创建car标签

创建car标签后，会自动选中car标签（如果创建多个标签，需要先选中指定标签）；然后将鼠标在图片中框选出car区域，即可完成一张图片的标注

标注完所有图片后，选择导出到文件；

同时也选择导出到工作空间

查看导出到工作空间的变量内容： 

依次查看左边上下上下两个箭头所指的源图片目录和标签内容，可以看出导入到image labeler的图片是按照名称序号排序的；说明得到的标注框（下图右图）也是按照图片名称顺序排序的

 将标签内容另存为一个txt文件，取名为label.txt

三 开始训练opencv级联分类器

        注：下面使用ubuntu系统进行操作，win10下面操作是类似的

        下面这张图片是这节最终得到的文件目录，下面操作中有不清楚的可以看这张图片

3.1 生成正样本文件pos.txt

        将文件夹名称分别取为pos(车辆),neg(非车辆)--前面改了这里就不用改了，并将两个文件夹里面非图片内容删除；将matlab生成的标签文件label.txt拿到外边来

3.1.1 对label.txt进行处理,

修改前如下：

 用空格代替“，”

#在当前目录，打开终端，输入：
sed -i 's/,/ /g' label.txt

去除每行的第一个字符：

sed -i 's/^.//' label.txt

去除右方框号

sed -i 's/]//' label.txt  

修改后结果如下：

3.1.2 生成暂时性的pos.txt即pos_tmp.txt

#在当前目录下，打开终端，输入：
ls pos/*.*>pos_tmp.txt

在每行末尾加上“ 1 ”（空格1空格）

sed -i 's/$/ 1 /g' pos_tmp.txt

 

3.1.3 合并pos_tmp.txt和label.txt，得到pos.txt

运行逐行合并脚本：

python imerge2oneline.py

imerge2oneline.py:

# -*- coding:UTF-8 -*-
'''
https://zhidao.baidu.com/question/437546324704569644.html
先将两个文件分别读取到两个列表中，再用循环输出到第3个文件。
'''
f_ = open('pos_tmp.txt','r')
n=0
list1=[]
for i in f_.readlines():
    n+=1
    s=i.strip()
    list1.append(s)
f_.close()
print list1
 
ff_ = open('label.txt','r')
m=0
list2=[]
for i in ff_.readlines():
    m+=1
    s=i.strip()
    list2.append(s)
ff_.close()
print list2
 
fff_=open('pos.txt','w')
for i in range(n):
    s=list1[i]+' '+list2[i]
    fff_.write(s+'\n')
    print(s)
fff_.close()   

3.1.4 手动将pos.txt中小数改为整数

修改原则为尽可能接近标注框或者略微大于标注框；这里修改得有些随意。。。

改前：

改后：

3.2 生成负样本文件neg.txt 

ls neg/*.*>neg.txt

 3.3 生成样本文件

        将opencv目录下的可执行文件复制到当前目录来：

                opencv_createsamples文件

                opencv_traincascade文件

（注：对应win10为opencv_createsamples.exe文件、opencv_traincascade.exe文件;  ubuntu系统如果安装了opencv，可以在计算机根目录“/”或者opencv源码编译目录下面搜索文件名，即可找到，复制到当前目录即可；这里opencv2.4.13、opencv3.2测试过，opencv4.x应该也可以执行下面的操作）

       生成样本文件：

(正样本的分辨率为640*360，这里观察多张正样本图片中车辆大小，大概是1/3的长和宽，这里640/3余不尽，还没有测试1/4，这里选择了1/5）

./opencv_createsamples -vec pos.vec -info pos.txt -bg neg.txt -w 128 -h 72

meng@meng:~/ivrc/opencv_adaboost/mooc0525$ ./opencv_createsamples -vec pos.vec -info pos.txt -bg neg.txt -w 128 -h 72
Info file name: pos.txt
Img file name: (NULL)
Vec file name: pos.vec
BG  file name: neg.txt
Num: 1000
BG color: 0
BG threshold: 80
Invert: FALSE
Max intensity deviation: 40
Max x angle: 1.1
Max y angle: 1.1
Max z angle: 0.5
Show samples: FALSE
Width: 128
Height: 72
Max Scale: -1
Create training samples from images collection...
pos.txt(101) : parse errorDone. Created 100 samples

创建data文件夹

训练得到级联分类器文件

opencv_traincascade -data data -vec pos.vec -bg neg.txt -numPos 100 -numNeg 300 -numStages 10 -featureType LBP -w 128 -h 72 -minHitRate 0.995 -maxFalseAlarmRate 0.3

 训练得到的级联分类器文件如下：

 四 测试级联分类器及调参

        下面使用两个功能包进行测试，一个是将图片发布为话题，另一个是利用级联分类器进行检测

4.1 pub_image功能包

         主要代码如下：/camera_ws/src/pub_image/src/imwrite_1.cpp

#include <ros/ros.h>
#include <opencv2/opencv.hpp>
#include "opencv2/highgui.hpp"
#include "opencv2/core.hpp"
#include "opencv2/imgproc.hpp"
#include <image_transport/image_transport.h> //C++标准输入输出库
#include <opencv2/highgui/highgui.hpp> //opencv2标准头文件
#include <cv_bridge/cv_bridge.h> //cv_bridge中包含CvBridge库
#include <iostream>
 
using namespace std;
 
int main(int argc, char** argv)
{
	ros::init(argc, argv, "image_publisher");
    ros::NodeHandle nh;
    image_transport::ImageTransport it(nh);
    image_transport::Publisher pub = it.advertise("/usb_cam/image_raw", 1);
 
	cv::Mat srcImage;
	//加载图像
	srcImage = cv::imread("/home/meng/ivrc/opencv_adaboost/camera_ws/src/pub_image/src/pos_030.png",1);
	//std::cout << " rows " <<"\t"<<srcImage.rows << std::endl;
	//std::cout << " cols " <<"\t"<<srcImage.cols << std::endl;
	if (srcImage.empty())
	{
		std::cout << "load image fail!" << std::endl;
		return -1;
	}
 
 
	sensor_msgs::ImagePtr msg = cv_bridge::CvImage(std_msgs::Header(), "bgr8", srcImage).toImageMsg();
     
    ros::Rate loop_rate(5);
    while (nh.ok()) {
        pub.publish(msg);
        ros::spinOnce();
        loop_rate.sleep();
    }
    	//cv::namedWindow("src window", CV_WINDOW_NORMAL);
		//cv::imshow("src window", srcImage);
		//保存图像到当前项目
		//cv::imwrite("save.jpg", srcImage);
    	//cv::namedWindow("save window", CV_WINDOW_NORMAL);
		//cv::imshow("save window", srcImage);
		//cv::waitKey(0);
		//销毁所有窗口
		//cv::destroyAllWindows();
	return 0;
}

4.2 利用级联分类器检测车辆

主要文件为：/camera_ws/src/opencv_detect/scripts/book_detect.py

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import rospy
import cv2
# from std_msgs.msg import String
from sensor_msgs.msg import Image
from cv_bridge import CvBridge
 
def callback(imgmsg):
    bridge=CvBridge()
    img=bridge.imgmsg_to_cv2(imgmsg,"bgr8")
    cv2.namedWindow("callback",cv2.WINDOW_NORMAL)
    cv2.imshow("callback",img)
    detect_book(img)
    cv2.waitKey(10)
 
 
def detect_book(img_detect):
    cascade_tidy=cv2.CascadeClassifier("/home/meng/ivrc/opencv_adaboost/mooc0525/data/cascade.xml")
    cv2.namedWindow("camera",cv2.WINDOW_NORMAL)
    gray=cv2.cvtColor(img_detect,cv2.COLOR_BGR2GRAY)
    tidys=cascade_tidy.detectMultiScale(gray,1.25, 50)  #这两个参数“1.25、50”可以调整
#     参数3：scaleFactor–表示在前后两次相继的扫描中，搜索窗口的比例系数。默认为1.1即每次搜索窗口依次扩大10%;
# 参数4：minNeighbors–表示构成检测目标的相邻矩形的最小个数(默认为3个)。
    for (x,y,w,h) in tidys:
        cv2.rectangle(img_detect,(x,y),(x+w,y+h),(0,255,0),2)
    cv2.imshow("camera",img_detect)
    cv2.waitKey(10)
 
 
def listener():
    rospy.init_node('book_detect',anonymous=True)
    rospy.Subscriber('/usb_cam/image_raw',Image,callback)
    rospy.spin()
 
if __name__=='__main__':
    listener()
 
 

4.3 编译运行

开启roscore：

roscore

另开一个终端：

catkin_make
source devel/setup.bash
rosrun pub_image pub_image_node

再另开一个终端：

source devel/setup.bash
rosrun opencv_detect book_detect.py

 检测效果如下：

4.4 github仓

        自己发的第一个github，欢迎学习交流

GitHub - menghxz/opencv-cascade-classifier-test