• C/C++开发，opencv-ml库学习，随机森林（RTrees）应用

    目录

    一、随机森林算法

    1.1 算法简介

    1.2 OpenCV-随机森林（Random Forest）

    二、cv::ml::RTrees应用

    2.2 RTrees应用

    2.2 程序编译

    2.3 main.cpp全代码

    一、随机森林算法

    1.1 算法简介

            随机森林算法是一种集成学习（Ensemble Learning）方法，由多个决策树组成。它结合了决策树的高效性和集成学习的准确性，具有很强的模型泛化能力。

            随机森林算法的原理主要包括两个方面：随机性和集成。

    1. 随机性：体现在样本的随机性和特征的随机性。算法通过引入随机性来构建多个决策树，每个决策树都是基于随机抽样的训练数据和随机选择的特征进行构建的。这种随机性能够有效地减少过拟合的风险，提高模型的泛化能力。
    2. 集成：通过集成多个决策树的预测结果来完成最终的分类或回归任务。通常采用投票的方式进行集成，即多数表决原则。在随机森林中，每棵决策树的构建过程都是相互独立的，这意味着每棵决策树都是在不同的训练数据和特征子集上进行构建的，这种随机性能够有效地降低模型的方差，提高模型的稳定性。
    1.2 OpenCV-随机森林（Random Forest）

            在OpenCV中，随机森林（Random Forest）是一种集成学习方法，通过构建并组合多个决策树来做出预测。OpenCV提供了cv::ml::RTrees类来实现随机森林算法。决策树在使用时仅仅构建一棵树，这样容易出现过拟合现象，可以通过构建多个决策树来避免过拟合现象。当构建多个决策树时，就出现了随机森林。这种方法通过多个决策树的投票来得到在最终的结果。

    1. //创建 RTrees对象
    2.     cv::Ptr rf = cv::ml::RTrees::create();  
    3. RTrees类:
    4.     setMaxDepth()     设置决策树的最大深度 
    5.     setMinSampleCount() 设置叶子节点上的最小样本数
    6.     setRegressionAccuracy() 非必须 回归算法的精度
    7.     setPriors() 非必须 数据类型
    8.     setCalculateVarImportance() 非必须 是否要计算var
    9.     setActiveVarCount() 非必须 设置var的数目
    10.     setTermCriteria() 设置终止条件
    11.     .....

            随机森林通过随机选择特征和样本子集来构建每棵决策树，并将它们的预测结果进行集成。这种方法通常能够降低过拟合的风险，并提高模型的预测性能。

    二、cv::ml::RTrees应用

    2.1 数据集样本准备

      本文为了快速验证使用，采用mnist数据集，参考本专栏博文《C/C++开发，opencv-ml库学习，支持向量机（SVM）应用-CSDN博客》下载MNIST 数据集（手写数字识别），并解压。

            同时参考该博文“2.4 SVM（支持向量机）实时识别应用”的章节资料，利用python代码解压t10k-images.idx3-ubyte出图片数据文件。

    2.2 RTrees应用

            创建了一个 cv::ml::RTrees对象，并设置了训练数据和终止条件。接着，我们调用 train 方法来训练决策树模型。最后，我们使用训练好的模型来预测一个新样本的类别。

    1.    // 3. 设置并训练随机森林模型  
    2.     cv::Ptr rf = cv::ml::RTrees::create();  
    3.     rf->setMaxDepth(30);                    // 设置决策树的最大深度  
    4.     rf->setMinSampleCount(2);             // 设置叶子节点上的最小样本数  
    5.     rf->setTermCriteria(cv::TermCriteria(cv::TermCriteria::EPS + cv::TermCriteria::COUNT, 10, 0.1)); // 设置终止条件  
    6.     rf->train(trainingData, cv::ml::ROW_SAMPLE, labelsMat); 
    7.     ......
    8. 	cv::Mat testResp;
    9. 	float response = rf->predict(testData,testResp); 
    10.     ......
    11.     rf->save("mnist_svm.xml");

         训练及测试过的算法模型，保存输出，然后调用

    1. cv::Ptr rf = cv::ml::StatModel::load("mnist_svm.xml");
    2.  
    3. //预测图片
    4. float ret = rf ->predict(image);
    5. std::cout << "predict val = "<< ret << std::endl;
    2.2 程序编译

            和讲述支持向量机（SVM）应用的博文编译类似，采用opencv+mingw+makefile方式编译：

    1. #/bin/sh
    2. #win32
    3. CX= g++ -DWIN32 
    4. #linux
    5. #CX= g++ -Dlinux 
    6.  
    7. BIN 		:= ./
    8. TARGET      := opencv_ml03.exe
    9. FLAGS		:= -std=c++11 -static
    10. SRCDIR 		:= ./
    11. #INCLUDES
    12. INCLUDEDIR 	:= -I"../../opencv_MinGW/include" -I"./"
    13. #-I"$(SRCDIR)"
    14. staticDir   := ../../opencv_MinGW/x64/mingw/staticlib/
    15. #LIBDIR		:= $(staticDir)/libopencv_world460.a\
    16. #			   $(staticDir)/libade.a \
    17. #			   $(staticDir)/libIlmImf.a \
    18. #			   $(staticDir)/libquirc.a \
    19. #			   $(staticDir)/libzlib.a \
    20. #			   $(wildcard $(staticDir)/liblib*.a) \
    21. #			   -lgdi32 -lComDlg32 -lOleAut32 -lOle32 -luuid 
    22. #opencv_world放弃前，然后是opencv依赖的第三方库，后面的库是MinGW编译工具的库
    23.  
    24. LIBDIR 	    := -L $(staticDir) -lopencv_world460 -lade -lIlmImf -lquirc -lzlib \
    25. 				-llibjpeg-turbo -llibopenjp2 -llibpng -llibprotobuf -llibtiff -llibwebp \
    26. 				-lgdi32 -lComDlg32 -lOleAut32 -lOle32 -luuid 
    27. source		:= $(wildcard $(SRCDIR)/*.cpp) 
    28.  
    29. $(TARGET) :
    30. 	$(CX) $(FLAGS) $(INCLUDEDIR) $(source)  -o $(BIN)/$(TARGET) $(LIBDIR)
    31.  
    32. clean:
    33. 	rm  $(BIN)/$(TARGET)

    make编译，make clean 清除可重新编译。

    运行效果，同样数据样本，相比决策树算法训练结果，其准确率有了较大改善，大家可以尝试调整参数验证：

    2.3 main.cpp全代码

            main.cpp源代码，由于是基于前两篇博文支持向量机（SVM）应用、决策树（DTrees）应用基础上，快速移用实现的，有很多支持向量机（SVM）应用或决策树（DTrees）的痕迹，采用的数据样本也非较合适的，仅仅是为了阐述c++ opencv 随机森林（RTrees）应用说明。

    1. #include   
    2. #include   
    3. #include 
    4. #include   
    5. #include   
    6. #include 
    7. #include 
    8.  
    9. int intReverse(int num)
    10. {
    11. 	return (num>>24|((num&0xFF0000)>>8)|((num&0xFF00)<<8)|((num&0xFF)<<24));
    12. }
    13.  
    14. std::string intToString(int num)
    15. {
    16. 	char buf[32]={0};
    17. 	itoa(num,buf,10);
    18. 	return std::string(buf);
    19. }
    20.  
    21.  
    22. cv::Mat read_mnist_image(const std::string fileName) {
    23. 	int magic_number = 0;
    24. 	int number_of_images = 0;
    25. 	int img_rows = 0;
    26. 	int img_cols = 0;
    27.  
    28. 	cv::Mat DataMat;
    29.  
    30. 	std::ifstream file(fileName, std::ios::binary);
    31. 	if (file.is_open())
    32. 	{
    33. 		std::cout << "open images file: "<< fileName << std::endl;
    34.  
    35. 		file.read((char*)&magic_number, sizeof(magic_number));//format
    36. 		file.read((char*)&number_of_images, sizeof(number_of_images));//images number
    37. 		file.read((char*)&img_rows, sizeof(img_rows));//img rows
    38. 		file.read((char*)&img_cols, sizeof(img_cols));//img cols
    39.  
    40. 		magic_number = intReverse(magic_number);
    41. 		number_of_images = intReverse(number_of_images);
    42. 		img_rows = intReverse(img_rows);
    43. 		img_cols = intReverse(img_cols);
    44. 		std::cout << "format:" << magic_number
    45. 			<< " img num:" << number_of_images
    46. 			<< " img row:" << img_rows
    47. 			<< " img col:" << img_cols << std::endl;
    48.  
    49. 		std::cout << "read img data" << std::endl;
    50.  
    51. 		DataMat = cv::Mat::zeros(number_of_images, img_rows * img_cols, CV_32FC1);
    52. 		unsigned char temp = 0;
    53. 		for (int i = 0; i < number_of_images; i++) {
    54. 			for (int j = 0; j < img_rows * img_cols; j++) {
    55. 				file.read((char*)&temp, sizeof(temp));
    56. 				//svm data is CV_32FC1
    57. 				float pixel_value = float(temp);
    58. 				DataMat.at<float>(i, j) = pixel_value;
    59. 			}
    60. 		}
    61. 		std::cout << "read img data finish!" << std::endl;
    62. 	}
    63. 	file.close();
    64. 	return DataMat;
    65. }
    66.  
    67. cv::Mat read_mnist_label(const std::string fileName) {
    68. 	int magic_number;
    69. 	int number_of_items;
    70.  
    71. 	cv::Mat LabelMat;
    72.  
    73. 	std::ifstream file(fileName, std::ios::binary);
    74. 	if (file.is_open())
    75. 	{
    76. 		std::cout << "open label file: "<< fileName << std::endl;
    77.  
    78. 		file.read((char*)&magic_number, sizeof(magic_number));
    79. 		file.read((char*)&number_of_items, sizeof(number_of_items));
    80. 		magic_number = intReverse(magic_number);
    81. 		number_of_items = intReverse(number_of_items);
    82.  
    83. 		std::cout << "format:" << magic_number << "  ;label_num:" << number_of_items << std::endl;
    84.  
    85. 		std::cout << "read Label data" << std::endl;
    86. 		//data type:CV_32SC1,channel:1
    87. 		LabelMat = cv::Mat::zeros(number_of_items, 1, CV_32SC1);
    88. 		for (int i = 0; i < number_of_items; i++) {
    89. 			unsigned char temp = 0;
    90. 			file.read((char*)&temp, sizeof(temp));
    91. 			LabelMat.at<unsigned int>(i, 0) = (unsigned int)temp;
    92. 		}
    93. 		std::cout << "read label data finish!" << std::endl;
    94.  
    95. 	}
    96. 	file.close();
    97. 	return LabelMat;
    98. }
    99.  
    100. //change path for real paths
    101. std::string trainImgFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\train-images.idx3-ubyte";
    102. std::string trainLabeFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\train-labels.idx1-ubyte";
    103. std::string testImgFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\t10k-images.idx3-ubyte";
    104. std::string testLabeFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\t10k-labels.idx1-ubyte";
    105.  
    106. void train_SVM()
    107. {
    108. 	//read train images, data type CV_32FC1
    109. 	cv::Mat trainingData = read_mnist_image(trainImgFile);
    110. 	//images data normalization
    111. 	trainingData = trainingData/255.0;
    112. 	std::cout << "trainingData.size() = " << trainingData.size() << std::endl;
    113. 	std::cout << "trainingData.type() = " << trainingData.type() << std::endl;  
    114. 	std::cout << "trainingData.rows = " << trainingData.rows << std::endl; 
    115. 	std::cout << "trainingData.cols = " << trainingData.cols << std::endl; 
    116. 	//read train label, data type CV_32SC1
    117. 	cv::Mat labelsMat = read_mnist_label(trainLabeFile);
    118. 	std::cout << "labelsMat.size() = " << labelsMat.size() << std::endl; 
    119. 	std::cout << "labelsMat.type() = " << labelsMat.type() << std::endl;  
    120. 	std::cout << "labelsMat.rows = " << labelsMat.rows << std::endl; 
    121. 	std::cout << "labelsMat.cols = " << labelsMat.cols << std::endl; 
    122.  
    123. 	std::cout << "trainingData & labelsMat finish!" << std::endl;  
    124.  
    125.     // //create SVM model
    126.     // cv::Ptr svm = cv::ml::SVM::create();  
    127. 	// //set svm args,type and KernelTypes
    128.     // svm->setType(cv::ml::SVM::C_SVC);  
    129. 	// svm->setKernel(cv::ml::SVM::POLY);  
    130. 	// //KernelTypes POLY is need set gamma and degree
    131. 	// svm->setGamma(3.0);
    132. 	// svm->setDegree(2.0);
    133. 	// //Set iteration termination conditions, maxCount is importance
    134. 	// svm->setTermCriteria(cv::TermCriteria(cv::TermCriteria::EPS | cv::TermCriteria::COUNT, 1000, 1e-8)); 
    135. 	// std::cout << "create SVM object finish!" << std::endl;  
    136.  
    137. 	// std::cout << "trainingData.rows = " << trainingData.rows << std::endl; 
    138. 	// std::cout << "trainingData.cols = " << trainingData.cols << std::endl; 
    139. 	// std::cout << "trainingData.type() = " << trainingData.type() << std::endl; 
    140.     // // svm model train 
    141.     // svm->train(trainingData, cv::ml::ROW_SAMPLE, labelsMat);  
    142. 	// std::cout << "SVM training finish!" << std::endl; 
    143.  
    144.     // // 创建决策树对象  
    145.     // cv::Ptr dtree = cv::ml::DTrees::create();  
    146.     // dtree->setMaxDepth(30);          // 设置树的最大深度  
    147. 	// dtree->setCVFolds(0);
    148.     // dtree->setMinSampleCount(1);   // 设置分裂内部节点所需的最小样本数 
    149.     // std::cout << "create dtree object finish!" << std::endl;  
    150.     // // 训练决策树--trainingData训练数据,labelsMat训练标签
    151.     // cv::Ptr td = cv::ml::TrainData::create(trainingData, cv::ml::ROW_SAMPLE, labelsMat);  
    152.     // std::cout << "create TrainData object finish!" << std::endl; 
    153.     // if(dtree->train(td))
    154. 	// {
    155. 	// 	std::cout << "dtree training finish!" << std::endl;
    156. 	// }else{
    157. 	// 	std::cout << "dtree training fail!" << std::endl; 
    158. 	// }
    159.   
    160.    // 3. 设置并训练随机森林模型  
    161.     cv::Ptr rf = cv::ml::RTrees::create();  
    162.     rf->setMaxDepth(30);                    // 设置决策树的最大深度  
    163.     rf->setMinSampleCount(2);             // 设置叶子节点上的最小样本数  
    164.     rf->setTermCriteria(cv::TermCriteria(cv::TermCriteria::EPS + cv::TermCriteria::COUNT, 10, 0.1)); // 设置终止条件  
    165.     rf->train(trainingData, cv::ml::ROW_SAMPLE, labelsMat);  
    166.  
    167.     // svm model test  
    168. 	cv::Mat testData = read_mnist_image(testImgFile);
    169. 	//images data normalization
    170. 	testData = testData/255.0;
    171. 	std::cout << "testData.rows = " << testData.rows << std::endl; 
    172. 	std::cout << "testData.cols = " << testData.cols << std::endl; 
    173. 	std::cout << "testData.type() = " << testData.type() << std::endl; 
    174. 	//read test label, data type CV_32SC1
    175. 	cv::Mat testlabel = read_mnist_label(testLabeFile);
    176. 	cv::Mat testResp;
    177. 	// float response = svm->predict(testData,testResp); 
    178.     // float response = dtree->predict(testData,testResp); 
    179. 	float response = rf->predict(testData,testResp); 
    180. 	// std::cout << "response = " << response << std::endl; 
    181. 	testResp.convertTo(testResp,CV_32SC1);
    182. 	int map_num = 0;
    183. 	for (int i = 0; i 
    184. 	{
    185. 		if (testResp.at<int>(i, 0) == testlabel.at<int>(i, 0))
    186. 		{
    187. 			map_num++;
    188. 		}
    189. 		// else{
    190. 		// 	std::cout << "testResp.at(i, 0) " << testResp.at(i, 0) << std::endl;
    191. 		// 	std::cout << "testlabel.at(i, 0) " << testlabel.at(i, 0) << std::endl;
    192. 		// }
    193. 	}
    194. 	float proportion  = float(map_num) / float(testResp.rows);
    195. 	std::cout << "map rate: " << proportion * 100 << "%" << std::endl;
    196. 	std::cout << "SVM testing finish!" << std::endl; 
    197. 	//save svm model
    198. 	// svm->save("mnist_svm.xml");
    199.     // dtree->save("mnist_svm.xml");
    200. 	rf->save("mnist_svm.xml");
    201. }
    202.  
    203. void prediction(const std::string fileName,cv::Ptr dtree)
    204. // void prediction(const std::string fileName,cv::Ptr svm)
    205. {
    206. 	//read img 28*28 size
    207. 	cv::Mat image = cv::imread(fileName, cv::IMREAD_GRAYSCALE);
    208. 	//uchar->float32
    209. 	image.convertTo(image, CV_32F);
    210. 	//image data normalization
    211. 	image = image / 255.0;
    212. 	//28*28 -> 1*784
    213. 	image = image.reshape(1, 1);
    214.  
    215. 	//预测图片
    216. 	float ret = dtree->predict(image);
    217. 	std::cout << "predict val = "<< ret << std::endl;
    218. }
    219.  
    220. std::string imgDir = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\t10k-images\\";
    221. std::string ImgFiles[5] = {"image_0.png","image_10.png","image_20.png","image_30.png","image_40.png",};
    222. void predictimgs()
    223. {
    224. 	//load svm model
    225. 	// cv::Ptr svm = cv::ml::StatModel::load("mnist_svm.xml");
    226.     //load DTrees model
    227.     // cv::Ptr dtree = cv::ml::StatModel::load("mnist_svm.xml");
    228. 	cv::Ptr rf = cv::ml::StatModel::load("mnist_svm.xml");
    229. 	for (size_t i = 0; i < 5; i++)
    230. 	{
    231. 		prediction(imgDir+ImgFiles[i],rf);
    232. 	}
    233. }
    234.  
    235. int main()  
    236. {  
    237. 	train_SVM();
    238. 	predictimgs();	
    239.     return 0;  
    240. }

  • 相关阅读:
    【redis】7.6 安装与配置Redis - （docker-compose）
    java计算机毕业设计网络课程答疑系统MyBatis+系统+LW文档+源码+调试部署
    YOLOv5实操——检测是否戴口罩
    怎样查看kafka写数据送到topic是否成功
    Springboot集成redis和mybatis-plus及websocket异常框架代码封装
    【入门-08】系统控制单元（SCU）
    Mysql进阶学习（三）排序查询与常见函数
    C#多维数组的属性获取方法及操作注意
    pytorch-构建卷积神经网络
    Cesium渲染模块之VAO
  • 原文地址：https://blog.csdn.net/py8105/article/details/138200564