Baumer工业相机堡盟工业相机如何联合GAPI SDK和OpenCV实现相机图像将图像转换为Mat格式再转为Bitmap图像进行显示（C++）

​

Baumer工业相机

Baumer工业相机堡盟相机是一种高性能、高质量的工业相机，可用于各种应用场景，如物体检测、计数和识别、运动分析和图像处理。

Baumer的万兆网相机拥有出色的图像处理性能，可以实时传输高分辨率图像。此外，该相机还具有快速数据传输、低功耗、易于集成以及高度可扩展性等特点。
​
Baumer工业相机NEOAPI SDK是用于Baumer工业相机的一款最新的软件开发工具包（SDK）。它为开发人员提供了一系列API和工具，用于与Baumer工业相机进行通信和控制，控制方式极为便捷类似Halcon的相机助手类控制方式。​

在使用工业视觉软件集成工业相机时，常常需要将工业相机SDK中一些功能整合到图像处理软件中，方便项目的推进使用；比如将SDK中采集的图像数据转换为适合图像格式如Bitmap等或者Opencv的Mat图像数据格式，再进行图像处理从而开启图像处理任务；

注意：本文是基于Baumer的NEOAPI SDK的基础上联合OpenCV使用C++语言来实现相机图像将图像转换为Mat图像格式再转为Bitmap图像进行显示。

Baumer工业相机的图像转换为OpenCV的Mat图像的技术背景

工业相机的图像转换为OpenCV的Mat图像涉及到图像数据的采集、处理和存储方式。以下是这一技术背景：

1. 图像采集：工业相机使用图像传感器采集现实世界的光学信息，并将其转换为数字图像数据。这些数据可以是灰度图像（单通道）或彩色图像（多通道）。

2. 数据格式：工业相机的图像数据可以以不同的格式进行存储，如RAW、RGB、YUV等。这些格式反映了像素值的排列方式以及颜色信息的表示形式。

3. OpenCV库：OpenCV是一个开源的计算机视觉库，广泛用于处理图像和视频数据。它提供了丰富的函数和工具，可以用于加载、处理和存储图像数据。

4. Mat对象：在OpenCV中，图像数据通常表示为Mat对象，Mat对象包含了图像的像素值以及相关的元数据，如图像大小、通道数等。

5. 数据转换：将工业相机的图像数据转换为OpenCV的Mat图像通常涉及到数据格式的解析和转换，确保图像数据能够正确地加载和处理。这可能需要考虑到图像的通道数、位深度、颜色空间等方面的转换和处理。

因此，将工业相机的图像数据转换为OpenCV的Mat图像需要理解工业相机图像数据的格式和特性，并使用OpenCV提供的函数和工具进行适当的数据解析和转换。

代码分析

本文介绍使用BGAPI SDK对Baumer的JPEG工业相机进行开发时，使用通过BGAPI SDK和OpenCV进行图像转换的功能

第一步：先引用对应的OpenCV的DLL文件

C++环境下引用opencv_world341.dll作为图像处理库代码如下所示：

#pragma comment(lib, "opencv_world341.lib")
#pragma comment(lib, "opencv_world341d.lib")
1
2

第二步：在回调函数里进行Buffer图像转换为OpenCV图像再转为Bitmap图像

后续进行图像转换为OpenCV库的Mat图像的核心代码，如下所示：

void BGAPI2CALL BufferHandler( void * callBackOwner, Buffer * pBufferFilled )
{
	CGigeDemoDlg* pDlg = (CGigeDemoDlg*)callBackOwner;
	unsigned char* imagebuffer = NULL;
	USES_CONVERSION;
	try
	{
		if(pBufferFilled == NULL)
		{

		}
		else if(pBufferFilled->GetIsIncomplete() == true)
		{
			// queue buffer again
			pBufferFilled->QueueBuffer();
		}
		else
		{
			//std::cout << " Image " << std::setw(5) << pBufferFilled->GetFrameID() << " received in memory address " << pBufferFilled->GetMemPtr() << std::endl;
			int width = 0, height = 0;
			width = (int)pBufferFilled->GetWidth();
			height = (int)pBufferFilled->GetHeight();


		
			//	将相机内图像数据转换为MAT格式
			cv::Mat* imgbuf2 = new cv::Mat((int)pBufferFilled->GetHeight(),(int)pBufferFilled->GetWidth(),CV_8UC1,(char *)pBufferFilled->GetMemPtr());
			cv::Mat imOriginal2 = cv::imdecode(*imgbuf2, CV_LOAD_IMAGE_GRAYSCALE);

			//	Mat格式图像保存测试
			CTime time = CTime::GetCurrentTime(); 
			CString strtime;			strtime.Format(_T("\\%4d%2d%2d%2d%2d%2d"),time.GetYear(),time.GetMonth(),time.GetDay(),time.GetHour(),time.GetMinute(),time.GetSecond());
			
			#pragma region//通过获取的Mat图片进行保存
			CString strpath2 =_T("C:\\Users\\BAUMER\\Desktop\\")+strtime+"Mat.jpg";
			cv::String cvstrpath = W2A(strpath2);
			cv::imwrite(cvstrpath,*imgbuf2);
			cv::imwrite(cvstrpath,imOriginal);
			#pragma endregion

			// 定义多个Mat格式图像，用于OPENCV函数操作
			cv::Mat panorama1;
			cv::Mat panorama2;
			cv::Mat panoramaResult;	
			cv::Mat* Matgray1;cv::Mat* Matgray2;
			cv::Mat* Matgray3;cv::Mat* Matgray4;

			// 定义四个MAT图像，并以2x2的方式将图像拼接起来
			Matgray1 = new cv::Mat((int)pBufferFilled->GetHeight(),(int)pBufferFilled->GetWidth(),CV_8UC1,(char *)pBufferFilled->GetMemPtr());
			Matgray2 = new cv::Mat((int)pBufferFilled->GetHeight(),(int)pBufferFilled->GetWidth(),CV_8UC1,(char *)pBufferFilled->GetMemPtr());
			Matgray3 = new cv::Mat((int)pBufferFilled->GetHeight(),(int)pBufferFilled->GetWidth(),CV_8UC1,(char *)pBufferFilled->GetMemPtr());
			Matgray4 = new cv::Mat((int)pBufferFilled->GetHeight(),(int)pBufferFilled->GetWidth(),CV_8UC1,(char *)pBufferFilled->GetMemPtr());
			
			// 使用Opencv的函数将图像拼接起来
			cv::vconcat(*Matgray1, *Matgray2, panorama1);
			cv::vconcat(*Matgray3, *Matgray4, panorama2);			
			cv::hconcat(panorama1, panorama2, panoramaResult);


			// 重新确认转换图像后的长宽，再转换为Bitmap图像
			int imageWidth = panoramaResult.cols;
			int imageHeight = panoramaResult.rows;
			width = imageWidth;height = imageHeight;


			// 将拼接后的图像转换为Bitmap在PictureBox显示出来
			Gdiplus::Rect rc = Gdiplus::Rect(0,0,width,height);
			if(pDlg->m_pBitmap == NULL)
			{
				pDlg->m_pBitmap = new Gdiplus::Bitmap(width,height,PixelFormat8bppIndexed);
			}
			Gdiplus::BitmapData lockedbits;
			Gdiplus::ColorPalette * pal = (Gdiplus::ColorPalette*)new BYTE[sizeof(Gdiplus::ColorPalette)+255*sizeof(Gdiplus::ARGB)];
			pal->Count=256;
			for(UINT i=0;i<256;i++)
			{
				UINT color=i*65536+i*256+i;
				color= color|0xFF000000;
				pal->Entries[i]=color;
			}
			pDlg->m_pBitmap->SetPalette(pal);
			Gdiplus::Status ret = pDlg->m_pBitmap->LockBits(&rc,Gdiplus::ImageLockModeWrite,PixelFormat8bppIndexed,&lockedbits);
			BYTE* pixels = (BYTE*)lockedbits.Scan0;
			BYTE* src = panoramaResult.data;
			for (int row = 0; row < height; ++row) 
			{
				CopyMemory(pixels, src, lockedbits.Stride);
				pixels += width;
				src += width;
			}
			pDlg->m_pBitmap->UnlockBits(&lockedbits);

			HDC hDC = ::GetDC(pDlg->m_stcPicture.m_hWnd);

			Gdiplus::Graphics GdiplusDC(hDC);

			CRect rcControl;
			pDlg->m_stcPicture.GetWindowRect(&rcControl);
			Gdiplus::Rect rtImage(0,0,rcControl.Width(),rcControl.Height());
			GdiplusDC.DrawImage(pDlg->m_pBitmap,rtImage,0,0,width,height, Gdiplus::UnitPixel);

			delete []pal;

			::ReleaseDC(pDlg->m_stcPicture.m_hWnd,hDC);

			delete pDlg->m_pBitmap ;
			pDlg->m_pBitmap =NULL;

			// queue buffer again
			pBufferFilled->QueueBuffer();
		}
	}
	catch (BGAPI2::Exceptions::IException& ex)
	{
		CString str;
		str.Format(_T("ExceptionType:%s! ErrorDescription:%s in function:%s"),ex.GetType(),ex.GetErrorDescription(),ex.GetFunctionName());
		//MessageBox(str);
	}
	//return;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120

联合OpenCV实现相机图像转换为Mat图像再转换为Bitmap测试演示图

测试使用OPENCV实现图像转换为Mat图像格式拼接为2x2后再转换为Bitmap图像进行显示如下所示：

工业相机通过OpenCV实现相机图像转换为Mat图像格式的优势

工业相机通过OpenCV实现相机图像转换为Mat图像格式具有多个优势：

1. 数据处理方便：OpenCV提供了丰富的函数和方法，可以方便地加载、处理和保存图像数据，使用Mat对象能够轻松地进行各种图像处理操作，如滤波、旋转、裁剪等。

2. 跨平台性：OpenCV是一个跨平台的计算机视觉库，能够在多种操作系统上运行，包括Windows、Linux、Mac等，这意味着工业相机可以与不同平台上的OpenCV库进行集成，实现更广泛的应用。

3. 功能丰富：OpenCV提供了丰富的图像处理和计算机视觉功能，包括特征检测、目标跟踪、三维重建等，工业相机转换为Mat图像格式后，可以直接利用OpenCV的这些功能进行更加复杂的图像处理和分析。

4. 社区支持：OpenCV拥有庞大的开发者社区和丰富的文档资源，工业相机开发人员可以从社区中获得支持和解决问题，且能够充分利用社区贡献的相关功能模块。

5. 效率高：通过OpenCV实现相机图像转换为Mat图像格式可以实现高效的图像处理和数据存储，使得工业相机的应用具有更高的性能和响应速度。

综上所述，工业相机通过OpenCV实现相机图像转换为Mat图像格式具有便捷的数据处理、跨平台性、丰富的功能、社区支持和更高的效率等多方面的优势。

工业相机通过OpenCV实现相机图像转换为Mat图像格式的行业应用

工业相机通过OpenCV实现相机图像转换为Mat图像格式的行业应用包括但不限于：

1. 制造业：工业相机通过OpenCV可以用于制造业中的产品质量检测、零部件尺寸测量、缺陷检测等应用。将相机图像转换为Mat图像格式后，可以利用OpenCV的丰富功能进行图像分析和质量控制。

2. 医疗行业：在医疗行业，工业相机与OpenCV结合可以用于医学影像的分析和诊断，如X射线图像处理、医学超声图像处理等，有助于提高医学影像数据的分析和诊断效率。

3. 农业领域：工业相机通过OpenCV实现的图像转换可应用于农业领域的作物生长监测、果蔬质量检测、病虫害检测等领域。OpenCV的图像处理功能可以帮助农业领域实现高效的数据采集和分析。

4. 智能交通：工业相机结合OpenCV可以用于智能交通系统中的车辆识别、车牌识别、交通监控等场景，实现对交通数据的实时采集和分析。

5. 智能制造：在智能制造领域，工业相机通过OpenCV实现的图像转换可以用于生产过程监控、产品质量分析、智能机器人视觉导航等应用，提高制造生产的智能化和自动化程度。

综上所述，工业相机通过OpenCV实现相机图像转换为Mat图像格式在制造业、医疗、农业、智能交通以及智能制造等多个行业应用中发挥着关键作用，为这些行业提供了高效的图像采集、处理和分析解决方案。