【数字图像处理】RGB 转灰度图

常见的数字图像格式有 RGB, RGBA, YCbCr 等，RGB/RGBA 格式适合存储，而 YCbCr 格式适合图像处理。在数字图像处理中，通常需要将 RGB 格式的图像变换为灰度图，再进行后续的处理，例如边缘检测、锐化等。本文主要介绍数字图像 RGB 转灰度图的基本原理，并记录在紫光同创 PGL22G FPGA 平台的布署与实现过程。

目录

1. RGB 转灰度图原理

2. FPGA 布署与实现

2.1 功能与指标定义

2.2 模块设计

2.3 上板调试

---

1. RGB 转灰度图原理

        在研究生物视觉的过程中，人们发现人眼视网膜中包含三种视锥细胞，这三种视锥细胞的光谱吸收峰值不同，对应光的波长分别处于 450 nm, 530nm 和 570 nm 附近，对应光的颜色分别为蓝、绿、红。

        考虑人眼对不同颜色光的感知程度不同，对红、绿、蓝 3 个颜色分量分别设定一个权重，颜色分量值与对应权重相乘再累加，就得到灰度值。

        目前关于颜色权重的选取，仍存在一些争议，但总的偏差不大。常用的 RGB 转灰度图的公式如下：

使用 Matlab 进行验证。

clc, clear
 
% 读取图像
im = imread('./loopy.png');
im = im2double(im);
 
% RGB转灰度图
im_r = im(:,:,1);
im_g = im(:,:,2);
im_b = im(:,:,3);
im_new = 0.299*im_r +0.587*im_g +0.114*im_b;
 
% 查看图像
subplot(121)
imshow(im)
title('原图像')
subplot(122)
imshow(im_new)
title('处理后图像')

2. FPGA 布署与实现

2.1 功能与指标定义

        使用紫光同创 FPGA 平台实现 RGB 转灰度图功能，FPGA 需要实现的功能与指标如下：

（1）与电脑的串口通信，用于接收用户下发的图像，波特率为 256000 Bd/s；

（2）RGB 转灰度图处理，使用 FPGA 内部的乘法器，实现颜色分量的加权；

（3）DDR3 读写控制，将处理前后的图像数据分别写入 DDR3 的不同区域，实现图像的拼接；

（4）HDMI 输出，输出一路 HDMI 信号源，用于将拼接后的图像显示在外接显示器上，分辨率为 1024×768。

2.2 模块设计

        主要的设计模块功能划分如下：

top_uart 模块

· uart_rx_slice 模块，UART 串口接收驱动模块

· uart_rx_parse 模块，UART 串口数据解析模块，从上位机接收 RGB 8bit 图像

top_vidin 模块

· vidin_pipeline 模块，缓存两行图像（使用乒乓操作），并将数据提交到 ddr3 用户数据调度模块

· mult_9x9_uaub IP，乘法器 IP，输入为 2 个 9bit 无符号数，输出为 18bit 无符号数

merge_out 模块

· dvi_timing_gen 模块，根据定义的分辨率，产生 HDMI 视频控制时序

· dvi_ddr_rd 模块，根据 HDMI 控制信号，提交读指令到 ddr3 用户数据调度模块

· dvi_encoder 模块，HDMI 输出编码（8b10b 编码）与输出驱动

· dvi_pll IP，PLL IP，将参考时钟倍频，产生需要的像素时钟信号

其中，乘法器的输入为 2 个 9bit 无符号数，RGB 颜色分量为 8bit，颜色分量系数需要扩大 512 倍再取整，由

 

得 RGB 乘法器相乘系数分别取：153，301 和 58。

FPGA 工程资源使用率如下：

2.3 上板调试

使用 PyQt5 和 OpenCV 库，编写上位机程序，实现以下功能：

（1）使用 OpenCV 库加载图像，并截取左上角 512 × 384 的区域；

（2）通过串口发送给 PGL22G 开发板。

# -*- Coding: UTF-8 -*-
import cv2
import sys
import struct
from PyQt5 import Qt, QtGui, QtCore, QtWidgets, QtSerialPort
 
class mainWindow(Qt.QWidget):
   def __init__(self, com_port, parent=None):
      super(mainWindow, self).__init__(parent)
      #self.setGeometry(720, 300, 512, 384)
      self.setFixedSize(530, 384)
      self.setWindowTitle("PGL OpenCV Tool")
 
      # 创建标签与按钮
      self.img_widget = QtWidgets.QLabel()
      self.btn1 = QtWidgets.QPushButton("打开")
      self.btn1.clicked.connect(self.getfile)
      self.btn2 = QtWidgets.QPushButton("关闭")
      self.btn2.clicked.connect(self.close)
 
      # 创建布局
      centralLayout = QtWidgets.QVBoxLayout()
      centralLayout.addWidget(self.img_widget)
      bottomLayout = QtWidgets.QHBoxLayout()
      bottomLayout.addWidget(self.btn1)
      bottomLayout.addWidget(self.btn2)
      centralLayout.addLayout(bottomLayout)
      self.setLayout(centralLayout)
 
      # 串口对象
      self.COM = QtSerialPort.QSerialPort()
      self.COM.setPortName(com_port)
      self.COM.setBaudRate(256000)
      self.open_status = False
      self.row_cnt = 0
      self.img = None
      self.timer = QtCore.QTimer()
      self.timer.timeout.connect(self.sendImage)
      self.startup()
 
   def startup(self):
      """Write code here to run once"""
      for com_port in QtSerialPort.QSerialPortInfo.availablePorts():
         print(com_port.portName())
 
      # Try open serial port
      if not self.COM.open(QtSerialPort.QSerialPort.ReadWrite):
         self.open_status = False
         print("Open Serial Port failed.")
      else:
         self.open_status = True
 
   def getfile(self):
      """获取图像路径"""
      fname = QtWidgets.QFileDialog.getOpenFileName(self, 'Open file',
         'C:\\Users\\Administrator\\Pictures', "Image files(*.jpg *.png)")
      self.clipImage(fname[0])
      self.updateImage()
      self.sendImage()
 
   def clipImage(self, fname):
      """读取并裁剪图片至512x384大小"""
      if fname:
         img = cv2.imread(fname, cv2.IMREAD_COLOR)
         img_roi = img[:384,:512,:]
         print(img_roi.shape)
         cv2.imwrite('./img_roi.png', img_roi)
 
   def updateImage(self):
      """显示裁剪后的图像"""
      self.img_widget.setPixmap(QtGui.QPixmap('./temp/img_roi.png'))
      self.img = cv2.imread('./img_roi.png')
      self.timer.start(100)
 
   def sendImage(self):
      """通过串口发送图片"""
      pattern = ">4H{:d}B".format(512*3)
 
      if self.open_status:
         if self.row_cnt == 384:
            self.row_cnt = 0
            self.timer.stop()
         else:
            args1 = [self.row_cnt, self.img.shape[0], 0, 0]
            args2 = [rgb for rgb in self.img[self.row_cnt,:].reshape(-1)]
            send_data = struct.pack(pattern, *(args1+args2))
            self.row_cnt += 1
            self.COM.write(send_data)
 
def main():
   app = QtWidgets.QApplication(sys.argv)
   window = mainWindow('COM21')
   window.show()
   sys.exit(app.exec_())
 
if __name__ == "__main__":
   main()

 

        在电脑端发送图像，就可以看到 FPGA 处理结果了 ~