• 【正点原子I.MX6U-MINI应用篇】3、Framebuffer应用编程，操作屏幕

    一、什么是 FrameBuffer

    Frame 是帧的意思，buffer 是缓冲的意思，所以Framebuffer就是帧缓冲，这意味着 Framebuffer 就是一块内存，里面保存着一帧图像。帧缓冲（framebuffer）是 Linux 系统中的一种显示驱动接口，它将显示设备（譬如 LCD）进行抽象、屏蔽了不同显示设备硬件的实现，对应用层抽象为一块显示内存（显存），它允许上层应用程序直接对显示缓冲区进行读写操作，而用户不必关心物理显存的位置等具体细节，这些都由Framebuffer 设备驱动来完成。

    所以在Linux系统中，显示设备被称为FrameBuffer设备（帧缓冲设备），所以LCD 显示屏自然而言就是FrameBuffer设备。FrameBuffer设备对应的设备文件为/dev/fbX（X 为数字，0、1、2、3 等），Linux下可支持多个FrameBuffer设备，最多可达32 个，分别为/dev/fb0到/dev/fb31，开发板出厂系统中，/dev/fb0设备节点便是LCD屏。

    应用程序读写/dev/fbX 就相当于读写显示设备的显示缓冲区（显存），譬如 LCD 的分辨率是 800480，每一个像素点的颜色用24 位（譬如 RGB888）来表示，那么这个显示缓冲区的大小就是 800 x 480 x 24 / 8 =1152000 个字节。譬如执行下面这条命令将 LCD 清屏，也就是将其填充为黑色（假设 LCD 对应的设备节点是/dev/fb0，分辨率为 800480，RGB888 格式）：

    dd if=/dev/zero of=/dev/fb0 bs=1024 count=1125

    • 1

    这条命令的作用就是将 1125x1024 个字节数据全部写入到 LCD 显存中，并且这些数据都是 0x0。

    二、LCD应用编程介绍

    应用程序通过对LCD设备节点/dev/fb0（假设 LCD 对应的设备节点是/dev/fb0）进行 I/O 操作即可实现对LCD 的显示控制，实质就相当于读写了LCD的显存，而显存是LCD的显示缓冲区，LCD硬件会从显存中读取数据显示到LCD 液晶面板上。

    在应用程序中，操作/dev/fbX 的一般步骤如下：

    • ①、首先打开/dev/fbX设备文件。
    • ②、使用ioctl()函数获取到当前显示设备的参数信息，譬如屏幕的分辨率大小、像素格式，根据屏幕参数计算显示缓冲区的大小。
    • ③、通过存储映射I/O方式将屏幕的显示缓冲区映射到用户空间（mmap）。
    • ④、映射成功后就可以直接读写屏幕的显示缓冲区，进行绘图或图片显示等操作了。
    • ⑤、完成显示后，调用munmap()取消映射、并调用close()关闭设备文件。

    三、LCD操作原理

    在Linux系统中通过Framebuffer驱动程序来控制LCD。Frame是帧的意思，buffer是缓冲的意思，这意味着Framebuffer就是一块内存，里面保存着一帧图像。Framebuffer中保存着一帧图像的每一个像素颜色值，假设LCD的分辨率是1024x768，每一个像素的颜色用32位来表示，那么 Framebuffer的大小就是：1024x768x32/8=3145728字节。

    简单介绍LCD的操作原理：

    • ① 驱动程序设置好LCD控制器：
      根据 LCD 的参数设置LCD控制器的时序、信号极性；
      根据 LCD 分辨率、BPP 分配 Framebuffer。
    • ② APP使用ioctl获得LCD分辨率、BPP
    • ③ APP通过mmap映射Framebuffer，在Framebuffer中写入数据

    假设需要设置LCD中坐标(x,y)处像素的颜色，首要要找到这个像素对应的内存，然后根据它的BPP值设置颜色。假设fb_base是APP执行mmap后得到的Framebuffer地址，

    可以用以下公式算出(x,y)坐标处像素对应的 Framebuffer 地址：

    (x,y) 像素起始地址=fb_base+(xres*bpp/8)*y + x*bpp/8

    • 1

    最后一个要解决的问题就是像素的颜色怎么表示？它是用 RGB 三原色(红、绿、蓝)来表示的，在不同的 BPP 格式中，用不同的位来分别表示 R、G、B，如图5.3 所示：

    RGB

    对于32BPP，一般只设置其中的低24位，高8位表示透明度，一般的LCD都不支持。
    对于24BPP，硬件上为了方便处理，在Framebuffer中也是用32位来表示，效果跟32BPP是一样的。
    对于16BPP，常用的是RGB565；很少的场合会用到RGB555，这可以通过ioctl读取驱动程序中的 RGB 位偏移来确定使用哪一种格式。

    四、涉及的API函数

    本节程序的目的是：打开LCD设备节点，获取分辨率等参数，映射Framebuffer，最后实现描点函数。

    4.1 open函数

    在Ubuntu中执行man 2 open，可以看到 open 函数的说明：

    头文件：

    #include 
#include 
#include 

    • 1
    • 2
    • 3

    函数原型：

    int open(const char *pathname, int flags);
int open(const char *pathname, int flags, mode_t mode);

    • 1
    • 2

    函数说明

    • ① pathname 表示打开文件的路径；
    • ② Flags 表示打开文件的方式，常用的有以下 6 种，
      ◼ O_RDWR表示可读可写方式打开;
      ◼ O_RDONLY表示只读方式打开;
      ◼ O_WRONLY表示只写方式打开;
      ◼ O_APPEND表示如果这个文件中本来是有内容的，则新写入的内容会接续到原来内容的后面;
      ◼ O_TRUNC表示如果这个文件中本来是有内容的，则原来的内容会被丢弃，截断；
      ◼ O_CREAT表示当前打开文件不存在，我们创建它并打开它，通常与O_EXCL 结合使用，当没有文件时创建文件，有这个文件时会报错提醒我们；
    • ③ Mode 表示创建文件的权限，只有在 flags 中使用了O_CREAT时才有效，否则忽略。
    • ④ 返回值：打开成功返回文件描述符，失败将返回-1。

    4.2 ioctl函数

    在 Ubuntu 中执行man ioctl，可以看到 ioctl 函数的说明：

    头文件：

    #include 

    • 1

    函数原型：

    int ioctl(int fd, unsigned long request, ...);

    • 1

    函数说明：

    • ① fd 表示文件描述符；
    • ② request 表示与驱动程序交互的命令，用不同的命令控制驱动程序输出我们需要的数据；
    • ③ … 表示可变参数 arg，根据 request 命令，设备驱动程序返回输出的数据。
    • ④ 返回值：打开成功返回文件描述符，失败将返回-1。

    ioctl 的作用非常强大、灵活。不同的驱动程序内部会实现不同的ioctl，APP 可以使用各种ioctl跟驱动程序交互：可以传数据给驱动程序，也可以从驱动程序中读出数据。

    4.3 mmap函数

    在Ubuntu中执行man mmap，可以看到mmap函数的说明：

    想更深刻地理解mmap的内部机制，可以看《嵌入式 Linux 驱动开发基础知识》中关于mmap的介绍。作为APP开发，只需要知道它的用法就可以了。

    头文件：

    #include 

    • 1

    函数原型：

    void *mmap(void *addr, size_t length, int prot, int flags,int fd, off_t offset);

    • 1

    函数说明：

    • ① addr表示指定映射的內存起始地址，通常设为NULL表示让系统自动选定地址，并在成功映射后返回该地址；
    • ② length 表示将文件中多大的内容映射到内存中；
    • ③ prot 表示映射区域的保护方式，可以为以下4种方式的组合
      ◼ PROT_EXEC 映射区域可被执行
      ◼ PROT_READ 映射区域可被读出
      ◼ PROT_WRITE 映射区域可被写入
      ◼ PROT_NONE 映射区域不能存取
    • ④ Flags 表示影响映射区域的不同特性，常用的有以下两种
      ◼ MAP_SHARED 表示对映射区域写入的数据会复制回文件内，原来的文件会改变。
      ◼ MAP_PRIVATE 表示对映射区域的操作会产生一个映射文件的复制，对此区域的任何修改都不会写回原来的文件内容中。
    • ⑤ 返回值：若成功映射，将返回指向映射的区域的指针，失败将返回-1。

    五、Framebuffer程序分析

    5.1 打开设备

    首先打开设备节点

    /* 打开framebuffer设备 */
if (0 > (fd = open("/dev/fb0", O_RDWR))) {
    perror("open error");
    exit(EXIT_FAILURE);
}

    • 1
    • 2
    • 3
    • 4
    • 5

    5.2 获取LCD参数

    当打开LCD设备文件之后，需要先获取到LCD屏幕的参数信息，譬如LCD的X轴分辨率、Y轴分辨率以及像素格式等信息，通过这些参数计算出LCD显示缓冲区的大小。通 过ioctl()函数来获取屏幕参数信息， 对于Framebuffer设备来说，常用的request 包括FBIOGET_VSCREENINFO、FBIOPUT_VSCREENINFO、FBIOGET_FSCREENINFO。

    LCD驱动程序给APP提供2类参数：可变的参数fb_var_screeninfo、固定的参数fb_fix_screeninfo。编写应用程序时主要关心可变参数，它的结构体定义如下(#include )：

    可以使用以下代码获取fb_var_screeninfo

    struct fb_fix_screeninfo fb_fix;
struct fb_var_screeninfo fb_var;
/* 获取参数信息 */
ioctl(fd, FBIOGET_VSCREENINFO, &fb_var);
ioctl(fd, FBIOGET_FSCREENINFO, &fb_fix);

    • 1
    • 2
    • 3
    • 4
    • 5

    注意到ioctl里用的参数是：FBIOGET_VSCREENINFO，它表示get varscreen info，获得屏幕的可变信息；当然也可以使用FBIOPUT_VSCREENINFO来调整这些参数，但是很少用到。对于固定的参数fb_fix_screeninfo，在应用编程中很少用到。它的结构体定义如下：

    可以使用 ioctl FBIOGET_FSCREENINFO来读出这些信息，但是很少用到。

    5.3 映射Framebuffer

    使用mmap()将显示缓冲区映射到用户空间，用在Framebuffer 应用编程中。通过 mmap()将显示器的显示缓冲区(显存)映射到进程的地址空间中，这样应用程序便可直接对显示缓冲区进行读写操作。

    为什么这里需要使用存储映射I/O这种方式呢？其实使用普通的I/O方式(譬如直接read、write)也是可以的，只是当数据量比较大时，普通I/O方式效率较低。假设某一显示器的分辨率为1920 * 1080，像素格式为ARGB8888，针对该显示器，刷一帧图像的数据量为1920x1080x32/8 = 8294400个字节(约等于8MB)，这还只是一帧的图像数据，而对于显示器来说，显示的图像往往是动态改变的，意味着图像数据会被不断更新。在这种情况下，数据量是比较庞大的，使用普通I/O方式必然导致效率低下，所以才会采用存储映射I/O方式。

    代码如下：

    screen_size = fb_fix.line_length * fb_var.yres;
width = fb_var.xres;
height = fb_var.yres;

/* 将显示缓冲区映射到进程地址空间 */
screen_base = mmap(NULL, screen_size, PROT_WRITE, MAP_SHARED, fd, 0);
if (MAP_FAILED == (void *)screen_base) {
    perror("mmap error");
    close(fd);
    exit(EXIT_FAILURE);
}

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    screen_size是整个Framebuffer 的大小；PROT_WRITE 表示该区域可读、可写；MAP_SHARED 表示该区域是共享的，APP写入数据时，会直达驱动程序。

    六、源码

    #include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 

#define argb8888_to_rgb565(color)   ({ \
            unsigned int temp = (color); \
            ((temp & 0xF80000UL) >> 8) | \
            ((temp & 0xFC00UL) >> 5) | \
            ((temp & 0xF8UL) >> 3); \
            })

static int width;                   //LCD X分辨率
static int height;                      //LCD Y分辨率
static unsigned short *screen_base = NULL;      //映射后的显存基地址

/********************************************************************
 * 函数名称： lcd_draw_point
 * 功能描述： 打点
 * 输入参数： x, y, color
 * 返 回 值： 无
 ********************************************************************/
static void lcd_draw_point(unsigned int x, unsigned int y, unsigned int color)
{
    unsigned short rgb565_color = argb8888_to_rgb565(color);//得到RGB565颜色值

    /* 对传入参数的校验 */
    if (x >= width)
        x = width - 1;
    if (y >= height)
        y = height - 1;

    /* 填充颜色 */
    screen_base[y * width + x] = rgb565_color;
}

/********************************************************************
 * 函数名称： lcd_draw_line
 * 功能描述： 画线（水平或垂直线）
 * 输入参数： x, y, dir, length, color
 * 返 回 值： 无
 ********************************************************************/
static void lcd_draw_line(unsigned int x, unsigned int y, int dir,
            unsigned int length, unsigned int color)
{
    unsigned short rgb565_color = argb8888_to_rgb565(color);//得到RGB565颜色值
    unsigned int end;
    unsigned long temp;

    /* 对传入参数的校验 */
    if (x >= width)
        x = width - 1;
    if (y >= height)
        y = height - 1;

    /* 填充颜色 */
    temp = y * width + x;//定位到起点
    if (dir) {  //水平线
        end = x + length - 1;
        if (end >= width)
            end = width - 1;

        for ( ; x <= end; x++, temp++)
            screen_base[temp] = rgb565_color;
    }
    else {  //垂直线
        end = y + length - 1;
        if (end >= height)
            end = height - 1;

        for ( ; y <= end; y++, temp += width)
            screen_base[temp] = rgb565_color;
    }
}

/********************************************************************
 * 函数名称： lcd_draw_rectangle
 * 功能描述： 画矩形
 * 输入参数： start_x, end_x, start_y, end_y, color
 * 返 回 值： 无
 ********************************************************************/
static void lcd_draw_rectangle(unsigned int start_x, unsigned int end_x,
            unsigned int start_y, unsigned int end_y,
            unsigned int color)
{
    int x_len = end_x - start_x + 1;
    int y_len = end_y - start_y - 1;

    lcd_draw_line(start_x, start_y, 1, x_len, color);//上边
    lcd_draw_line(start_x, end_y, 1, x_len, color); //下边
    lcd_draw_line(start_x, start_y + 1, 0, y_len, color);//左边
    lcd_draw_line(end_x, start_y + 1, 0, y_len, color);//右边
}

/********************************************************************
 * 函数名称： lcd_fill
 * 功能描述： 将一个矩形区域填充为参数color所指定的颜色
 * 输入参数： start_x, end_x, start_y, end_y, color
 * 返 回 值： 无
 ********************************************************************/
static void lcd_fill(unsigned int start_x, unsigned int end_x,
            unsigned int start_y, unsigned int end_y,
            unsigned int color)
{
    unsigned short rgb565_color = argb8888_to_rgb565(color);//得到RGB565颜色值
    unsigned long temp;
    unsigned int x;

    /* 对传入参数的校验 */
    if (end_x >= width)
        end_x = width - 1;
    if (end_y >= height)
        end_y = height - 1;

    /* 填充颜色 */
    temp = start_y * width; //定位到起点行首
    for ( ; start_y <= end_y; start_y++, temp+=width) {

        for (x = start_x; x <= end_x; x++)
            screen_base[temp + x] = rgb565_color;
    }
}

int main(int argc, char *argv[])
{
    struct fb_fix_screeninfo fb_fix;
    struct fb_var_screeninfo fb_var;
    unsigned int screen_size;
    int fd;

    /* 打开framebuffer设备 */
    if (0 > (fd = open("/dev/fb0", O_RDWR))) {
        perror("open error");
        exit(EXIT_FAILURE);
    }

    /* 获取参数信息 */
    ioctl(fd, FBIOGET_VSCREENINFO, &fb_var);
    ioctl(fd, FBIOGET_FSCREENINFO, &fb_fix);

    screen_size = fb_fix.line_length * fb_var.yres;//line_length为一行的字节数
    width = fb_var.xres;//x轴的分辨率
    height = fb_var.yres;//y轴的分辨率

    /* 将显示缓冲区映射到进程地址空间 */
    screen_base = mmap(NULL, screen_size, PROT_WRITE, MAP_SHARED, fd, 0);
    if (MAP_FAILED == (void *)screen_base) {
        perror("mmap error");
        close(fd);
        exit(EXIT_FAILURE);
    }

    /* 画正方形方块 */
    int w = height * 0.25;//方块的宽度为1/4屏幕高度
    lcd_fill(0, width-1, 0, height-1, 0x0); //清屏（屏幕显示黑色）
    lcd_fill(0, w, 0, w, 0xFF0000); //红色方块
    lcd_fill(width-w, width-1, 0, w, 0xFF00);   //绿色方块
    lcd_fill(0, w, height-w, height-1, 0xFF);   //蓝色方块
    lcd_fill(width-w, width-1, height-w, height-1, 0xFFFF00);//黄色方块

    /* 画线: 十字交叉线 */
    lcd_draw_line(0, height * 0.5, 1, width, 0xFFFFFF);//白色线
    lcd_draw_line(width * 0.5, 0, 0, height, 0xFFFFFF);//白色线

    /* 画矩形 */
    unsigned int s_x, s_y, e_x, e_y;
    s_x = 0.25 * width;
    s_y = w;
    e_x = width - s_x;
    e_y = height - s_y;

    for ( ; (s_x <= e_x) && (s_y <= e_y);
            s_x+=5, s_y+=5, e_x-=5, e_y-=5)
        lcd_draw_rectangle(s_x, e_x, s_y, e_y, 0xFFFFFF);

    /* 退出 */
    munmap(screen_base, screen_size);  //取消映射
    close(fd);  //关闭文件
    exit(EXIT_SUCCESS);    //退出进程
}

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69
    • 70
    • 71
    • 72
    • 73
    • 74
    • 75
    • 76
    • 77
    • 78
    • 79
    • 80
    • 81
    • 82
    • 83
    • 84
    • 85
    • 86
    • 87
    • 88
    • 89
    • 90
    • 91
    • 92
    • 93
    • 94
    • 95
    • 96
    • 97
    • 98
    • 99
    • 100
    • 101
    • 102
    • 103
    • 104
    • 105
    • 106
    • 107
    • 108
    • 109
    • 110
    • 111
    • 112
    • 113
    • 114
    • 115
    • 116
    • 117
    • 118
    • 119
    • 120
    • 121
    • 122
    • 123
    • 124
    • 125
    • 126
    • 127
    • 128
    • 129
    • 130
    • 131
    • 132
    • 133
    • 134
    • 135
    • 136
    • 137
    • 138
    • 139
    • 140
    • 141
    • 142
    • 143
    • 144
    • 145
    • 146
    • 147
    • 148
    • 149
    • 150
    • 151
    • 152
    • 153
    • 154
    • 155
    • 156
    • 157
    • 158
    • 159
    • 160
    • 161
    • 162
    • 163
    • 164
    • 165
    • 166
    • 167
    • 168
    • 169
    • 170
    • 171
    • 172
    • 173
    • 174
    • 175
    • 176
    • 177
    • 178
    • 179
    • 180
    • 181
    • 182
    • 183
    • 184
    • 185

    七、编译程序

    我们要想给ARM板编译出程序，需要使用交叉编译工具链，交叉编译的工具链我们已经安装过了，详细请看【正点原子】I.MX6U嵌入式Linux驱动开发指南V1.x.pdf 的第4.3小节。我是用的是arm-linux-gnueabihf交叉编译工具链。使用arm-linux-gnueabihf-gcc -v可以查看交叉编译工具链的版本号。

    然后就可以使用下面命令编译出可以在ARM板子上运行的可执行文件了。

    arm-linux-gnueabihf-gcc -o lcd_test lcd_test .c

    • 1
    • 1、arm表示这是编译arm架构代码的编译器。
    • 2、linux表示运行在linux环境下。
    • 3、gnueabihf表示嵌入式二进制接口。
    • 4、gcc表示是gcc工具。

    这样编译出来的 led程序才可以在ARM板子上运行。执行file lcd_test 命令就可以看出hello是32位LSB的ELF格式文件，目标机架构为ARM，说明这个交叉编译正常，可执行文件可以在ARM板上执行。

    八、上传程序到开发板执行

    开发板启动后通过nfs挂载Ubuntu目录的方式，将相应的文件拷贝到开发板上。简单来说，就是通过NFS在开发板上通过网络直接访问ubuntu虚拟机上的文件，并且就相当于自己本地的文件一样。

    开发板想访问/home/zhiguoxin/myproject/alientek_app_development_source这个目录中的文件，就要把/home/zhiguoxin/myproject/alientek_app_development_source挂载到开发板的mnt目录，这样就可以通过nfs来访问/home/zhiguoxin/myproject/alientek_app_development_source了。

    因为我的代码都放在/home/zhiguoxin/myproject/alientek_app_development_source这个目录下，所以我们将这个目录作为NFS共享文件夹。设置方法参考移植SQLite3、OpenCV到RV1126开发板上开发人脸识别项目第一章。

    Ubuntu IP为192.168.10.100，然后一般都是挂载在开发板的mnt目录下，这个目录是专门用来给我们作为临时挂载的目录。

    文件系统目录简介

    然后使用MobaXterm软件通过SSH访问开发板。

    ubuntu ip:192.168.10.100
windows ip:192.168.10.200
开发板ip:192.168.10.50

    • 1
    • 2
    • 3

    在开发板上执行以下命令：

    mount -t nfs -o nolock,vers=3 192.168.10.100:/home/zhiguoxin/myproject/alientek_app_development_source /mnt

    • 1

    就将开饭的mnt目录挂载在ubuntu的/home/zhiguoxin/myproject/alientek_app_development_source目录下了。这样我们就可以在Ubuntu下修改文件，然后可以直接在开发板上执行可执行文件了。当然我这里的/home/zhiguoxin/myproject/和windows之间是一个共享目录，我也可以直接在windows上面修改文件，然后ubuntu和开发板直接进行文件同步了。

    然后编译，可以编译成功。

    ./lcd_test

    • 1

    查看屏幕状态是否与程序执行的效果一致！

  • 相关阅读:
    当new一个对象时在JVM中会有哪些操作
    无人机UAV目标检测与跟踪（代码+数据）
    Spring Bean的配置及常用属性
    qmake $() $$() 区别
    一文拿捏分布式、分布式缓存及其问题解决
    Python:实现recursive insertion sort递归插入排序算法(附完整源码)
    AIGC（生成式AI）试用 5 -- 从模糊到精确，再一步
    使用结构体组织相关联的数据(5)
    web3资讯及远程工作
    时序分解 | MATLAB实现RIME-VMD霜冰优化算法优化VMD变分模态分解信号分量可视化
  • 原文地址：https://blog.csdn.net/qq_39400113/article/details/127414942