USB摄像头驱动分析

1.构造一个usb_driver
2.设置

probe：
    2.1.分配video_device:video_device_alloc
    2.2 设置
           .fops
           .ioctl_ops (里面需要设置11项)
       如果要用内核提供 的缓冲区操作函数，还需要构造一个videobuf_queue_ops
    2.3.注册: video_register_device
id_table:表示支持哪些USB设备
当把USB设备连接到开发板后，如果设备被id_table所支持，probe就被调用。
1
2
3
4
5
6
7
8
9

3.注册：usb_register

在Linux内核中已经有支持USB摄像头的驱动程序，支持UVC(USB Video Class)规格的摄像头。
驱动程序目录为：Linux-4.9.88/drivers/media/usb/uvc

uvc_driver.c分析:

1. usb_register(&uvc_driver.driver);
2. uvc_probe
        uvc_register_video
            vdev = video_device_alloc();//分配
            vdev->fops = &uvc_fops;//设置
            video_register_device//注册
1
2
3
4
5
6

根据文件USB_Video_Example 1.5的12页可知USB摄像头的拓补图可知，USB摄像头分为两部分。一部分是视频控制接口，另一部分是视频流接口。

VideoControl Interface：用于控制 VideoStreaming Interface：用于传输，读数据
SU：select Unit（多路选择器，用于选择那一路信号）
PU：Process Unit（处理单元(PU)控制通过它传输的视频的图像属性，用于亮度和饱和度等控制）
IT：input Terminals（输入端，用于连接内部和外部的接口，可接受外部输入视频数据）
OT：output Terminals（视频功能的外部接口，用于输出数据）
CT：camera Terminals（设置相机参数）
USB IN Endpoint:（输入端点，可能是实时，也可能是批量端点）

UVC 1.5 Class specification 20页

视频功能通过其视频接口来实现。每个视频功能都有一个单独的视频控制(VC)接口，并可以有几个视频流(VS)接口。这 视频控制(VC)接口用于访问功能的设备控制，而视频流(VS)接口用于将数据流传入和传出该功能。 单个视频控制接口和视频流接口的集合属于同一视频功能的称为视频接口集合(VIC)。一个界面关联描述符(IAD)用于描述视频接口集合。

VC内部抽象出两个概念：
Units：内部基本模块
Terminals：用于与外部和视频流接口连接

其中Units提供基本的视频功能组件。

分析UVC驱动调用过程：

const struct v4l2_file_operations uvc_fops = {
    .owner        = THIS_MODULE,
    .open        = uvc_v4l2_open,
    .release    = uvc_v4l2_release,
    .ioctl        = uvc_v4l2_ioctl,
    .read        = uvc_v4l2_read,
    .mmap        = uvc_v4l2_mmap,
    .poll        = uvc_v4l2_poll,
};
1
2
3
4
5
6
7
8
9

1.构造一个usb_driver
2.设置
   probe:
        2.1. 分配video_device:video_device_alloc
        2.2. 设置
           .fops
           .ioctl_ops (里面需要设置11项)
           如果要用内核提供的缓冲区操作函数，还需要构造一个videobuf_queue_ops
        2.3. 注册: video_register_device      
  id_table: 表示支持哪些USB设备      
3.注册： usb_register
1
2
3
4
5
6
7
8
9
10
11

UVC: USB Video Class
UVC驱动：drivers\media\video\uvc\

uvc_driver.c分析:

1. usb_register(&uvc_driver.driver);
2. uvc_probe
        uvc_register_video
            vdev = video_device_alloc();
            vdev->fops = &uvc_fops;
            video_register_device
1
2
3
4
5
6

在www.usb.org下载 uvc specification,
UVC 1.5 Class specification.pdf : 有详细描述
USB_Video_Example 1.5.pdf : 有示例

通过VideoControl Interface来控制，
通过VideoStreaming Interface来读视频数据，
VC里含有多个Unit/Terminal等功能模块，可以通过访问这些模块进行控制，比如调亮度

分析UVC驱动调用过程：

const struct v4l2_file_operations uvc_fops = {
    .owner        = THIS_MODULE,
    .open        = uvc_v4l2_open,
    .release    = uvc_v4l2_release,
    .ioctl        = uvc_v4l2_ioctl,
    .read        = uvc_v4l2_read,
    .mmap        = uvc_v4l2_mmap,
    .poll        = uvc_v4l2_poll,
};
1
2
3
4
5
6
7
8
9

1. open:

  uvc_v4l2_open
1

2. VIDIOC_QUERYCAP // video->streaming->type 应该是在设备被枚举时分析描述符时设置的

if (video->streaming->type == V4L2_BUF_TYPE_VIDEO_CAPTURE)
    cap->capabilities = V4L2_CAP_VIDEO_CAPTURE
              | V4L2_CAP_STREAMING;
else
    cap->capabilities = V4L2_CAP_VIDEO_OUTPUT
              | V4L2_CAP_STREAMING;
1
2
3
4
5
6

3. VIDIOC_ENUM_FMT // format数组应是在设备被枚举时设置的

format = &video->streaming->format[fmt->index];
1

4. VIDIOC_G_FMT
   uvc_v4l2_get_format // USB摄像头支持多种格式fromat, 每种格式下有多种frame(比如分辨率)

struct uvc_format *format = video->streaming->cur_format;
struct uvc_frame *frame = video->streaming->cur_frame;
1
2

5. VIDIOC_TRY_FMT

  uvc_v4l2_try_format
        /* Check if the hardware supports the requested format. */
1
2

        /* Find the closest image size. The distance between image sizes is
         * the size in pixels of the non-overlapping regions between the
         * requested size and the frame-specified size.
         */
1
2
3
4

6. VIDIOC_S_FMT // 只是把参数保存起来，还没有发给USB摄像头

uvc_v4l2_set_format
    uvc_v4l2_try_format
    video->streaming->cur_format = format;
    video->streaming->cur_frame = frame;
1
2
3
4

7. VIDIOC_REQBUFS

uvc_alloc_buffers
       for (; nbuffers > 0; --nbuffers) {
        mem = vmalloc_32(nbuffers * bufsize);
        if (mem != NULL)
            break;
    }
1
2
3
4
5
6

8. VIDIOC_QUERYBUF

uvc_query_buffer
    __uvc_query_buffer
        memcpy(v4l2_buf, &buf->buf, sizeof *v4l2_buf);  // 复制参数
1
2
3

9. mmap

uvc_v4l2_mmap
1

10. VIDIOC_QBUF（把buf放入队列）

uvc_queue_buffer
    list_add_tail(&buf->stream, &queue->mainqueue);
    list_add_tail(&buf->queue, &queue->irqqueue);
1
2
3

11. VIDIOC_STREAMON（启动数据传输，主要做一些初始化）

   uvc_video_enable(video, 1)  // 把所设置的参数发给硬件,然后启动摄像头
        /* Commit the streaming parameters. */
        uvc_commit_video
            uvc_set_video_ctrl  /* 设置格式fromat, frame */
                    ret = __uvc_query_ctrl(video->dev /* 哪一个USB设备 */, SET_CUR, 0,
                        video->streaming->intfnum  （流接口）/* 哪一个接口: VS */,
                        probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,
                        uvc_timeout_param);
                
        /* 启动：Initialize isochronous/bulk URBs and allocate transfer buffers. */
        uvc_init_video(video, GFP_KERNEL);
                uvc_init_video_isoc / uvc_init_video_bulk
                    urb->complete = uvc_video_complete; (收到数据后此函数被调用,它又调用video->decode(urb, video, buf); ==> uvc_video_decode_isoc（实时端点）/uvc_video_encode_bulk（批量端点） => uvc_queue_next_buffer => wake_up(&buf->wait);)(wake_up唤醒应用程序)
                    
                usb_submit_urb             
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

12. poll（查询数据是否已经就绪）

   uvc_v4l2_poll //判断是否有参数           
        uvc_queue_poll
            poll_wait(file, &buf->wait, wait);  // 休眠等待有数据
1
2
3

13. VIDIOC_DQBUF（此时数据已经可以使用了）

uvc_dequeue_buffer（从队列中取出数据）
    list_del(&buf->stream);
1
2

14. VIDIOC_STREAMOFF（关闭摄像头）

uvc_video_enable(video, 0);（注意此次调用的和启动摄像头是同一个函数，只是参数不一样）
    usb_kill_urb(urb);
    usb_free_urb(urb);
1
2
3

分析设置亮度过程：

ioctl: VIDIOC_S_CTRL
            uvc_ctrl_set（设置）
            uvc_ctrl_commit（提交）
                __uvc_ctrl_commit(video, 0);
                    uvc_ctrl_commit_entity(video->dev, entity, rollback);
                            ret = uvc_query_ctrl(dev  /* 哪一个USB设备 */, SET_CUR, ctrl->entity->id  /* 哪一个接口里面的unit/terminal */,
                                dev->intfnum（控制接口） /* 哪一个接口: VC interface */, ctrl->info->selector,
                                uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
                                ctrl->info->size);
1
2
3
4
5
6
7
8
9

总结：

1. UVC设备有2个interface: VideoControl Interface, VideoStreaming Interface

2. VideoControl Interface用于控制，比如设置亮度。它内部有多个Unit/Terminal(在程序里Unit/Terminal都称为entity)
   可以通过类似的函数来访问：
   ret = uvc_query_ctrl(dev /* 哪一个USB设备 /, SET_CUR, ctrl->entity->id / 哪一个unit/terminal /,
   dev->intfnum / 哪一个接口: VC interface */, ctrl->info->selector,
   uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
   ctrl->info->size);

3. VideoStreaming Interface用于获得视频数据，也可以用来选择fromat/frame(VS可能有多种format, 一个format支持多种frame， frame用来表示分辨率等信息)
   可以通过类似的函数来访问：
   ret = __uvc_query_ctrl(video->dev /* 哪一个USB设备 /, SET_CUR, 0,
   video->streaming->intfnum / 哪一个接口: VS */,
   probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,
   uvc_timeout_param);

4. 我们在设置FORMAT时只是简单的使用video->streaming->format[fmt->index]等数据，
   这些数据哪来的？
   应是设备被枚举时设置的，也就是分析它的描述符时设置的。

5. UVC驱动的重点在于：
   描述符的分析
   属性的控制: 通过VideoControl Interface来设置
   格式的选择：通过VideoStreaming Interface来设置
   数据的获得：通过VideoStreaming Interface的URB来获得

本文章源于百问网嵌入式