• 播放器开发(五)：视频帧处理并用SDL渲染播放

    目录

    学习课题：逐步构建开发播放器【QT5 + FFmpeg6 + SDL2】

    步骤

    VideoOutPut模块

    1、初始化【分配缓存、读取信息】

    2、开始线程工作【从队列读帧->缩放->发送渲染信号到窗口】

    VideoWidget自定义Widget类

    1、定义内部变量

    2、如果使用SDL，需要进行初始化

    3、接收到信号后需要执行槽函数进行渲染

    主要代码

    分配缓存

    1.     // 根据格式和视频宽高获取一张图像的字节数据大小
    2.     int byte = av_image_get_buffer_size(AV_PIX_FMT_RGB32, videoWidth, videoHeight, 1);
    3.     // 分配缓存空间
    4.     buffer = (uint8_t *) av_malloc(byte * sizeof(uint8_t));
    5.     // 类似于格式化已经申请的内存
    6.     av_image_fill_arrays(playFrame->data, playFrame->linesize, buffer, AV_PIX_FMT_RGB32, videoWidth, videoHeight, 1);
    7.     // 初始化分配并返回SwsContext
    8.     swsContext = sws_getContext(decCtx->width, decCtx->height, pixelFormat, videoWidth, videoHeight, AV_PIX_FMT_RGB32, SWS_FAST_BILINEAR, nullptr, nullptr, nullptr);

    执行缩放

    sws_scale(swsContext, (const uint8_t *const *) frame->data, frame->linesize, 0, decCtx->height, playFrame->data, playFrame->linesize);

    创建SDL窗口纹理渲染器

    1. // 这里必须要先SDL_CreateWindowFrom，然后在设置父类为this，否则会直接把父类当成参数作为背景
    2.     sdlWindow = SDL_CreateWindowFrom((void *) winId());
    3.     //渲染器
    4.     sdlRenderer = SDL_CreateRenderer(sdlWindow, -1, SDL_RENDERER_ACCELERATED | SDL_RENDERER_PRESENTVSYNC);
    5.     //纹理 大小是视频大小
    6.     sdlTexture = SDL_CreateTexture(sdlRenderer, SDL_PIXELFORMAT_BGRA32, SDL_TEXTUREACCESS_STREAMING, 1920, 1080);
    7.     SDL_SetTextureScaleMode(sdlTexture, SDL_ScaleModeLinear);

    SDL渲染

    1.     int ret = 1;
    2.     ret = SDL_RenderClear(sdlRenderer);
    3.     if (ret != 0) {
    4.         qDebug() << "SDL_RenderClear error";
    5.     }
    6.     // 帧数据更新到纹理
    7.     ret = SDL_UpdateTexture(sdlTexture, &m_originalSDLRect, frame->data[0], frame->linesize[0]);
    8.     // 如果这里的帧数据已经是YUV则需要使用下面的
    9.     //    ret = SDL_UpdateYUVTexture(sdlTexture, &sdlRect2, frame->data[0], frame->linesize[0], frame->data[1], frame->linesize[1], frame->data[2], frame->linesize[2]);
    10.     if (ret != 0) {
    11.         qDebug() << "SDL_UpdateYUVTexture error:" << SDL_GetError();
    12.     }
    13.     // 将纹理绘制到渲染器上
    14.     ret = SDL_RenderCopy(sdlRenderer, sdlTexture, &m_originalSDLRect, nullptr);
    15.     if (ret != 0) {
    16.         qDebug() << "SDL_RenderCopy error";
    17.     }
    18.     //     刷新渲染器，将内容显示到窗口上
    19.     SDL_RenderPresent(sdlRenderer);

    SDL窗口渲染在mac系统上好像有点问题，缩放的时候图像会很模糊，暂时不知道是什么情况。望知道的朋友告知原因。

    QPainter渲染

    使用Qt的QPainter进行渲染可以原画像显示，不会有模糊的情况。

    1. // 注意这里需要使用RGB格式
    2. QImage image((uchar *) frame->data[0], 1920, 1080, QImage::Format_RGB32);
    3. QPainter painter(this);
    4. painter.drawImage(this->rect(), image);

    完整模块

    VideoOutPut

    1、run函数实现内为什么需要av_usleep(39999)：
            在run函数中是进行循环读取帧，然后缩放，最后发送信号进行渲染，如果我们不进行sleep，哪么就会在极短的时间内循环读取完所有的帧，渲染过快导致无法看清图像，因此我们需要进行sleep，这个时间对于单个视频流来说，一般是FPS，就是画面每秒传输帧数,通俗来讲就是指动画或视频的画面数。这个值一般是可以通过视频流的一些参数计算出来的，我们放到同步部分在说。

    1. // VideoOutPut.h
    2. #include "FFmpegHeader.h"
    3. #include "SDL.h"
    4. #include "queue/AVFrameQueue.h"
    5. #include 
    6. #include 
    7. #include 
    8. #include 
    9. #include 
    10.  
    11. class VideoOutPut : public QObject {
    12.     Q_OBJECT
    13. private:
    14.     std::thread *m_thread;
    15.     bool isStopped = true; // 是否已经停止 停止时退出线程
    16.     bool isPlaying = false;// 是否正在播放
    17.     bool isPause = false;  // 是否暂停
    18.  
    19.     uint8_t *buffer;//存储解码后图片buffer
    20.  
    21.     //图像缩放、颜色空间转换上下文
    22.     SwsContext *swsContext;
    23.     AVFrame *playFrame;      //转换后的帧对象
    24.     AVFrameQueue *frameQueue;//解码后的帧队列
    25.  
    26.     // 解码器上下文
    27.     AVCodecContext *decCtx;// 音频解码器上下文
    28. public:
    29.     VideoOutPut(AVCodecContext *dec_ctx, AVFrameQueue *frame_queue);
    30.     int init();
    31.     int start();
    32.     void run();
    33.  
    34.     int videoWidth; //视频宽度
    35.     int videoHeight;//视频高度
    36. Q_SIGNALS:
    37.     void refreshImage(const SDL_Rect &sdlRect, AVFrame *frame);
    38. };
    39.  
    40.  
    41. // VideoOutPut.cpp
    42. #include "VideoOutPut.h"
    43. VideoOutPut::VideoOutPut(AVCodecContext *dec_ctx, AVFrameQueue *frame_queue)
    44.     : decCtx(dec_ctx), frameQueue(frame_queue) {
    45. }
    46. int VideoOutPut::init() {
    47.  
    48.     //获取分辨率大小
    49.     videoWidth = decCtx->width;
    50.     videoHeight = decCtx->height;
    51.     playFrame = av_frame_alloc();
    52.  
    53.     AVPixelFormat pixelFormat = decCtx->pix_fmt;
    54.     qDebug() << av_get_pix_fmt_name(pixelFormat);
    55.  
    56.     int byte = av_image_get_buffer_size(AV_PIX_FMT_RGB32, videoWidth, videoHeight, 1);
    57.     buffer = (uint8_t *) av_malloc(byte * sizeof(uint8_t));
    58.     av_image_fill_arrays(playFrame->data, playFrame->linesize, buffer, AV_PIX_FMT_RGB32, videoWidth, videoHeight, 1);
    59.     swsContext = sws_getContext(decCtx->width, decCtx->height, pixelFormat, videoWidth, videoHeight, AV_PIX_FMT_RGB32, SWS_FAST_BILINEAR, nullptr, nullptr, nullptr);
    60.  
    61.     return 1;
    62. }
    63. int VideoOutPut::start() {
    64.     m_thread = new std::thread(&VideoOutPut::run, this);
    65.     if (!m_thread->joinable()) {
    66.         qDebug() << "VideoOutPut视频帧处理线程创建失败";
    67.         return -1;
    68.     }
    69.     isStopped = false;
    70.     isPlaying = true;
    71.     return 0;
    72. }
    73.  
    74. void VideoOutPut::run() {
    75.     AVFrame *frame;
    76.     while (!isStopped) {
    77.         frame = frameQueue->pop(10);
    78.         if (frame) {
    79.             //图像缩放、颜色空间转换
    80.             sws_scale(swsContext, (const uint8_t *const *) frame->data, frame->linesize, 0, decCtx->height, playFrame->data, playFrame->linesize);
    81.             av_frame_unref(frame);
    82.  
    83.             //视频区域
    84.             SDL_Rect sdlRect;
    85.             sdlRect.x = 0;
    86.             sdlRect.y = 0;
    87.             sdlRect.w = decCtx->width;
    88.             sdlRect.h = decCtx->height;
    89.             //渲染到sdl窗口
    90.             emit refreshImage(sdlRect, playFrame);
    91.             av_usleep(39999);
    92.         }
    93.     }
    94. }

    VideoWidget

    我们这里使用到QWidget，直接把SDL封装进去，做一个自定义类，之后使用qt creator 提升一下就行了。

    注意：在使用时，如果要把VideoWidget嵌入到某个widget内部，需要在new 之后在单独setParent，不然会把整个父类主窗口当作sdl窗口。

    1. //VideoWidget.h
    2. #include "FFmpegHeader.h"
    3. #include "SDL.h"
    4. #include 
    5. #include 
    6. #include 
    7. #include 
    8. #include 
    9.  
    10. class VideoWidget : public QWidget {
    11.     Q_OBJECT
    12. private:
    13.     SDL_Rect m_originalSDLRect;
    14.     AVFrame *frame = nullptr;
    15.     SDL_Window *sdlWindow = nullptr;
    16.     SDL_Renderer *sdlRenderer = nullptr;
    17.     SDL_Texture *sdlTexture = nullptr;
    18.  
    19. protected:
    20.     void paintEvent(QPaintEvent *event) override;
    21.  
    22. public:
    23.     VideoWidget(QWidget *parent = 0);
    24.     ~VideoWidget();
    25.     void initSDL();
    26. public slots:
    27.     void updateImage(const SDL_Rect &sdl_rect, AVFrame *frame);
    28. };
    29.  
    30.  
    31.  
    32. //VideoWidget.cpp
    33. #include "VideoWidget.h"
    34. VideoWidget::VideoWidget(QWidget *parent)
    35.     : QWidget(parent) {
    36.     // 注册SDL类
    37.     qRegisterMetaType("SDL_Rect");
    38. }
    39. VideoWidget::~VideoWidget() {
    40.     if (frame)
    41.         av_frame_free(&frame);
    42.     if (sdlTexture)
    43.         SDL_DestroyTexture(sdlTexture);
    44.     if (sdlRenderer)
    45.         SDL_DestroyRenderer(sdlRenderer);
    46.     if (sdlWindow)
    47.         SDL_DestroyWindow(sdlWindow);
    48.     SDL_Quit();
    49. }
    50. void VideoWidget::initSDL() {
    51.     // SDL init
    52.     if (SDL_Init(SDL_INIT_VIDEO) != 0) {
    53.         qDebug() << "SDL_INIT_VIDEO error";
    54.         return;
    55.     }
    56.  
    57.     // 这里必须要先SDL_CreateWindowFrom，然后在设置父类为this，否则会直接把父类当成参数作为背景
    58.     sdlWindow = SDL_CreateWindowFrom((void *) winId());
    59.     //渲染器
    60.     sdlRenderer = SDL_CreateRenderer(sdlWindow, -1, SDL_RENDERER_ACCELERATED | SDL_RENDERER_PRESENTVSYNC);
    61.     //纹理 大小是视频大小
    62.     sdlTexture = SDL_CreateTexture(sdlRenderer, SDL_PIXELFORMAT_BGRA32, SDL_TEXTUREACCESS_STREAMING, 1920, 1080);
    63.     SDL_SetTextureScaleMode(sdlTexture, SDL_ScaleModeLinear);
    64. }
    65. void VideoWidget::updateImage(const SDL_Rect &sdl_rect, AVFrame *frame) {
    66.     this->m_originalSDLRect = sdl_rect;
    67.     this->frame = frame;
    68.     this->update();
    69. }
    70. void VideoWidget::paintEvent(QPaintEvent *event) {
    71.     if (!frame) {
    72.         return;
    73.     }
    74. #if 0//QPainter渲染
    75.         QImage image((uchar *) frame->data[0], 1920, 1080, QImage::Format_RGB32);
    76.         QPainter painter(this);
    77.         painter.drawImage(this->rect(), image);
    78. #endif
    79.  
    80. #if 1//SDL渲染
    81.     int ret = 1;
    82.     ret = SDL_RenderClear(sdlRenderer);
    83.     if (ret != 0) {
    84.         qDebug() << "SDL_RenderClear error";
    85.     }
    86.     // 创建SDL纹理并从表面创建
    87.     ret = SDL_UpdateTexture(sdlTexture, &m_originalSDLRect, frame->data[0], frame->linesize[0]);
    88.     //    ret = SDL_UpdateYUVTexture(sdlTexture, &sdlRect2, frame->data[0], frame->linesize[0], frame->data[1], frame->linesize[1], frame->data[2], frame->linesize[2]);
    89.     if (ret != 0) {
    90.         qDebug() << "SDL_UpdateYUVTexture error:" << SDL_GetError();
    91.     }
    92.     // 将纹理绘制到渲染器上
    93.     ret = SDL_RenderCopy(sdlRenderer, sdlTexture, &m_originalSDLRect, nullptr);
    94.     if (ret != 0) {
    95.         qDebug() << "SDL_RenderCopy error";
    96.     }
    97.     //     刷新渲染器，将内容显示到窗口上
    98.     SDL_RenderPresent(sdlRenderer);
    99. #endif
    100. }

    PlayerMain

    因为我们使用到了QT，所以先简单创建一个qt的ui，并且在内调用播放视频的函数，测试是否能够看见画面

    1. //PlayerMain.h
    2. #include 
    3. #include 
    4. //-----------
    5. #include "queue/AVFrameQueue.h"
    6. #include "queue/AVPacketQueue.h"
    7. #include "thread/DecodeThread.h"
    8. #include "thread/DemuxThread.h"
    9. #include "widget/VideoWidget.h"
    10. #include "output/VideoOutPut.h"
    11.  
    12.  
    13. QT_BEGIN_NAMESPACE
    14. namespace Ui {
    15.     class PlayerMain;
    16. }
    17. QT_END_NAMESPACE
    18.  
    19. class PlayerMain : public QWidget {
    20.     Q_OBJECT
    21.  
    22. public:
    23.     explicit PlayerMain(QWidget *parent = nullptr);
    24.     ~PlayerMain() override;
    25.  
    26. private:
    27.     Ui::PlayerMain *ui;
    28.  
    29.     // 解复用
    30.     DemuxThread *demuxThread;
    31.     DecodeThread *audioDecodeThread;
    32.     DecodeThread *videoDecodeThread;
    33.  
    34.     // 解码-音频
    35.     AVPacketQueue audioPacketQueue;
    36.     AVFrameQueue audioFrameQueue;
    37.     // 解码-视频
    38.     AVPacketQueue videoPacketQueue;
    39.     AVFrameQueue videoFrameQueue;
    40.     VideoOutPut *videoOutPut;
    41. };
    42.  
    43.  
    44.  
    45. //PlayerMain.cpp
    46. #include "PlayerMain.h"
    47. #include "ui_PlayerMain.h"
    48.  
    49.  
    50. PlayerMain::PlayerMain(QWidget *parent)
    51.     : QWidget(parent), ui(new Ui::PlayerMain) {
    52.     ui->setupUi(this);
    53.  
    54.  
    55.     // 解复用
    56.     demuxThread = new DemuxThread(&audioPacketQueue, &videoPacketQueue);
    57.     demuxThread->setUrl("/Users/mac/Downloads/0911超前派对：于文文孟佳爆笑猜词 王源欧阳靖脑洞大开.mp4");
    58.     //    demuxThread->setUrl("/Users/mac/Downloads/23.mp4");
    59.     demuxThread->start();
    60.     int ret;
    61.     // 解码-音频
    62.     audioDecodeThread = new DecodeThread(
    63.             demuxThread->getCodec(MediaType::Audio),
    64.             demuxThread->getCodecParameters(MediaType::Audio),
    65.             &audioPacketQueue,
    66.             &audioFrameQueue);
    67.     audioDecodeThread->init();
    68.     audioDecodeThread->start();
    69.     // 解码-视频
    70.     videoDecodeThread = new DecodeThread(
    71.             demuxThread->getCodec(MediaType::Video),
    72.             demuxThread->getCodecParameters(MediaType::Video),
    73.             &videoPacketQueue,
    74.             &videoFrameQueue);
    75.     videoDecodeThread->init();
    76.     videoDecodeThread->start();
    77.  
    78.     // video output
    79.     this->resize(1920/2,1080/2);
    80.     videoOutPut = new VideoOutPut(videoDecodeThread->dec_ctx, &videoFrameQueue);
    81.     videoOutPut->init();
    82.     VideoWidget *videoWidget = new VideoWidget(this);
    83.     connect(videoOutPut, &VideoOutPut::refreshImage, videoWidget, &VideoWidget::updateImage);
    84.     videoWidget->show();
    85.     videoWidget->initSDL();
    86.     videoOutPut->start();
    87. //    videoWidget->setParent(this);
    88. }
    89.  
    90. PlayerMain::~PlayerMain() {
    91.     delete ui;
    92. }

    测试运行结果

    播放器开发(五)：视频帧处理并用SDL渲染播放 结果

  • 相关阅读:
    vue3导出表格（导出成Execl表）
    #力扣：70. 爬楼梯@FDDLC
    聊聊数据库事务内嵌TCP连接
    Redis运行为什么快
    什么是轻量应用服务器？腾讯云轻量服务器可以干什么？
    .NET开源功能强大的串口调试工具
    Java面试中的常问的多线程问题
    Mac电脑录屏软件 Screen Recorder by Omi 中文最新
    JWT令牌实现登陆校验
    【Linux】权限
  • 原文地址：https://blog.csdn.net/xyl192960/article/details/134616968