0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

嵌入式Qt-FFmpeg设计一个RTSP播放器

码农爱学习 来源:码农爱学习 作者:码农爱学习 2022-09-16 08:47 次阅读

上篇文章,介绍了FFmpeg的交叉编译,以及在嵌入式Linux平台,运行ffmpeg指令来播放视频

本篇,将通过Qt程序,设计一个RTSP视频播放器,来播放网络视频,并增加启动、暂停等操作按钮。

1 FFMPEG 库介绍

pYYBAGMjLveAYA2ZAAAy1ZYyJjU782.png

1.1 ffmpeg的7个库

ffmpeg有7个library,分别是:

avutil

swscale

swresample

avcodec

avformat

avdevice

avfilter

avutil 工具库

avutil是一个实用的工具库用于辅助可移植的多媒体编程。它包含安全的可移植的字符串函数,随机数生成器,数据结构,附加的数学函数,密码学和多媒体相关功能(例如像素和样本格式的枚举)。它不是 libavcodec 和 libavformat 都需要的代码库。

swscale 视频像素数据格式转换

swscale库执行高度优化的图像缩放以及色彩空间和像素格式转换操作,这个库执行以下转换:

Recailing:是改变视频大小的过程。 有几个重新缩放选项和算法可用。 这通常是一个有损过程。

Pixel format conversion:是将图像的图像格式和色彩空间转换的过程,例如从平面YUV420P 到RGB24 打包。 它还处理打包方式转换,即从Packed布局转换为Planar布局。

注意:如果源和目标颜色空间不同,这通常是一个有损过程。

swresample 音频采样数据格式转换

swresample库执行高度优化的音频重采样,重矩阵化和样本格式转换操作,这个库执行以下转换:

Resampling:是改变音频码率的过程,例如从一个高采样率44100Hz转化为8000Hz。音频从高采样率转换为低采样率是一个有损的过程。有几种重采样选项和算法可用。

Format conversion:是一个转换样本类型的过程,例如从有符号16-bit(int16_t)样本转换为无符号8-bit(uint8_t)或浮点样本。它也处理打包方式转换,如从Packed布局转换为Planar布局。

Rematrixing:是改变通道布局的过程,例如从立体声到单声道。当输入通道不能映射到输出流时,这个过程是有损的,因为它涉及不同的增益因子和混合。 通过专用选项启用各种其他音频转换(例如拉伸和填充)。

avcodec 编解码

avcodec库提供了一个通用的编码/解码框架,并且包含用于音频、视频、字幕流的多个编解器和解码器共享架构提供从比特流 I/O 到 DSP 优化的各种服务,使其适用于实现鲁棒和快速的编解码器以及实验。

avformat 封装格式处理

libavformat库为音频、视频和字幕流的复用和解复用(muxing and demuxing)提供了一个通用框架。它包含多个用于媒体容器格式的多个复用器和解复用器,它还支持多种输入和输出协议来访问媒体资源。

avdevice 设备的输入输出

avdevice 库提供了一个通用框架,用于从许多常见的多媒体输入/输出设备进行抓取和渲染,并支持多种输入和输出设备,包括 Video4Linux2、VfW、DShow 和 ALSA。

avfilter 滤镜特效处理

avfilter 库提供了一个通用的音频/视频过滤框架,其中包含多个过滤器、源和接收器

1.2 win平台FFmpeg库下载

Win平台的Qt Creator需要用到Visual Stdio的功能,我电脑的Visual Stdio的2015版(对应的是msvc14),因此,我下载的FFmpeg是4.4版的,再高的版本就没有msvc14的了。

https://github.com/ShiftMediaProject/FFmpeg/releases/tag/4.4.r101753

pYYBAGMjLwKALy6_AACHpWDsQdU236.png

2 Qt程序设计

2.1 RTSP解码与视频播放流程

先来看下FFmpeg对RTSP解码的处理流程:

poYBAGMjLwyAfnbpAACDhDk0Ucs320.png

2.2 视频解码

对照上面的流程图,使用FFmpeg对RTSP视频流的解码如下:

void VideoPlayer::run()
{
    AVFormatContext *pFormatCtx; //音视频封装格式上下文结构体
    AVCodecContext  *pCodecCtx;  //音视频编码器上下文结构体
    AVCodec *pCodec; //音视频编码器结构体
    AVFrame *pFrame; //存储一帧解码后像素数据
    AVFrame *pFrameRGB;
    AVPacket *pPacket; //存储一帧压缩编码数据
    uint8_t *pOutBuffer;
    static struct SwsContext *pImgConvertCtx;

    avformat_network_init();   //初始化FFmpeg网络模块
    av_register_all();         //初始化FFMPEG  调用了这个才能正常适用编码器和解码器

    //Allocate an AVFormatContext.
    pFormatCtx = avformat_alloc_context();

    //AVDictionary
    AVDictionary *avdic=nullptr;
    char option_key[]="rtsp_transport";
    char option_value[]="udp";
    av_dict_set(&avdic,option_key,option_value,0);
    char option_key2[]="max_delay";
    char option_value2[]="100";
    av_dict_set(&avdic,option_key2,option_value2,0);

    if (avformat_open_input(&pFormatCtx, m_strFileName.toLocal8Bit().data(), nullptr, &avdic) != 0)
    {
        printf("can't open the file. \n");
        return;
    }

    if (avformat_find_stream_info(pFormatCtx, nullptr) < 0)
    {
        printf("Could't find stream infomation.\n");
        return;
    }

    //查找视频中包含的流信息,音频流先不处理
    int videoStreamIdx = -1;
    qDebug("apFormatCtx->nb_streams:%d", pFormatCtx->nb_streams);
    for (int i = 0; i < pFormatCtx->nb_streams; i++)
    {
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            videoStreamIdx = i; //视频流
        }
    }
    if (videoStreamIdx == -1)
    {
        printf("Didn't find a video stream.\n"); //没有找到视频流
        return;
    }

    //查找解码器
    qDebug("avcodec_find_decoder...");
    pCodecCtx = pFormatCtx->streams[videoStreamIdx]->codec;
    pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
    if (pCodec == nullptr)
    {
        printf("Codec not found.\n");
        return;
    }
    pCodecCtx->bit_rate =0;   //初始化为0
    pCodecCtx->time_base.num=1;  //下面两行:一秒钟25帧
    pCodecCtx->time_base.den=10;
    pCodecCtx->frame_number=1;  //每包一个视频帧

    //打开解码器
    if (avcodec_open2(pCodecCtx, pCodec, nullptr) < 0)
    {
        printf("Could not open codec.\n");
        return;
    }

    //将解码后的YUV数据转换成RGB32
    pImgConvertCtx = sws_getContext(pCodecCtx->width, pCodecCtx->height,
                                     pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height,
                                     AV_PIX_FMT_RGB32, SWS_BICUBIC, nullptr, nullptr, nullptr);

    int numBytes = avpicture_get_size(AV_PIX_FMT_RGB32, pCodecCtx->width,pCodecCtx->height);

    pFrame     = av_frame_alloc();
    pFrameRGB  = av_frame_alloc();
    pOutBuffer = (uint8_t *) av_malloc(numBytes * sizeof(uint8_t));
    avpicture_fill((AVPicture *) pFrameRGB, pOutBuffer, AV_PIX_FMT_RGB32, pCodecCtx->width, pCodecCtx->height);

    pPacket = (AVPacket *) malloc(sizeof(AVPacket)); //分配一个packet
    int y_size = pCodecCtx->width * pCodecCtx->height;
    av_new_packet(pPacket, y_size); //分配packet的数据

    while (1)
    {
        if (av_read_frame(pFormatCtx, pPacket) < 0)
        {
            break; //这里认为视频读取完了
        }

        if (pPacket->stream_index == videoStreamIdx)
        {
            int got_picture;
            int ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture,pPacket);
            if (ret < 0)
            {
                printf("decode error.\n");
                return;
            }

            if (got_picture)
            {
                sws_scale(pImgConvertCtx, (uint8_t const * const *) pFrame->data, pFrame->linesize,
                          0, pCodecCtx->height, pFrameRGB->data, pFrameRGB->linesize);

                //把这个RGB数据 用QImage加载
                QImage tmpImg((uchar *)pOutBuffer, pCodecCtx->width, pCodecCtx->height, QImage::Format_RGB32);
                QImage image = tmpImg.copy(); //把图像复制一份 传递给界面显示
                emit sig_GetOneFrame(image);  //发送信号
            }
        }
        av_free_packet(pPacket);
        //msleep(0.02);
    }
void MainWindow::slotGetOneFrame(QImage img)
{
    ui->labelCenter->clear();
    if(m_kPlayState == RPS_PAUSE)
    {
       return;
    }

    m_Image = img;
    update(); //调用update将执行paintEvent函数
}

void MainWindow::paintEvent(QPaintEvent *event)
{
    QPainter painter(this);
    int showWidth = this->width() - 100;
    int showHeight = this->height() - 50;

    painter.setBrush(Qt::white);
    painter.drawRect(0, 0, this->width(), this->height()); //先画成白色

    if (m_Image.size().width() <= 0)
    {
        return;
    }

    //将图像按比例缩放
    QImage img = m_Image.scaled(QSize(showWidth, showHeight),Qt::KeepAspectRatio);
    img = img.mirrored(m_bHFlip, m_bVFlip);

    int x = this->width() - img.width();
    int y = this->height() - img.height();
    x /= 2;
    y /= 2;

    painter.drawImage(QPoint(x-40,y+20),img); //画出图像
}
    av_free(pOutBuffer);
    av_free(pFrameRGB);
    avcodec_close(pCodecCtx);
    avformat_close_input(&pFormatCtx);
}

解码出一帧图像后,发送信号给图像显示线程显示

2.3 视频显示

这里是图像显示的处理:

void MainWindow::slotGetOneFrame(QImage img)
{
    ui->labelCenter->clear();
    if(m_kPlayState == RPS_PAUSE)
    {
       return;
    }

    m_Image = img;
    update(); //调用update将执行paintEvent函数
}

void MainWindow::paintEvent(QPaintEvent *event)
{
    QPainter painter(this);
    int showWidth = this->width() - 100;
    int showHeight = this->height() - 50;

    painter.setBrush(Qt::white);
    painter.drawRect(0, 0, this->width(), this->height()); //先画成白色

    if (m_Image.size().width() <= 0)
    {
        return;
    }

    //将图像按比例缩放
    QImage img = m_Image.scaled(QSize(showWidth, showHeight),Qt::KeepAspectRatio);
    img = img.mirrored(m_bHFlip, m_bVFlip);

    int x = this->width() - img.width();
    int y = this->height() - img.height();
    x /= 2;
    y /= 2;

    painter.drawImage(QPoint(x-40,y+20),img); //画出图像
}

2.4 按键操作处理

客户端界面中,有启动、暂停播放和视频画面翻转按钮,对应的处理逻辑如下:

void MainWindow::on_pushButton_toggled(bool checked)
{
    if (checked) //第一次按下为启动,后续则为继续
    {
        if(m_kPlayState == RPS_IDLE)
        {
            ui->lineEditUrl->setEnabled(false);
            m_strUrl = ui->lineEditUrl->text();
            m_pPlayer->startPlay(m_strUrl);

            ui->labelCenter->setText("rtsp网络连接中...");
        }
        m_kPlayState = RPS_RUNNING;
        ui->pushButton->setText("暂停");
    }
    else
    {
        m_kPlayState = RPS_PAUSE;
        ui->pushButton->setText("播放");
    }
}

void MainWindow::on_checkBoxVFlip_clicked(bool checked)
{
    m_bVFlip = checked;
}

void MainWindow::on_checkBoxHFlip_clicked(bool checked)
{
    m_bHFlip = checked;
}

2.5 pro文件

因为要用到FFmpeg库,因此需要注意以下对FFmpeg库的引用,需要修改Qt工程的pro文件

QT       += core gui

greaterThan(QT_MAJOR_VERSION, 4): QT += widgets

TARGET = rtspPlayer
TEMPLATE = app

SOURCES += main.cpp \
    videoplayer.cpp \
    mainwindow.cpp

HEADERS  += \
    videoplayer.h \
    mainwindow.h

FORMS    += \
    mainwindow.ui

INCLUDEPATH+=$$PWD/ffmpeg/include

LIBS += $$PWD/ffmpeg/lib/x64/avcodec.lib \
        $$PWD/ffmpeg/lib/x64/avdevice.lib \
        $$PWD/ffmpeg/lib/x64/avfilter.lib \
        $$PWD/ffmpeg/lib/x64/avformat.lib \
        $$PWD/ffmpeg/lib/x64/avutil.lib \
        $$PWD/ffmpeg/lib/x64/postproc.lib \
        $$PWD/ffmpeg/lib/x64/swresample.lib \
        $$PWD/ffmpeg/lib/x64/swscale.lib

3 运行测试

3.1 Win平台测试

在Win10平台上测试效果如下:

pYYBAGMjL6CAB3WnAAFhBmvumEE993.png

3.2 嵌入式Linux平台测试

在嵌入式Linux平台运行,也需要先进行FFmpeg运行环境的搭建,上篇文章已介绍如何交叉编译FFmpeg源码以及在嵌入式Linux平台搭建FFmpeg运行环境。

3.2.1 需要安装4.4版本的库

由于不同版本FFmpeg的API函数有些差别,上篇使用的是较新版本的FFmpeg源码,与4.4版本的可能不太一样,因此,需要参考上篇文章,重新在嵌入式Linux环境中安装4.4版本的FFmpeg。

4.4版本的源码可从如下链接下载:https://ffmpeg.org/download.html

pYYBAGMjL6eAd8YTAACVn6t-ls4492.png

3.2.2 修改pro文件

然后就是将Qt程序拷贝到Ubuntu中进行交叉编译,在编译之前,还要修改pro文件,使程序能够链接到linux版本的FFmpeg库,具体的修改如下,主要路径要修改为自己的ffmpeg库的安装位置。

INCLUDEPATH+=$$PWD/../ffmpeg442_install/include \
             $$PWD/../x264_install/include

LIBS += $$PWD/../ffmpeg442_install/lib/libavcodec.so \
        $$PWD/../ffmpeg442_install/lib/libavdevice.so \
        $$PWD/../ffmpeg442_install/lib/libavfilter.so \
        $$PWD/../ffmpeg442_install/lib/libavformat.so \
        $$PWD/../ffmpeg442_install/lib/libavutil.so \
        $$PWD/../ffmpeg442_install/lib/libpostproc.so \
        $$PWD/../ffmpeg442_install/lib/libswresample.so \
        $$PWD/../ffmpeg442_install/lib/libswscale.so \
		$$PWD/../x264_install/lib/libx264.so

3.3 演示视频

https://www.bilibili.com/video/BV1PB4y1n7ax

poYBAGMjMCWANrtXAA2tC8UnixM969.png

4 总结

本篇介绍了通过Qt程序,设计一个RTSP视频播放器,运行在嵌入式Linux平台上,来播放网络视频,并增加启动、暂停、画面翻转等操作按钮。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 嵌入式
    +关注

    关注

    5082

    文章

    19107

    浏览量

    304835
  • 播放器
    +关注

    关注

    5

    文章

    397

    浏览量

    37409
  • RTSP
    +关注

    关注

    0

    文章

    13

    浏览量

    12138
  • Qt
    Qt
    +关注

    关注

    1

    文章

    302

    浏览量

    37899
收藏 人收藏

    评论

    相关推荐

    嵌入式Qt-交叉编译FFmpeg与视频播放测试

    本篇介绍了嵌入式Qt播放视频的准备工作:交叉编译FFmpeg库并移植到Linux板子中,并先通过ffmpeg指令测试视频
    的头像 发表于 09-15 02:08 2440次阅读
    <b class='flag-5'>嵌入式</b><b class='flag-5'>Qt</b>-交叉编译<b class='flag-5'>FFmpeg</b>与视频<b class='flag-5'>播放</b>测试

    基于MiniGUI的嵌入式媒体播放器的设计与实现

    的API接口,是多窗口GUI支持系统。本文首先比较各种嵌入式图形系统,然后提出基于MiniGUI的嵌入式媒体播放器的设计与实现方法。&n
    发表于 09-25 17:17

    嵌入式媒体播放器怎么实现?

    随着嵌入式系统的不断发展,处理性能的不断提升,存储系统容量的不断扩大,各种多媒体应用程序被移植到嵌入式系统中,多媒体组件成为其不可或缺的重要组成部分。本文在比较如今流行的几种嵌入式
    发表于 08-29 06:12

    如何实现基于QT4.7.4音乐播放器的设计

    [嵌入式Linux项目实战开发]基于QT4.7.4的音乐播放器实现与设计【2018年给力项目】是【创科之龙】团队aiku嵌入式视频教程系列制作的现有的音乐
    发表于 11-05 06:20

    嵌入式媒体播放器

    摘要:计算机多媒体技术和嵌入式技术的高速发展,各种集计算机、通信、消费电子产品等特征于体的电子产品得以广泛应用,嵌入式媒体播放器已经成为此类产品中主要的应用软件。同时,随着Linux
    发表于 11-05 06:49

    基于Qt嵌入式媒体播放器系统的设计

    本文以无线多媒体终端项目的需求为背景,提出了种适用于嵌入式系统的媒体播放器架构设计方案。论文给出了嵌入式系统中音视频同步的解决方案,有
    发表于 06-01 14:30 105次下载

    嵌入式RMVB播放器音视频同步及其实现

    随着计算机多媒体技术和嵌入式技术的发展,便携的嵌入式播放器也日渐流行。由于嵌入式设备资源有限,因此如何在有限的资源下实现多媒体音视频的同步是
    发表于 02-23 15:07 34次下载

    基于DirectFB的嵌入式播放器设计

     本文首先对DirectFB进行了详细的介绍,接着提出了种宽松的、可分解的嵌入式播放器设计方案。该方案资源消耗少、可移植性强、系统各个模块间依赖度小,使得用户能够根据自己的
    发表于 05-15 09:31 1555次阅读
    基于DirectFB的<b class='flag-5'>嵌入式</b><b class='flag-5'>播放器</b>设计

    基于嵌入式Linux流媒体播放器系统软硬件解决方案

    本系统选用TQ2440 开发板作为硬件平台,采用嵌入式Linux 操作系统给出流媒体播放器系统具体的软硬件解决方案,设计了款基于嵌入式Linux 的机顶盒媒体
    发表于 06-13 11:41 2812次阅读
    基于<b class='flag-5'>嵌入式</b>Linux流媒体<b class='flag-5'>播放器</b>系统软硬件解决方案

    基于Windows CENet 42嵌入式操作系统多媒体播放器

    本文介绍了基于Windows CE.Net 4.2嵌入式操作系统,运用eMbedded Visual C++4.0软件开发款功能较为齐全的嵌入式多媒体视频/音频播放器的完整流程。相对
    发表于 04-18 11:28 0次下载

    基于STM32F103VCT的嵌入式媒体播放器设计

    基于STM32F103VCT的嵌入式媒体播放器设计
    发表于 09-25 11:23 18次下载
    基于STM32F103VCT的<b class='flag-5'>嵌入式</b>媒体<b class='flag-5'>播放器</b>设计

    基于DirectFB的嵌入式播放器的设计与实现

    。本文提出了种基于DirectFB嵌入式播放器解决方案,有效地降低嵌入式系统的资源消耗,适用于CPU频率小于400MHz的中低端嵌入式系统
    发表于 11-30 11:55 647次阅读
     基于DirectFB的<b class='flag-5'>嵌入式</b><b class='flag-5'>播放器</b>的设计与实现

    使用嵌入式系统及应用设计音乐播放器的程序免费下载

    本文档的主要内容详细介绍的是使用嵌入式系统及应用设计音乐播放器的程序免费下载
    发表于 06-28 08:00 6次下载
    使用<b class='flag-5'>嵌入式</b>系统及应用设计音乐<b class='flag-5'>播放器</b>的程序免费下载

    [嵌入式Linux项目实战开发]基于QT4.7.4的音乐播放器实现与设计【2018年给力项目】

    [嵌入式Linux项目实战开发]基于QT4.7.4的音乐播放器实现与设计【2018年给力项目】是【创科之龙】团队aiku嵌入式视频教程系列制作的现有的音乐
    发表于 11-02 11:20 41次下载
    [<b class='flag-5'>嵌入式</b>Linux项目实战开发]基于<b class='flag-5'>QT</b>4.7.4的音乐<b class='flag-5'>播放器</b>实现与设计【2018年给力项目】

    EFSL嵌入式MP3播放器设计原理

    电子发烧友网站提供《EFSL嵌入式MP3播放器设计原理.pdf》资料免费下载
    发表于 10-11 10:44 1次下载
    EFSL<b class='flag-5'>嵌入式</b>MP3<b class='flag-5'>播放器</b>设计原理