FFMPEG视频编解码流程 H.264硬件编解码实现

目前，智能手机、PDA和平板电脑等越来越多的嵌入式设备支持高清视频采集和播放功能，高清视频的采集或播放功能正广泛用于游戏设备、监控设备、视频会议设备和数字网络电视等嵌入式系统中。这些功能的实现建立在高性能视频硬件编解码技术基础之上。本文阐述了基于FFmpeg的H.264视频硬件编解码在S3C6410处理器上的实现方法，为数字娱乐、视频监控和视频通信系统开发过程中的高清视频硬件编解码的实现提供参考。

FFmpeg［1］是一个开源免费跨平台的视频和音频流方案，属于自由软件。它包含非常先进的音频/视频编解码库libavcodec，提供了录制、转换以及流化音视频的完整解决方案。FFmpeg支持MPEG4、FLV等40多种编码，以及AVI、ASF等90多种解码。目前国内较为流行的播放器暴风影音和国外较为流行的Mplayer在音频/视频编解码方面都用到了FFmpeg。

S3C6410［2］是三星公司推出的应用处理器芯片，基于ARM11架构，主频最高可达800 MHz。它具有多媒体硬件加速功能，其中包括大于30 fps的MPEG4 SP、H.264/263 BP和VC1（WMV9）多种视频硬件编解码，可用于手机、平板电脑和游戏机等手持移动设备和其他高性能嵌入式设备。国产手机魅族M8的处理器使用的就是S3C6410。

虽然FFmpeg提供了简单的应用程序编程接口（API），可以很方便地实现多种格式的视频软件编解码［3］，但是软件编解码在处理复杂视频编解码（如H.264）时无法运用到处理速度不快、内存空间不多的嵌入式环境中。为了在资源有限的嵌入式环境下使用FFmpeg实现复杂视频编解码，下面在分析FFmpeg视频编码流程和S3C6410处理器视频编解码方法的基础上，阐述嵌入式Linux操作系统下基于FFmpeg的H.264硬件编解码在S3C6410处理器上的实现方法。

1　FFmpeg视频编解码流程

FFmpeg主要有encode/decode、muxer/demuxer和内存操作3个模块。encode/decode模块用于音视频的编码和解码，存放在libavcodec子目录中；muxer/demuxer模块用于音频和视频的合并与分离（也称混合器模块），存放在libavformat目录中；内存等常用模块存放于libavutil目录中。下面以解码过程为例分析FFmpeg视频编解码流程。

解码基本流程共分4步：

① 注册所有可能用到的编解码器和混合器。av_register_all（void）函数中通过执行 REGISTER_MUXDEMUX（X，x）和REGISTER_ENCDEC（X，x），把所有FFmpeg支持的混合器和编解码器相关信息以链式的结构存放在内存中。

② 打开视频文件。av_open_input_file（AVFormatContext **ic_ptr，const char *filename，AVInputFormat *fmt，int buf_size，AVFormatParameters *ap）函数中侦测文件的格式，根据文件格式从链式的混合器中找到相对应的混合器（demuxer）并分离出视频信息。

③ 获取视频信息。通过av_find_stream_info（AVFormatContext *ic）函数获取视频格式。根据视频格式，在链式的视频解码器中找到相应的视频解码器，并通过avcodec_open（AVCodecContext *avctx，AVCodec *codec）函数将解码器打开用于下一步视频的解码。

④ 解码一帧视频，通过 avcodec_decode_video（AVCodecContext *avctx，AVFrame *picture，int *got_picture_ptr，const uint8_t *buf，int buf_size）函数解码一帧视频。

FFmpeg的编码过程与解码过程类似，不同的是第3步根据要求编码的格式在链式的视频编码器中找到相应的视频编码器，并执行编码过程。

通过以上对FFmpeg视频编解码流程分析可以知道，为了在FFmpeg中添加自定义的视频编解码器，并在程序运行时使用这个编解码器，关键在于如下两点：

① 根据FFmpeg对编解码器的描述，实现自定义编解码器。

② 通过REGISTER_ENCDEC（X，x）函数将自定义的视频编解码器添加到视频编解码器链中。在获取视频信息时，保证需要编码或解码的视频能找到视频编解码器链中自定义的视频编解码器。

2　S3C6410处理器视频编解码方法

S3C6410视频编解码软件架构［4］如图1所示。底层为操作系统空间，上层为用户空间，视频编解码器通过驱动和操作系统以设备文件的形式使用，使用的方法和普通文件一样，包括文件打开和关闭、文件读写和输入/输出控制（ioctl，input/output control）。

图1　S3C6410视频编解码软件架构

具体操作方法如下：

① 通过open函数打开编解码器设备文件；

② 使用mmap方法在用户空间和驱动空间之间映射输入/输出缓存空间，这样做的好处是可以快速进行数据输入/输出；

③ 通过ioctl设备编解码参数，初始化编解码器；

④ 输入数据，通过ioctl执行编解码过程，输出数据；

⑤ 通过close方法关闭编解码器设备文件。

值得注意的是，无论编码还是解码，处理的数据都是以一帧帧的形式操作的，所以第4步是一个不断循环的过程，直到所有数据处理完成。另外，虽然编解码器以设备文件的形式使用，但是它不能使用标准的文件读写操作，查看编解码的设备驱动可以发现，其文件读写函数是空的，这一点三星公司的开发文档并没有说明。