通过上一篇文章,我们用ffmpeg分离出一个多媒体容器中的音视频数据,但是很可能这些数据是不能被正确解码的。为什么呢?因为在解码这些数据之前,需要对解码器做一些配置,典型的就是目前流行的高清编码“黄金搭档”组合H264 + AAC的搭配。本文将讲述H264和AAC的关键解码配置参数的解析,如果没有这些配置信息,数据帧往往不完整,导致了解码器不能解码。
-
H264的配置信息解析
前面我们知道,ffmpeg的avformat_find_stream_info函数可以取得音视频媒体多种,比如播放持续时间、音视频压缩格式、音轨信息、字幕信息、帧率、采样率等。在信息结果中有一项扩展数据描述(avcodec.h文件中):
AVCodecContext定义如下:
如果视频流是H264,这个exTradate里面就包含了H264的配置信息,这个扩展数据有如下定义:
详细解释可以参考“ISO-14496-15 AVC file format”文档。里面最重要的就是NAL长度和SPS,PPS数据和对应的长度信息。对该数据的解析在ffmpeg里面有现成的函数:ff_h264_decode_exTradata,在我的项目里面是自己写的扩展数据解析。
- AAC的配置信息解析及设置
-
- typedef struct
- {
- int write_adts;
- int objecttype;
- int sample_rate_index;
- int channel_conf;
- }ADTSContext;
如果音频数据是AAC流,在解码时需要ADTS(Audio Data Transport Stream)头部,不管是容器封装还是流媒体,没有这个,一般都是不能播放的。很多朋友在做AAC流播放时遇到播不出声音,很可能就是这个原因导致。
ADTS所需的数据仍然是放在上面的扩展数据exTradata中,我们需要先解码这个扩展数据,然后再从解码后的数据信息里面重新封装成头信息,加到每一帧数据之前再送解码器,这样就可以正常解码了。
exTradate数据定义如下:
详细信息及说明请参考“ISO-IEC-14496-3 (Audio)”的AudioSpecificConfig部分。里面最重要的部分有采样频率、通道配置和音频对象类型,这几个一般都是AAC解码器需要的配置参数。
这个数据在ffmpeg中也有相应的解码函数:avpriv_aac_parse_header。在我的项目中,我没有使用这个函数,而是自己实现的:
-
copy
- int aac_decode_exTradata(ADTSContext *adts, unsigned char *pbuf, int bufsize)
- int aot, aotext, samfreindex;
- int i, channelconfig;
- unsigned char *p = pbuf;
- if (!adts || !pbuf || bufsize<2)
- {
- return -1;
- }
- aot = (p[0]>>3)&0x1f;
- if (aot == 31)
- {
- aotext = (p[0]<<3 | (p[1]>>5)) & 0x3f;
- aot = 32 + aotext;
- samfreindex = (p[1]>>1) & 0x0f;
- if (samfreindex == 0x0f)
- {
- channelconfig = ((p[4]<<3) | (p[5]>>5)) & 0x0f;
- }
- else
- channelconfig = ((p[1]<<3)|(p[2]>>5)) & 0x0f;
- else
- samfreindex = ((p[0]<<1)|p[1]>>7) & 0x0f;
- channelconfig = (p[4]>>3) & 0x0f;
- channelconfig = (p[1]>>3) & 0x0f;
- #ifdef AOT_PROFILE_CTRL
- if (aot < 2) aot = 2;
- #endif
- adts->objecttype = aot-1;
- adts->sample_rate_index = samfreindex;
- adts->channel_conf = channelconfig;
- adts->write_adts = 1;
- return 0;
- }