使用 ffmpeg 解码 AAC 音频

如何解决使用 ffmpeg 解码 AAC 音频

我正在尝试解码 ADTS 容器中的 AAC 音频流，该容器是从外部硬件 H264 编码器流式传输的。

我解析了 ADTS，它告诉我我有一个 2 通道、44100 AAC 主配置文件框架。我为 ffmpeg 解码器设置了额外的数据字节并成功地解码了帧？，如下所示：

（伪 C++ 代码）

设置解码器：

avcodec_find_decoder(codec_id);
avcodec_alloc_context3(context->codec);
avcodec_open2(context->av_codec_context,context->codec,nullptr);
av_init_packet(&context->av_raw_packet);

设置额外的数据字节：

// AOT_MAIN,44.1kHz,Stereo
// 00001010 00010000
// extradata = 0x0A,0X10
memcpy(context->av_codec_context->extradata,extradata,extradataLength);
avcodec_open2(context->av_codec_context,nullptr);

然后解码帧：

// decode frame
const int len = avcodec_decode_audio4(context->av_codec_context,context->frame,&got_frame,&context->av_raw_packet);
*sampleRate = context->av_codec_context->sample_rate;
*sampleFormat = context->av_codec_context->sample_format;
*bitsPerSample = av_get_bytes_per_sample(context->av_codec_context->sample_fmt) * 8;
*channels = context->av_codec_context->channels;
*channelLayout = context->av_codec_context->channelLayout;
// get frame
*outDataSize = av_samples_get_buffer_size(nullptr,context->av_codec_context->channels,context->frame->nb_samples,context->av_codec_context->sample_fmt,1);

解码后的帧：

// array of 8192 bytes,context info is as expected:
context->av_codec_context->channels = 2
context->av_codec_context->channelLayout = 3 (AV_CH_LAYOUT_STEREO)
context->frame->sample_fmt = 8 (AV_SAMPLE_FMT_FLTP) // float,planar
context->frame->sample_rate = 44100

现在据我所知，32 位原始格式中的每个帧每个样本将是 4 个字节，并且每个通道将被交错（因此每 4 个字节是交替通道）。这让我每个通道有 1024 个样本（8192 / 32 位 / 2 个通道）。

我尝试将这些数据的多个帧导出到一个文件，并在 Audacity 中作为原始文件（32 位浮点数、2 通道 44​​100Hz、小端）导入以进行完整性检查。我得到的不是音乐，而是噪音，检测到的音频长度比我预期的要长得多（转储到文件 5 秒，但 Audacity 说 22.5 秒）。我尝试了多种导入格式设置。我在这里可能做错了什么？

我对音频有点陌生，所以我可能会误解一些东西。

编辑：我尝试将音频平移到正确的通道，并将其反映在数据中。它也看起来像一个重复模式，正好相隔 1024 个样本，这向我表明一个编程错误，缓冲区在第一个样本后没有被覆盖。

解决方法

这只不过是一个很难找到的错误。放大 Audacity 中的音频样本，可以看到 1024 个样本的重复模式。

缓冲区实际上没有正确更新，我一遍又一遍地处理相同的音频帧：

for(var offset = 0; offset < packet.Length; offset++) {
  var frame = ReadAdtsFrame();
  // offset += frame.Length; 
  // ^ essentially this was missing,so the frame buffer was always the first frame
}

我将把它留在这里是为了向全世界展示我的耻辱，并提醒您，最终导致您陷入困境的通常是您自己的错误。