逐帧/按样本播放时同步音频和视频播放

如何解决逐帧/按样本播放时同步音频和视频播放

我目前正在编写一个带有视频和音频预览的 C#/WPF 开源 avisynth 编辑器。 我已经让 avisynth 的所有东西都正常工作了，我可以查询 avisynth 以获取帧（通过帧号，作为位图）并获取音频样本（通过 startindex 和样本数）。

现在我正在为我的应用程序中的播放而苦苦挣扎。我想做的第一件事就是实时播放视频。 问题在于视频/音频同步。当我只播放一帧和相应的音频时，音频段之间存在明显的“间隙”，我发现解决此问题的唯一方法是使用像 NAudios BufferedWaveProvider 这样的缓冲播放。

这样我就可以缓冲多个片段（多个帧的样本）并且它们播放得很好。我现在缺少的是音频片段与视频播放的同步。

我目前的方法是有 3 个线程：

• 1 个线程用音频样本和帧填充队列（大约提前 1 秒）
• 1 个线程只播放 BufferedWaveProvider 中的音频
• 1 个线程负责从队列中取出对象并显示它们或将它们添加到 BufferedWaveProvider

所以线程 1 和 2 看起来不错。队列始终包含元素，并且添加到 BufferedWaveProvider 的所有样本都可以正常播放。问题出在线程 3 中：我不知何故需要能够在那里同步视频和音频。我尝试了各种睡眠（例如直到正在播放的音频缓冲区几乎为空或根据帧速率等待），但它总是不同步或太慢，因此音频包含间隙。

我缺少有关如何在这样的场景中进行音频/视频同步的基本概念，并且在网上找不到太多内容，非常感谢这里的帮助。

为了完整起见，以下是我目前使用的 3 个线程：

private async Task FetchDataLoop()
{
    while (true)
    {
        var frameNumberToBuffer = buffer.CurrentLastBufferedFrame + 1;
        var img = clip.ReadFrame(frameNumberToBuffer);
        var snd = clip.ReadAudio(frameNumberToBuffer * clip.SamplesPerFrame,clip.SamplesPerFrame);
        var newObject = new BufferObject
        {
            VideoData = img,AudioData = snd
        };
        buffer.BufferObjects.Add(newObject);
        buffer.CurrentLastBufferedFrame = frameNumberToBuffer;
    }
}

private async Task SoundplayerLoop()
{
    while (true)
    {
        using (var outputDevice = new WaveOutEvent())
        {
            outputDevice.Init(bufferedWaveProvider);
            outputDevice.Play();
            while (outputDevice.PlaybackState == PlaybackState.Playing)
            {
                // As it is an endless stream,this is never hit
                await Task.Delay(100);
            }
        }
    }
}

private async Task PlayLoop()
{
    var lastFrame = DateTime.Now;
    while (true)
    {
        var bufferedobject = buffer.BufferObjects.Take();

        bufferedWaveProvider.AddSamples(bufferedobject.AudioData,bufferedobject.AudioData.Length);
        Application.Current.dispatcher.Invoke(() =>
        {
            vm.Image = BitmapToImageSource(bufferedobject.VideoData);
        });

        // Todo: Somehow synchronize the audio/video here
    }
}