使用 opencv 录制视频并在浏览器中播放的通用编解码器

如何解决使用 opencv 录制视频并在浏览器中播放的通用编解码器

我正在尝试用 OpenCV 做一个录音系统。我用它来录制视频。

这是一个例子：

import cv2
cap = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'MJPEG')
out = cv2.VideoWriter('example.mkv',fourcc,20.0,(640,480))
while(cap.isOpened()):
    ret,frame = cap.read()
    if ret==True:
        out.write(frame)
        cv2.imshow('frame',frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    else:
        break
cap.release()
out.release()
cv2.destroyAllWindows()

这是一个录音系统，我不能使用 mp4 容器及其编解码器，因为：

如果出现意外问题，录制将无法正确结束并会损坏。
我录制了 5 分钟的录音，虽然其中一段录音无法完成，但您无法播放。

这就是我使用 mkv 或 avi 和 mjpg 编解码器的原因。录音效果很好。我可以在我的电脑上播放视频，但不能使用 video 元素在浏览器中播放，因为它不支持 mkv 或 avi 容器和 mjpg 编解码器。不幸的是，我没有足够强大的机器来使用编解码器重新编码视频。我使用 ffmpeg 来做这件事，我应该传递 -vcodec copy 参数来加速这个过程。在其他情况下，它会太慢。是否有通用的编解码器和容器可用于保存录音并且对浏览器有效？

解决方法

大多数设备和浏览器仅支持硬件可解码编解码器，它们是：带有 .mp4/.mov 容器和 vp8/vp9 .webm 容器的 h264/h265 (HEVC)。如果没有正确完成，两者都会被破坏。将来会有AV1。所以不要依赖 MJPEG、PNG 等编解码器和 AVI 等容器。您可以做的是使用工具 untrunc 修复 mp4 文件，当 MP4 没有正确写入时，主要问题是 MOOV atom。

使用 PyAV。它是 ffmpeg for python 的包装器。你在这里需要一些灵活性。 ffmpeg/PyAV 给你。 ffmpeg 允许您使用硬件编码，如果它可用并且您要求的话。 OpenCV 的目的不是编码视频，而是计算机视觉。

使用 MPEG 传输流 (.ts)。这就是 HLS 流使用的内容。如果浏览器本身无法处理它，那么可以使用 javascript。传输流还有一个优势，你可以以任何方式屠宰它们，除了被屠宰的部分外，它们仍然可以恢复。 MP4一般无法修复，只有满足特定条件。 TS 首先不需要维修。

使用 H.264。实际上，它非常兼容，并且最接近您今天将获得的“通用”。如果您重视可恢复性，则应仅对 Intra-only 进行编码。

是否有通用的编解码器和容器可用于保存录音，并且对浏览器有效？

是的，容器 mp4，videocodec libx264，如果你有 main.mkv 或 main.avi 使用它

ffmpeg -i main.mkv -c:v libx264 -crf 17  -b:v 6000k -maxrate  6000K -bufsize 4M   -movflags -faststart  -preset veryfast -dn  ./video.mp4

质量和快速编码的参数

-crf 范围 0–51，其中 0 是无损，23 是默认值，51 是可能的最差质量。较低的值通常会导致较高的质量，主观上合理的范围是 17-28。将 17 或 18 视为视觉无损或接近无损；它看起来应该与输入相同或几乎相同，但在技术上并非无损。
-b:v kBit/s 视频比特率
-预设编码速度，超快 superfast veryfast fast medium （默认预设）slow slow veryslow