OpenTok iOS SDK 2.18.1 屏幕共享质量问题

如何解决OpenTok iOS SDK 2.18.1 屏幕共享质量问题

我们正在使用 ReplayKit 获取 CMSSampleBuffers 并将它们转发给 OTVideoCaptureConsumer，在将 ReplayKit 缓冲区大小调整为 1280x720 或 1024x768 缓冲区后，我们获得了屏幕共享提要，但它总是变得模糊。

在确保我们控制发送到 videoCaptureConsumer 的 FPS 以限制带宽后，我们仍然无法从订阅设备上的媒体路由器接收到高质量的图像。

我们验证发送到 OpenTok OTVideoCaptureConsumer 的图像是清晰的图像，但在订阅者端生成的流总是很快变得模糊

问题：有人想出一种使用 OpenTok iOS SDK 获得干净的 OTPublisher 屏幕共享提要的方法吗？

尝试：

• 发送帧的不同方式：

我尝试使用 CVPixelBuffer 和 OTVideoFrame 发送图像。当没有从相机接收到帧时，sample suggested by OpenTok support 对相机图像使用 CVPixelBuffer 方法，对黑色图像使用 OTVideoFrame 方法。但无论哪种方式，结果流都会变得模糊

• 不同的格式和尺寸：

我没有找到任何提及 iOS SDK 预期图像规格的文档。有什么东西可以帮助我们了解支持的图像格式、数据大小限制和支持的分辨率吗？

我尝试从我们的应用程序向 videoCaptureConsumer 发送 ReplayKit 缓冲区，例如：9.7 Pro iPad 的原生屏幕分辨率为 1920x1440，这似乎被 iOS SDK 接受（返回成功），但只呈现黑色订阅者端的屏幕。

我只是没有其他想法

• 当 ReplayKit 停止发送帧时重传最后一帧：

我在 Twilio ReplayKit 示例中看到了这种行为，但是当 ReplayKit 不发送任何帧时，我们是否应该重新发送最后一帧？如果没问题，或者如果我们这样做，媒体路由器是否会正常运行，我没有看到任何文档

PS：我找到的一些参考资料，以防对其他人有帮助

我在 OpenTok's support suggested sample 中看到的所有内容是：

• iOS AVCaptureSession 支持的预设，然后转发到 OTVideoCapturer (Custom-Video-Driver/Lets-Build-OTPublisher/Single-Cam-Capturer/TBExampleVideoCapture.m#L255)

• 黑帧的硬编码大小（Custom-Video-Driver/Lets-Build-OTPublisher/Single-Cam-Capturer/TBExampleVideoCapture.m#L552）

• 未处理的 CMSampleBuffer 直接转发给 videoCaptureConsumer (Custom-Video-Driver/Lets-Build-OTPublisher/Single-Cam-Capturer/TBExampleVideoCapture.m#L711)

来自 OpenTok 的文档和论坛帖子：

• OTVideoCaptureConsumer doc

• OTPublisherKit doc 提到 FPS 应为 5 FPS 或更低，以及代码本身

• related question

• 和 JS doc regarding the maximum resolutions which seem to be set on the publisher for screen share

我还发现了一些有助于理解可能是什么问题的其他帖子：

• 遗憾的是不是一个好的... who mentioned that images needed to be "multiple of 16"

• 另一个sample that seem to have treated that case too and limits the output to 1280