硬件上实时密集的光流，可在30fps下以4K分辨率

如何解决硬件上实时密集的光流，可在30fps下以4K分辨率

我正在研究一种基于硬件的解决方案（不带GPU），以实现密集的光流，从而以不错的精度获得30fps的实时性能。与NVIDIA光流SDK相当或更好。除了金字塔形卢卡斯·卡纳德（Pyramidal Lukas Kanade）和霍恩·希纳克（horn Schunck）之外，有人可以建议其他好的算法吗？我发现SGM是一个很好的起点，但是很难在FPGA或DSP内核上实现。目标是通过遮挡来测量大位移，并且类似于真实视频。

如果有人能说出NVIDIA使用了什么算法，那就太好了。

解决方法

对于实时设置中的密集光流估计，FlowNet是一个不错的选择。它可以在较高的FPS上实现光流估计。您可以采用他们训练有素的模型来进行推理。由于您要在非GPU环境中运行估算，因此可以尝试将模型转换为ONNX格式。 NVIDIA的Github repo中提供了FlowNet的良好实现。我不确定NVIDIA在其SDK中使用哪种算法进行光流传输。

FlowNet2基于FlowNet的先前工作来计算大位移。但是，如果您担心遮挡，则可以在FlowNet3上检查他们的后续工作。 FlowNet的另一种替代方法是PwC-Net。