如何为批处理视频处理体系结构设计数据管道？

我正在为一个项目构建数据管道，在该管道上，在某些服务器上接收和处理视频，然后使用一些机器学习工具以批处理模式存储和处理视频，以识别对象。处理后的视频输出还应该是视频，也许还有一些带有结果的文本文档，可以将其以结构化格式保存到数据库的某个地方。

我进行了一些研究，发现了一些工具，例如HDFS文件系统，Apache Hadoop，Apache HBase，Apache Kafka，Apache Spark，Apache AirFlow，可以用于此类项目。

我需要经验丰富的人为此类项目提供工具的建议，或者在类似项目的示例方面获得任何帮助，因为我在将所有这些工具相互集成时遇到很大的麻烦。

我的问题是：我应该在哪里保存视频，在哪里可以找到Java或Python的代码示例以集成和实现此过程？任何帮助或建议，将不胜感激，谢谢。