本地FTP服务器文件夹迁移到Azure Datalake

如何解决本地FTP服务器文件夹迁移到Azure Datalake

我正在尝试将位于FTP服务器上的本地压缩文件夹迁移到Azure datalake V2。这些文件夹每天在FTP服务器中创建。要求是在迁移时将这些文件夹增量迁移到Azure上，并解压缩文件夹（包含巨大的[大约四倍于网球场]医疗设备的不同子系统的日志）。我使用Data Factory创建管道，并使用触发器在一天的固定时间运行管道，并在迁移后删除FTP上的文件夹。但是，我知道无法删除FTP上的文件夹，因为由于源FTP上存在zip文件，数据工厂不支持此功能。我需要在迁移后删除FTP上的文件夹，因为触发器将使管道甚至可以迁移已经迁移的历史文件夹，而迁移这些大文件可能需要很长时间。

解决方法

1 ，首先，您需要了解解压缩文件并将其移动到Azure Datalake，移动公共文件应在两个活动中。在单个活动中无法同时处理压缩文件和未压缩文件。

用于移动压缩文件的设置：

2 ，Azure Datafactory没有内置功能来处理来自ftp服务器的文件时间。因此，您需要通过文件名反映文件的创建时间，然后在移动文件之前根据文件名进行过滤。

让我知道这是否可以回答您的问题。