从 Pandas 上的 FTP 目录自动读取最新的 csv 文件

如何解决从 Pandas 上的 FTP 目录自动读取最新的 csv 文件

我是 Python 编程的初学者，但我相信我试图解决的问题可能不是什么大问题。

所以我正在开发一个程序，将最新 csv 文件的最后一行呈现给最终用户。目前我正在将 FTP 目录中的最新文件复制并粘贴到例如：

pd.read_csv("ftp://123.4.567.890/folder1/folder2/123.csv")

其中 123.csv 是最新文件。关于如何将 123.csv 文件自动添加到 Pandas read() 函数的任何解决方案？此外，我正在使用 Jupyter Notebook，但不知何故我无法将工作目录从我的 os 更改为 FTP。如果我能够做到这一点，那可能会非常有帮助。 FTP 目录上的文件排列如下所示，没有列名-

02/03/2021 12:00AM         37,471 312.csv
02/03/2021 12:00AM         24,138 312.raw
01/26/2021 12:00AM         31,246 612.csv
01/26/2021 12:00AM         19,098 2612.raw
02/01/2021 12:00AM         15,337 0100.csv
02/01/2021 12:00AM          9,858 0100.raw
02/02/2021 12:00AM        134,098 0112.csv

那么大家如何从上面获取最新的 CSV 文件？

非常感谢您的帮助。

谢谢

解决方法

Pandas 可以直接使用 FTP 协议读取 CSV 文件（不仅限于 HTTP/HTTPS 协议）。

您需要确保您的 ftp URL 正确（您问题中的 IP 地址不是有效的 IP 地址 - IPv4 IP 是 4 x 8 位数字，因此最大为 255.255.255.255） - 并引用最新文件。如果最新文件没有标准化名称，您可能需要进行一些处理。如果您可以控制服务器，则可以添加链接，例如ftp://servername/latest.csv

或者，您可以使用 Python 在客户端动态执行此操作：

import ftplib

FTP_HOST = 'ftp.ifremer.fr'
FTP_DIR = '/ifremer/argo/etc/ObjectiveAnalysisWarning/incois/'

# connect to the remote server using anonymous FTP
ftp = ftplib.FTP(FTP_HOST,'anonymous','')
# change the remote working directory
ftp.cwd(FTP_DIR)
# load the modification dates for each file
results = [(name,ftp.voidcmd("MDTM " + name),) for name in ftp.nlst()]
# sort by modification date
results.sort(key=lambda x: x[1])
# get the filename for the most recently modified file
most_recent_filename = results[-1][0]

以下是使用 pandas 从公开可用的 FTP 源下载 CSV 的示例：

import pandas as pd
df = pd.read_csv('ftp://ftp.ifremer.fr/ifremer/argo/etc/ObjectiveAnalysisWarning/incois/ar_scoop2_IN_20130722123443.csv')

要使用先前代码中已经确定的最新文件并使用 pandas lib 下载：

df = pd.read_csv(
    'ftp://' + FTP_HOST + os.path.join(FTP_DIR,most_recent_filename)
)

将 URL 调整为您自己的有效 URL，您应该拥有所需的 DataFrame。

获取 DataFrame 的最后一行：

df.iloc[-1,:]

,

没有什么神奇的解决方案可以让 Pandas 从 FTP 服务器加载最新文件。

您需要将您的任务拆分为两个步骤：

1. 在FTP服务器中查找最新文件：
   Python FTP get the most recent file by date

   您的服务器似乎是 IIS。 IIS 不支持 MLSD。并且您的 IIS 服务器配置为使用 DOS 样式列表。大多数用于解析 LIST 响应的代码都是针对 *nix 服务器的。除非您可以configure your IIS to use *nix style listing，否则大多数代码将无法在您的服务器上运行。要么你必须调整代码。或者使用效率较低的 MDTM 解决方案（应该没问题，如果只有很少的文件）。

2. 将该文件加载到 Pandas（您已经有了）。

,

我没有完全编写 csv 文件的代码，但这里有一些类似于您的问题。

我在打开记事本文件时遇到了同样的问题，每次都必须将目录复制到新文件中。这是我为克服这个问题而编写的代码。

filename = str(input("Please input the file name: "))

newfile = str(filename + ".txt")

import subprocess

subprocess.Popen(["notepad",newfile])

因此该代码允许您输入记事本文件名（试用版 1），然后将其与 .txt 连接。然后将此连接的字符串用作使用 subprocess.Popen 打开的文件的目录。

这对我来说效果很好，我知道它可能与您的问题无关，但我希望它有所帮助。

问候