python – 使用dask.dataframe从CSV文件中读取分区尾部

使用Dash,即使在多个分区中,我们也可以轻松读取CSV文件并使用头部获取第一行.

import dask.dataframe as dd
df = dd.read_csv('data.csv').head(n=100, npartitions=2)

但我想在多个分区上阅读我的CSV文件的最后几行,如下所示：

import dask.dataframe as dd
df = dd.read_csv('data.csv').tail(n=100, npartitions=2)

dask data.frame似乎不支持tail方法上的分区.

在熊猫中,我可以使用跳过来管理它,但是这个选项在dask中似乎不可用.

解决方法:

你好像回答了自己的问题.尾方法存在

import dask.dataframe as dd
df = dd.read_csv('data.csv').tail(n=100)

见Dataframe API