使用 Dask 读取多个 Excel 文件

如何解决使用 Dask 读取多个 Excel 文件

谁能帮我理解如何在 dask 中读取多个 excel 文件？ 在 Pandas 中，我会使用 Glob 并执行此操作

files = glob.glob('Working Files/*.xlsx')
df = pd.concat([pd.read_excel(i,skiprows=2) for i in files],ignore_index=True)

需要帮助在 dask 中做同样的事情

谢谢，

杰克

解决方法

最简单的解决方案是将您的函数包装在 delayed API 中：

import dask

files = glob.glob('Working Files/*.xlsx')

# note we are wrapping in delayed only the function,not the arguments
delayeds = [dask.delayed(pd.read_excel)(i,skiprows=2) for i in files]

# the line below launches actual computations
results = dask.compute(delayeds)

# after computation is over the results object will 
# contain a list of pandas dataframes
df = pd.concat(results,ignore_index=True)