PySimpleGUI |为 Panda 的 pd.read_excel 添加进度条

如何解决PySimpleGUI |为 Panda 的 pd.read_excel 添加进度条

我正在使用 pd.read_excel 读取大型 Excel 文件。如何在系统读取文件时添加 GUI 进度条以通知用户进度？

我遇到了 tqdm 和 PySimpleGui 作为最常用的进度条。 PySimpleGUI OneLineProgress Meter 似乎是我需要的解决方案，但我太新手，无法添加 pd.read_excel。谁能教我如何解决这个问题？谢谢

for i in range(1000):   # this is your "work loop" that you want to monitor
    sg.OneLineProgressMeter('One Line Meter Example',i + 1,1000,'key')

解决方法

使用 read_excel 并不容易，因为该函数缺乏任何跟踪进度的方法，不像 read_csv，您可以使用 chunksize 参数返回一个交互器，然后您可以根据您加载的总块数更新您的进度。

这不适用于 excel 文件，因此您唯一的选择是使用 nrows 和 skiprows 的组合。为此，我们首先需要找出文件有多少行。有一些巧妙的方法可以以很少的开销 (see answers here) 执行此操作，但这些方法不适用于 Excel 文件，因此您要做的是加载工作表的一整列并以这种方式找出长度：>

# Get the total number of rows
df_temp = pd.read_excel(sheet_name='balbla',usecols=[0])
rows = df_temp.shape[0]

# Now load the file in chunks of 1000 rows at a time
chunks = rows//1000 + 1

chunk_list = []
for i in range(chunks):
    tmp = pd.read_excel(sheet_name='blabla',nrows=1000,skiprows=[k for k in range(i*1000)])
    chunk_list.append(chunks)
    
    # Update progress
    sg.OneLineProgressMeter('Loading excel file',i + 1,chunks)

df = pd.concat((f for f in chunk_list),axis=0)

这应该可行，但会带来大量开销。不幸的是，对于 excel 文件没有简单的方法可以做到这一点，您最好使用其他一些数据格式。