如何解决从子目录搜索 CSV 并将文件夹名称添加为列
我想从我的工作目录中的不同子目录中读取 csv 以创建一个组合的 csv 文件。合并后的 csv 应该有一列包含从中读取特定 csv 的子目录名称。
这是我试过的。
import os
import glob
import pandas as pd
all_filenames = [i for i in glob.glob('*/*.csv'),recursive=True)]
list_subfolder = [f.name for f in os.scandir(ride_path) if f.is_dir()]
df_list = []
for i in range(len(all_filenames)):
dir_name = list_subfolder[i]
current_csv = all_filenames[i]
data = pd.read_csv(current_csv)
data["sub_folder"]= dir_name
df_list.append(data)
combined_df = pd.concat(df_list)
combined_df.to_csv("combined_csv.csv",index=False)
问题在于,它添加了其中没有 csvs' 的子目录,这是错误且有问题的。这样做的最佳方法是什么。
解决方法
您可以通过 pathlib
模块执行此操作:
from pathlib import Path
inp_path = Path('.') # specify the inp path. Here,('.') means current working dir
df_list= []
for csv_file in inp_path.glob('**/*.csv'): # glob here will return generator obj which will yield csv file one by one
df = pd.read_csv(csv_file)
df['file_name'] = csv_file.parent # possible to get parent dir via pathlib
df_list.append(df_list)
combined_df = pd.concat(df_list)
combined_df.to_csv("combined_csv.csv",index=False)
Note
.
1- 如果您只需要名称,请使用 csv_file.parent.name
。
2- 如果您想要父目录的完整路径,请使用 csv_file.parent.absolute()
。
glob
和 os
的另一个选项:
import os
import glob
import pandas as pd
df_list = []
for csv in glob.glob('**/*.csv',recursive=True):
parent_folder = os.path.split(os.path.dirname(csv))[-1]
df = pd.read_csv(csv)
df['subfolder'] = parent_folder
df_list.append(df)
combined_df = pd.concat(df_list)
combined_df.to_csv("combined_csv.csv",index=False)
,
您可以使用我们os.path.split()
:
import os
import glob
import pandas as pd
all_filenames = [i for i in glob.glob("**/*.csv",recursive=True)]
df_list = []
for f in all_filenames:
current_csv = f
data = pd.read_csv(current_csv)
data["sub_folder"] = os.path.split(f)[0] # <-- [0] is directory [1] is filename
df_list.append(data)
combined_df = pd.concat(df_list)
print(combined_df)
combined_df.to_csv("combined_csv.csv",index=False)
,
单行方法(改编自 @nk03 答案)。
import pandas as pd
import pathlib as pth
pd.concat([pd.read_csv(csvfile).assign(file_name=csvfile.parent)
for csvfile in pth.Path(".").glob("**/*.csv")]) \
.to_csv("combined_csv.csv",index=False)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。