如何解决如何从单个.csv文件智能导入多个熊猫数据帧？
我有一个.csv文件，其中包含跨多个日期的多个记录数据表，如下所示：
ID: 1281
Location: NA
Status: Active
From 2020-07-13 00:00:00 To 2020-07-14 00:00:00
Date/Time Reading Low High
...
2020-07-13 22:25:39 29 10 35
2020-07-13 22:30:56 29 10 35
2020-07-13 22:36:12 29 10 35
2020-07-13 22:41:28 28.5 10 35
2020-07-13 22:46:45 28.5 10 35
2020-07-13 22:52:01 28.5 10 35
2020-07-13 22:57:17 28.5 10 35
2020-07-13 23:02:33 28 10 35
2020-07-13 23:07:50 28 10 35
2020-07-13 23:13:06 28 10 35
...
ID: 1282
Location: NA
Status: Active
From 2020-07-13 00:00:00 To 2020-07-14 00:00:00
Date/Time Reading Low High
...
2020-07-13 22:25:39 30 10 35
2020-07-13 22:30:56 31 10 35
2020-07-13 22:36:12 31 10 35
2020-07-13 22:41:28 29.5 10 35
2020-07-13 22:46:45 30 10 35
2020-07-13 22:52:01 29.5 10 35
2020-07-13 22:57:17 29.5 10 35
2020-07-13 23:02:33 29 10 35
2020-07-13 23:07:50 29 10 35
2020-07-13 23:13:06 29 10 35
...
ID: 1281
Location: NA
Status: Active
From 2020-07-13 00:00:00 To 2020-07-14 00:00:00
Date/Time Reading Low High
...
2020-07-14 22:25:39 29 10 35
2020-07-14 22:30:56 29 10 35
2020-07-14 22:36:12 29 10 35
2020-07-14 22:41:28 28.5 10 35
2020-07-14 22:46:45 28.5 10 35
2020-07-14 22:52:01 28.5 10 35
2020-07-14 22:57:17 28.5 10 35
2020-07-14 23:02:33 28 10 35
2020-07-14 23:07:50 28 10 35
2020-07-14 23:13:06 28 10 35
...
ID: 1282
Location: NA
Status: Active
From 2020-07-13 00:00:00 To 2020-07-14 00:00:00
Date/Time Reading Low High
...
2020-07-14 22:25:39 30 10 35
2020-07-14 22:30:56 31 10 35
2020-07-14 22:36:12 31 10 35
2020-07-14 22:41:28 29.5 10 35
2020-07-14 22:46:45 30 10 35
2020-07-14 22:52:01 29.5 10 35
2020-07-14 22:57:17 29.5 10 35
2020-07-14 23:02:33 29 10 35
2020-07-14 23:07:50 29 10 35
2020-07-14 23:13:06 29 10 35
...
在标题为“时间”，“阅读”，“低”和“高”的地方，如果上述内容不清楚，我深表歉意，我可以根据需要重新格式化。
与特定日期有关的所有表都被分组在一起，然后在第二天的下面再分组，依此类推。
对于每个ID和每个日期重复此结构，以便在一个.csv中可以有数百个表。
第一个表格上方还有3条多余的行：
Company X
From 2020-07-13 00:00:00 To 2020-07-16 23:59:00
我想将给定ID的所有日期的所有数据附加到其自己的数据框中，以便每个数据框仅包含一个ID的数据，但包含所有日期的数据。
我的计划是使用以下命令将整个.csv读入数据框：
df = pd.read_csv("input_data.csv",header=0,skiprows=3)
，然后在其余操作中使用数据帧索引，但这返回：
pandas.errors.EmptyDataError: No columns to parse from file
我认为这是由于.csv在每个数据表的上方都有ID，位置，状态，发件人和字段。
有什么办法可以克服这个问题，还是我一开始会以错误的方式解决它？任何指导将不胜感激。
解决方法
您的数据位于 data.csv 中。 这段代码为每个ID创建带有数据帧的字典。如有必要，可以在创建字典之前更改列的dtype。
import pandas as pd
fname = 'data.csv'
names = ['Date','Time','Reading','Low','High']
# read table into one column
df = pd.read_table(fname,header=None,names=['row'])
# extract ID row and propagate through column
df['ID'] = df.apply(lambda x: x if 'ID' in str(x) else None,axis=1)
df.ffill(inplace=True)
df.ID = df.ID.apply(lambda x: x.strip())
# drop unwanted lines
df = df[df.row.apply(lambda x: True if len(str(x).split()) == 5 else False)]
# parse text data into columns
new_df = df.row.str.split(expand=True)
new_df.rename(columns=dict(zip(range(len(names)),names)),inplace=True)
new_df['ID'] = df.ID
# create a dict of dataframes
dframes = {id: new_df[new_df.ID == id] for id in new_df.ID.drop_duplicates()}
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
