迭代地将新数据追加到pandas数据框列，并与另一个数据框联接

如何解决迭代地将新数据追加到pandas数据框列，并与另一个数据框联接

我一直在从许多API中提取数据。我想在所有API之间添加一个公共列。 我在下面尝试过

df = pd.DataFrame()
for i in range(1,200): 
  url = '{id}/values'.format(id=i)
  res = request.get(url,headers=headers)
  if res.status_code==200:
     data =json.loads(res.content.decode('utf-8')) 
     if data['success']: 
        df['id'] = i 
        test = pd.json_normalize(data[parent][child])
        df = df.append(test,index=False)

但是数据框ID列仅得到最后一个迭代ID。而且如果API有很多行，我会得到无效的数据。

解决方法

出于性能方面的考虑，最好先将数据存储在字典中，然后再从此字典数据帧中创建：

import pandas as pd 
from collections import defaultdict

d = defaultdict(list)

for i in range(1,200):
  # simulate dataframe retrieved from pd.json_normalize() call
  row = pd.DataFrame({'id': [i],'field1': [f'f1-{i}'],'field2': [f'f2-{i}'],'field3': [f'f3-{i}']})
  for k,v in row.to_dict().items():
    d[k].append(v[0])

df = pd.DataFrame(d)