python-在Pandas Dataframe中插入字典(JSON)

我有一个用例,需要将数据框的现有列转换为JSON并仅存储在一个列中.

到目前为止,我已经尝试过了：

import pandas as pd
import json
df=pd.DataFrame([{'a':'sjdfb','b':'jsfubs'},{'a':'ouhbsdv','b':'cm osdn'}]) #Random data
jsonresult1=df.to_json(orient='records')
# '[{"a":"sjdfb","b":"jsfubs"},{"a":"ouhbsdv","b":"cm osdn"}]'

但是我希望数据只是字典的字符串表示形式,而不是列表.所以我尝试了这个：

>>>jsonresult2=df.to_dict(orient='records')
>>>jsonresult2
# [{'a': 'sjdfb', 'b': 'jsfubs'}, {'a': 'ouhbsdv', 'b': 'cm osdn'}]

这就是我想要的数据外观,但是当我尝试将其设为数据框时,该数据框再次采用2列[a,b]的格式.这些字典对象的字符串表示形式会将所需格式的列数据插入数据帧.

>>>for i in range(len(jsonresult2)):
...    jsonresult3.append(str(jsonresult2[i]))
...
>>> jsonresult3
["{'a': 'sjdfb', 'b': 'jsfubs'}", "{'a': 'ouhbsdv', 'b': 'cm osdn'}"]

这正是我想要的.当我将其推送到数据框时,我得到：

 >>> df1
                              0
 ++++++++++++++++++++++++++++++++++++
 0  |   {'a': 'sjdfb', 'b': 'jsfubs'}
 1  |{'a': 'ouhbsdv', 'b': 'cm osdn'}

但是我觉得这是一种非常低效的方式.我如何使其外观和工作达到最佳状态？我的数据可以超过1000万行.这花了太长时间.

解决方法:

我先将其转换为字典…编入系列…然后应用pd.json.dumps

pd.Series(df.to_dict('records'), df.index).apply(pd.json.dumps)

0       {"a":"sjdfb","b":"jsfubs"}
1    {"a":"ouhbsdv","b":"cm osdn"}
dtype: object

或更短的代码

df.apply(pd.json.dumps, 1)

0       {"a":"sjdfb","b":"jsfubs"}
1    {"a":"ouhbsdv","b":"cm osdn"}
dtype: object

我们可以通过自己构建字符串来提高性能

v = df.values.tolist()
c = df.columns.values.tolist()

pd.Series([str(dict(zip(c, row))) for row in v], df.index)

0       {'a': 'sjdfb', 'b': 'jsfubs'}
1    {'a': 'ouhbsdv', 'b': 'cm osdn'}
dtype: object

如果存在内存问题,我将df保存到csv中并逐行读取它,并在此过程中构造一个新系列或数据框.

df.to_csv('test.csv')

这比较慢,但是可以解决一些内存问题.

s = pd.Series()
with open('test.csv') as f:
    c = f.readline().strip().split(',')[1:]
    for row in f:
        row = row.strip().split(',')
        s.set_value(row[0], str(dict(zip(c, row[1:]))))

或者,如果可以将df保留在内存中,则可以跳过文件导出

s = pd.Series()
c = df.columns.values.tolist()
for t in df.itertuples():
    s.set_value(t.Index, str(dict(zip(c, t[1:]))))