如何在数据文件上使用生成器将 JSON 和 TSV 行转换为数据帧？

如何解决如何在数据文件上使用生成器将 JSON 和 TSV 行转换为数据帧？

我有一个包含下面这两个示例行的“.data”文件。第一行表示json，第二行表示tsv。我想将 json 转换为 python 字典，将 tsv 行转换为 python 字典，然后使用生成器将它们输出到数据帧中。

“.DATA”文件的###SAMPLE 行###

{"Book": "American Horror","Author": "Me","date": "12/12/2012",publisher": "Fox"
Sports Law  Some Body   06/12/1999  Random House 1000

import json

def generator(file):
    
    for row in open(file,encoding="ISO-8859-1"):
        print(row)
        if "{" in row:
            yield json.loads(row)
        else:
###I don't kNow where to begin with the tsv data
###tsv data must fit under column names of json data
            for tsv in row:
                yield tsv
file = ".data_file"        
with open(file,'r') a some_stuff:
    df = pd.DataFrame(data=generator(some_stuff))
df
'''

解决方法

通过“TSV”，我假设您的数据是 制表符 分隔的，即字段由单个制表符分隔。如果是这种情况，您可以使用 str.split('\t') 来拆分字段，如下所示：

>>> line = 'Sports Law\tSome Body\t06/12/1999\tRandom House 1000\n'
>>> line.rstrip().split('\t')
['Sports Law','Some Body','06/12/1999','Random House 1000']

rstrip() 用于删除您将从文件中读取的行末尾的新行。

然后创建一个字典并生成它：

book,author,date,publisher = line.rstrip().split('\t')
yield dict(Book=book,Author=author,date=date,publisher=publisher)

或者如果您已经有一个列名列表：

columns = ['Book','Author','date','publisher']

yield dict(zip(columns,line.rstrip().split('\t')))