处理CSV文件中的JSON对象并保存到PySpark DataFrame

如何解决处理CSV文件中的JSON对象并保存到PySpark DataFrame

我有一个CSV文件，其中包含JSON对象以及其他数据，例如String，Integer。 如果我尝试以CSV格式读取文件，则JSON对象在其他列中会重叠。

Column1,Column2,Column3,Column4,Column5
100,ABC,{"abc": [{"xyz": 0,"mno": "h"},{"apple": 0,"hello": 1,"temp": "cnot"}]},foo,pine

101,XYZ,{"xyz": [{"abc": 0,bar,apple

我得到的输出为：

Column1 | Column2 | Column3 | Column4 | Column5
100 | ABC | {"abc": [{"xyz": 0,"mno": "h"} | {"apple": 0,"hello": 1 | "temp": "cnot"}]}

101 | XYZ | {"xyz": [{"abc": 0,"mno": "h"} | {"xyz": [{"abc": 0,"mno": "h"} | "temp": "cnot"}]}

Test_File.py

from pyspark.sql import SQLContext 
from pyspark.sql.types import *
    
# Initializing SparkSession and setting up the file source
filepath = "s3a://file.csv"
df = spark.read.format("csv").options(header="true",delimiter = ',',inferschema='true').load(filepath)
df.show(5)

还尝试通过按照this approach

中的文本形式读取文件来处理此问题

'100,"{\'abc\':["{\'xyz\':0,\'mno\':\'h\'}","{\'apple\':0,\'hello\':1,\'temp\':\'cnot\’}”]}”,pine'

'101,"{\'xyz\':["{\'abc\':0,apple'

但是，我不想创建一个新文件，而是想将带引号的字符串作为PySpark DataFrame加载以在其上运行SQL查询，然后创建一个DataFrame，我需要再次拆分以将每一列分配给PySpark，这导致拆分JSON对象。

解决方法

问题与您使用的分隔符有关。您正在读取以逗号作为定界符的CSV，并且您的JSON字符串包含逗号。因此，Spark也在昏迷状态下拆分JSON字符串，因此获得了上述输出。您需要有一个带分隔符的CSV，该分隔符是唯一的，并且不会出现在任何一个列值中，以克服您的情况。