胶水将 Python 脚本转换为从 S3 读取的胶水作业

如何解决胶水将 Python 脚本转换为从 S3 读取的胶水作业

我有一个 Python 脚本，但无法将该例程转换为 glue JOb

因为我必须从 s3 读取并以 csv 格式写入 s3。

在 glue 作业中，我指定了脚本的 Python 语言。

files = [ 'xpto.xml'] 

for filename in files:

    parser = ET.iterparse(filename)
    print("passo 1")
    # Busca todos os atributos de Doc,Dup e Trib
    doc_headers = set()
    dup_headers = set()
    trib_headers = set()
    print("passo 2")
    for _,elem in parser:
        if elem.tag == 'Doc':
            doc_headers = doc_headers.union(elem.attrib)
            for dup in elem:
                dup_headers = dup_headers.union(dup.attrib)
                trib_headers = trib_headers.union(dup[0].attrib)

            
   print('passo 3')

--写

with open(filenames + '_end.csv','w',newline='') as out:
writer = csv.DictWriter(out,fieldnames=all_headers,delimiter=';')