使用 Google Cloud Data Fusion 创建 excel 文件

如何解决使用 Google Cloud Data Fusion 创建 excel 文件

我正在从 GCS 读取文本/csv 文件，并想生成一个 excel 文件并将其发回 GCS。下面是我正在使用的 Spark 代码，它正在创建一个 excel 文件但没有数据并且已损坏。管道引发以下错误。我已经在依赖项中包含了 xmlbeans-3.1.0.jar JAR 文件的路径，但看起来它没有从指定位置获取最新版本。它正在从该位置获取其他 JAR 文件。

ERROR
Caused by: java.lang.NoSuchMethodError: org.apache.xmlbeans.XmlOptions.setEntityExpansionLimit(I)Lorg/apache/xmlbeans/XmlOptions;
    at shadeio.poi.ooxml.POIXMLTypeLoader.<clinit>(POIXMLTypeLoader.java:43) ~[na:na]

管道

我使用的火花代码是：

def sink(df: DataFrame,context: SparkExecutionPluginContext) : Unit = {
    val fullpath = "gs://bucket_name/"
    val targetfilename = "test.xlsx"
  
    df.coalesce(1).write
        .format("com.crealytics.spark.excel")
        .option("Header","true")
        .mode("append")
        .save(fullpath+targetfilename);    
}

谢谢， NS