Spark 3.0 scala.None$ 不是字符串模式的有效外部类型

如何解决Spark 3.0 scala.None$ 不是字符串模式的有效外部类型

使用elasticsearch-hadoop库读取属性为空的elasticsearch索引时，出现异常

Caused by: java.lang.RuntimeException: scala.None$ is not a valid external type for schema of string

github 中存在同样的开放缺陷，并附有重现它的步骤：https://github.com/elastic/elasticsearch-hadoop/issues/1635

火花：3.1.1
elasticsearch-hadoop：elasticsearch-spark-30_2.12-7.12.0
弹性搜索：2.3.4

解决方法

它通过设置 elasticsearch-hadoop 属性es.field.read.empty.as.null = no

.option("es.field.read.empty.as.null","no")

来自 Elasticsearch Link：
es.field.read.empty.as.null（默认是）
elasticsearch-hadoop 是否会将空字段视为空字段。