如何将配置单元元数据从属性文件传递到Spark数据框

如何解决如何将配置单元元数据从属性文件传递到Spark数据框

在读取源文件时，我需要从属性文件（列名称及其数据类型）传递 Hive 表的元数据作为模式。

（下面是属性文件中的参数之一-以及一些其他参数，例如table_name ... etc）

hive_table_Metadata = emp_name,StringType|emp_dt,DateType|emp_no,IntegerType

我想将其读入 Spark 数据帧并作为模式传递（当我从源文件中读取数据时，如下所示）

有人可以在此处提供一些输入或解决方法

在我尝试之下，我能够传递列名（来自hive_table_Metadata）...。但不能传递其数据类型作为hive_table_Metadata的参数/自变量，并在以下代码中作为架构发送。

val tbl_schema = StructType(hive_table_Metadata.split("|").map(fieldName ⇒ StructField(fieldName,<get the datatype from hive_table_Metadata>,true)))
val readFileIn = spark.sqlContext.read
  .format("csv")
  .schema(tbl_schema)
  .load("data/source_file.csv")

我在Scala中使用spark 2.x。