如何使用Scala反射/镜像调用Databricks dbutils

如何解决如何使用Scala反射/镜像调用Databricks dbutils

我想打电话

com.databricks.dbutils_v1.dbutilsHolder.dbutils.secrets.get(scope = "myScope",key = "myKey")

使用镜像。

到目前为止，我实现了这一点：

val className = "com.databricks.dbutils_v1.dbutilsHolder"

import scala.reflect.runtime.{universe => ru}
val mirror = ru.runtimeMirror(getClass.getClassLoader)

val moduleSymbol = mirror.staticModule(className)
val moduleMirror = mirror.reflectModule(moduleSymbol)
val instanceMirror = mirror.reflect(moduleMirror.instance)

这提供了有效的dbutils参考：

instanceMirror.instance
> Any = com.databricks.dbutils_v1.dbutilsHolder$@25d7f14b

作为比较：

com.databricks.dbutils_v1.dbutilsHolder
> com.databricks.dbutils_v1.dbutilsHolder.type = com.databricks.dbutils_v1.dbutilsHolder$@25d7f14b

列出可用字段：

val fields = moduleSymbol.typeSignature.decls.filter(_.asTerm.isVal)
for (f <- fields) {
    println(f)
    val fieldMirror = instanceMirror.reflectField(f.asTerm)
}
> value dbutils0
> value dbutils

问题是如何扩展 fieldMirror 来访问dbutils.secrets.get（s，k）

解决方法

尝试

fieldMirror.get.asInstanceOf[...].secrets.get(scope = "myScope",key = "myKey")

应将（{fieldMirror.get.asInstanceOf[...]）dbutils强制转换为其类型。

我假设您静态知道dbutils的类型。否则，访问dbutils.secrets.get(s,k)会有点困难（然后您应该提供有关dbutils，secrets，.get等的更多详细信息。）

DBUtilsHolder是一个特征。我们需要找到实现了人工伴奏对象secrets.get()的方法，以便能够应用运行时反射。

然后使用它的另一种方法是：使用sbt，Maven或Gradle从Databricks直接访问jar，而无需进行反射。对于Spark 3.0及更高版本，请从Databricks CLI下载jar并使用，直到他们正式发布为止。