微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

scala – 如何在Spark SQL中指定多个表?

我有一个代码,我需要设置三个表.为此,我需要为每个表调用jdbc函数三次.见下面的代码

val props = new Properties
    props.setProperty("user","root")
    props.setProperty("password","pass")

val df0 = sqlContext.read.jdbc(
  "jdbc:MysqL://127.0.0.1:3306/Firm42","company",props)

val df1 = sqlContext.read.jdbc(
  "jdbc:MysqL://127.0.0.1:3306/Firm42","employee",props)

val df2 = sqlContext.read.jdbc(
  "jdbc:MysqL://127.0.0.1:3306/Firm42","company_employee",props)

df0.registerTempTable("company")
df1.registerTempTable("employee")
df2.registerTempTable("company_employee")

val rdf = sqlContext.sql(
  """some_sql_query_with_joins_of_varIoUs_tables""".stripMargin)

rdf.show

是否可以简化我的代码?或者也许有一些方法可以在sql配置中的某处指定多个表.

解决方法

DRY

val url = "jdbc:MysqL://127.0.0.1:3306/Firm42"
val tables =  List("company","company_employee")

val dfs = for {
    table <- tables
} yield (table,sqlContext.read.jdbc(url,table,props))

for {
  (name,df) <- dfs
} df.registerTempTable(name)

不需要数据框架?跳过第一个循环:

for {
  table <- tables
} sqlContext.read.jdbc(url,props).registerTempTable(table)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐