微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

使用Scala在Dataframe列上包装函数

如何解决使用Scala在Dataframe列上包装函数

我正在尝试加入两个spark数据框并使用函数包装列。

我有2个数据框。

一个数据框具有表的元数据,第二个数据框具有PII的元数据。 例如,第一个数据帧具有大约10个元数据列详细信息,第二个数据帧具有大约5个元数据列,它们是PII。

我需要将基于第二个数据帧中数据的加密功能包装到第一个数据帧中。 新的数据框将包含10个元数据详细信息,并带有加密功能

示例:

Dataframe 1:
    Name 
    Country 
    Sex

Dataframe 2:
   Country

新数据框应为

Name
encrypt(Country)
Sex

我尝试使用spark.Table(“”)。columns.toSeq获取列的元数据,但是它失败并出现错误。 有没有办法实现?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。