微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

RDDarraylist映射到python中的字段及其值

如何解决RDDarraylist映射到python中的字段及其值

我正在尝试处理数据,但遇到以下情况,请帮忙

在pyspark中期待解决方

我的rdd示例如下

[Row(columnnames=['user_id','user_name','first_name','last_name','is_active'],columnvalues=['100','name@companyname.com','empname','lastname' 'true'])]

我希望最终数据帧如下

# +------+------+-------+--------------------+--------------------+-----------------
# |  user_id|user_name             |   first_name  |          last_name|  is_active
# +------+------+-------+--------------------+--------------------+---------------------
# |100      |  name@companyname.com|   ram     |         laxman|         true
# +------+------+-------+--------------------+--------------------+----------------

在上面,我试图将列名映射为列值作为字段和值

如何在pyspark中实现?有人可以提出解决方案的建议吗?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。