是否可以将Spark RDD传递给Python？
因为我需要一个python库来对我的数据进行一些计算,但我的主要Spark项目是基于Scala的.
有没有办法混合它们或让python访问相同的火花上下文？
解决方法:
您确实可以使用Scala和Spark以及常规Python脚本来管理python脚本.
test.py
#!/usr/bin/python
import sys
for line in sys.stdin:
print "hello " + line
火花壳(斯卡拉)
val data = List("john","paul","george","ringo")
val dataRDD = sc.makeRDD(data)
val scriptPath = "./test.py"
val pipeRDD = dataRDD.pipe(scriptPath)
pipeRDD.foreach(println)
产量
你好约翰
你好
你好乔治
你好保罗
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
