我试图在pyspark会话中执行以下命令:
>>> a = [1,2,3,4,5,6,7,8,9,10] >>> da = sc.parallelize(a) >>> da.reduce(lambda a,b: a + b)
它工作正常.我得到了预期的答案(55).现在我尝试使用numpy数组而不是python列表:
>>> import numpy >>> a = numpy.array([1,10]) >>> da = sc.parallelize(a) >>> da.reduce(lambda a,b: a + b)
结果我得到了很多错误.更具体地说,我在错误消息中多次看到以下错误:
ImportError: No module named numpy.core.multiarray
是不是安装了不是我的集群或pyspark无法在基础级别上使用numpy数组?
解决方法
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。