如何解决尝试使用火花数据框创建相关矩阵
我正在尝试使用 spark 数据框创建相关矩阵并显示所有列值,但我一直遇到以下两个错误:TypeError: float() 参数必须是字符串或数字,而不是“SparseVector”和 'ValueError: 使用序列设置数组元素。'
def compute_correlation_matrix(self):
df_rdd = corr_df.rdd.map(lambda r: r[0:])
corr_mat = Statistics.corr(df_rdd,method='pearson')
corr_mat_df = pd.DataFrame(corr_mat,columns=corr_df.columns,index=corr_df.columns)
return corr_mat_df
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。