如何解决将带有 Vector 列的 Dataframe 转换为 Dataset - 要在案例类中使用的类型
作为 onehot 编码器的结果,我有一个带有 矢量类型列 的数据框。让我们将列命名为 Vector。
使用 case 类 Example(vector: whichType),我想将数据框映射到数据集:
val ds = dataframe.as[Example]
问题是:case类中的属性'vector'应该具有哪种类型。
我收到一条错误消息:
需要一个数组字段但得到 structtype:tinyint,size:int,indices:array
解决方法
如果您使用的是 Spark ML,那么您可以使用下面导入的 Vector 类型:
import org.apache.spark.ml.linalg.Vector
case class Example(vector: Vector)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。