如何解决pyspark,dataframe转成LibSVM/svmlight,特别是特征一定要从小到大
例如,我有如下数据:
data=[(1,1,10),(1,2,20),(2,3,15),47),(3,28),17)]
df=spark.createDataFrame(data).toDF("ID","Target","features","value1")
df.show()
+---+------+--------+------+
| ID|Target|features|value1|
+---+------+--------+------+
| 1| 1| 1| 10|
| 1| 1| 2| 20|
| 2| 1| 3| 15|
| 2| 0| 1| 47|
| 3| 0| 2| 28|
| 3| 0| 3| 17|
+---+------+--------+------+
我想将数据转换为:按 ID 分组:
1 1:10 2:20
1 1:47 2:15
0 2:28 3:17
所以每一行代表一个ID,第一个值代表Target,features:value1
其中一个关键点是,对于每一行,特征必须从最小到最大!!!!!!!!
您能提供任何示例代码或建议吗?
非常感谢!!!!!!!!!!!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。