微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何为分区键定义特定的火花节点?

如何解决如何为分区键定义特定的火花节点?

我需要在异构集群中运行数据集的相似性连接算法。

在程序的第一步中,对数据集的记录进行签名,并将签名相同的记录发送到同一个处理节点。

不共享签名的集合对不能相似。因此,一种直观的方法是使用签名作为分区键,确定将记录发送到的工作人员。因此,仅将具有共同签名的对发送给同一工作人员,避免了不必要的数据传输和相似性评估。

但是,我需要确保将具有许多记录的签名发送给具有更好处理能力的工作人员,例如 GPU。那么,如何为分区键定义特定的火花节点?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。