如何解决使用pyspark在Spark数据帧上长时间到UTM覆盖
我有一个纬度/经度字段的spark数据框。我有一个函数可以在python中进行UTM转换。我正在尝试在spark中注册该函数,然后在我的spark数据帧中使用它。可能pyspark中的python模块用法有一些模块不匹配错误,我无法弄清楚。请提出可能的解决方案,以使用pyspark在火花数据帧上将纬度/经度转换为UTM,反之亦然。由于我不熟悉Spark,因此我面临着将python代码转换为Spark的挑战。 这是python函数:
def latlon_toUTM(latIN,lonIN,retZone=True):
tup = utm.from_latlon(latIN,lonIN)
lat_cnvrt = tup[0]
lon_cnvrt = tup[1]
zone_number = tup[2]
zone_letter = tup[3]
if retZone:
return tup
else:
return lat_cnvrt,lon_cnvrt
sqlContext.udf.register("latlon_toUTM",latlon_toUTM)
然后我在SparkSQL查询中传递它
sqlContext.sql("""select *,latlon_toUTM(Latitude,Longitude)
from temp_table_v1 """).show(2)
我在此遇到TypeError。请建议我如何在火花中实现从纬度到长期的UTM转换。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。