如何解决如何使用python将国家/地区信息有效地添加到mongoDB中包含坐标的文档中?
我收集了来自foursquare的值机数据,但是它没有有关值机所在国家/地区的信息,只有坐标。我需要知道我正在帮助开发的模型的国家/地区,因此我编写了此脚本,用于将每个文档(因为我不想弄乱原始数据)复制到具有此添加的国家/地区字段的另一个集合中。
问题是,这运行非常慢。我估计在我的个人计算机上,大约需要48天才能完成。我不会在我的个人计算机上运行它,但是我还是不想花太长时间。如果有什么不同,我打算在其上运行的计算机正在运行mongodb 3.4.7版。如有必要,我可以对其进行更新,但我也宁愿不进行更新。
有什么方法可以更有效地执行此操作,同时确保在程序中途终止时我不必从头开始?
from pymongo import MongoClient,ReplaceOne,errors
from geopy.geocoders import Nominatim
_client = MongoClient(port=27017)
_collection = cliente.large_foursquare2014.checkins.find()
documents = list()
geolocator = Nominatim(user_agent="omitting the name i actually used on purpose")
i = 0
j = 0
for document in _collection:
i += 1
if i == 1000:
print(j)
j += 1
cliente.large_foursquare2014.teste.bulk_write(documents)
documents.clear()
i = 0
address = geolocator.reverse((documento['latitude'],documento['longitude'])).raw['address']
document['country2'] = address['country_code'].upper()
documents.append(ReplaceOne({'_id': document['_id']},document,upsert=True))
cliente.large_foursquare2014.teste.bulk_write(documents)
解决方法
瓶颈确实是地理定位器的调用。通过更改为reverse_geocoder程序包,性能提高了大约五倍。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。