微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

python – 用于大量数据记录,数据库或文件的架构?

我正在开发一个Python应用程序,我想要可扩展,以容纳每秒约150次写入.这在大约50种不同来源中分散.

Mongodb是一个很好的候选人吗?我在写入数据库时​​只是分开,或者只是为每个源创建一个日志文件并单独解析它们.

记录大量数据的任何其他建议?

解决方法:

我会说mongodb非常适合日志集合,因为:

> Mongodb有惊人的快速写入
>日志不是那么重要,所以如果服务器出现故障,可以将其中的一些丢失.因此,您可以在没有journaling选项的情况下运行mongodb以避免写入开销.
>另外,您可以使用分片来提高写入速度,同时您可以将最旧的日志移动到单独的集合或文件系统中.
>您可以轻松地将export数据从数据库传输到json / csv.
>一旦您拥有数据库中的所有内容,您就可以查询数据以查找所需的日志.

因此,我认为mongodb非常适合日志这样的东西.您无需在文件系统中管理大量日志文件. Mongodb为你做这件事.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐