如何解决大规模数据流和时间序列存储的解决方案
我必须在本地实施以下系统并寻找合适的软件解决方案:
- 不同位置的数千个节点收集遥测数据,主要是按协议和性能指标(如节点 cpu、内存利用率等)的流量统计数据。
- 这些统计信息需要每隔几秒通过网络发送到中央存储库。每个节点发送几条统计信息记录,如下所示:timestap,metric1,metric2... metricN。我可以忍受时不时丢失记录。
- 在存储添加元数据(例如节点所在的城市、它们所属的客户)之前,需要丰富这些记录,因此最终记录将如下所示: 时间戳、城市、客户、... metric1、metric2... metricN
- Web 应用程序查询数据存储,以根据客户、城市、节点等的聚合显示指标与时间的关系图。
我知道有很多工具可以完成这项任务,但我正在寻找一种可以很好地协同工作的组合。我正在寻找一种解决方案,其中包括:
- 一种以加密方式将数据从节点传输到中央存储库的工具
- 一种有效丰富数据的工具(大多数丰富是基于静态的 1:1 匹配或范围匹配)
- 用于保存数据并允许按时间和元数据进行高效查询的时间序列存储
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。