微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

是否有包含支持定义按需查询的 UI 的可扩展数据流框架?

如何解决是否有包含支持定义按需查询的 UI 的可扩展数据流框架?

假设我正在摄取实时数据,并希望实时查看数据的最终用户能够以不同方式对信息进行分组,并快速获得代表新分组的视图。

因此,如果数据是例如电子商务网站上的所有交易,并且用户正在查看交易的实时网格(例如,在类似 Kibana 的网站中,通过 websocket 提供实时数据)并且想要要按国家/地区分组并按交易的名义价格查看前 10 个国家/地区,UI 会将该命令发送到服务器,服务器将进行所有必要的计算,以向用户提供顶级国家/地区的汇总名义价格,并不断在处理新数据时更新该流。

我知道有一些框架(例如 Flink、Storm、Kafka Streams)可以让您在代码中定义此类计算,但是否有任何框架可以让用户选择不同的聚合并实时设置它们?

解决方法

我会为 Flink 作答:

Apache Zeppelin has a good integration with Flink。它允许用户设置动态 Flink 查询。这些是按需的(用户定义的),当然你需要一个 Flink 集群来附加。这些也会刷新 Zeppelin 用户界面。

我是推测,但我认为后端会收到 Flink 的更新,并且 UI 会以固定的时间间隔获取新数据。虽然这不是被动完成的,但我相信这是目前所能做到的。

这是一篇关于它的 Flink 博客文章:https://flink.apache.org/news/2020/06/15/flink-on-zeppelin-part1.html

,

Flink 可以开箱即用,使用 Flink SQL 和 SQL 客户端。您可以交互式地创建动态的、持续更新的查询,将其结果流式传输到 Elasticsearch(例如)。

This talk 是一个很好的介绍,展示了什么是可能的。它包括一堆示例查询,并在 MySQL 之上使用 Grafana 进行仪表板。如果您愿意,您可以使用 Elasticsearch/Kibana 执行相同的操作。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。