在实际应用中,大数据处理主要包括以下三个类型:
- 复杂的批量数据处理,通常时间跨度在数十分钟到数小时之间
- 基于历史数据的交互式查询,通常时间跨度在数十秒到数分钟之间
- 基于实时数据流的数据处理,通常时间跨度在数百毫秒到数秒之间
当同时存在以上三种场景时,就需要同时部署三种不同的软件:
- 复杂的批量数据处理
- 基于历史数据的交互式查询
-
基于实时数据流的数据处理
问题:
Spark设计:遵循“一个软件栈满足不同应用场景”的理念,逐渐形成了一套完整的生态系统
Spark生态系统:
Spark生态系统组件的应用场景:
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。