微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Apache Spark在海致大数据平台中的优化实践

本文来自由海致网络技术公司翟士丹分享。专注于大数据技术领域,Apache Spark Contributor,有丰富的Spark sql引擎调优经验。海致全称海致网络技术公司,成立于2013年7月。作为一家技术驱动的创业型公司,海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专家。

大数据数据平台的核心组成部分

  • 多数据整合
  • 自助式数据准备
  • 可视化探索式分析
  • 安全快捷的分发机制
  • 覆盖全面的应用场景

file

产品架构如下:

file

平台的整体技术架构如下:

file

多数据整合,形成统一的数据口径:

file

file

file

灵活易用高性能的可视化探索式分析:

file

file

file

file

大数据平台的技术挑战与建设难点

数据同步:

file

file

OLAP任意多维分析引擎实现:

file

file

file

file

file

数据建模系统实现:

file

机器学习实现:

file

file

file

file

file

file

性能及稳定性优化:

file

file

file

file

file

file

file

大数据平台私有化部署及智能监控

file

file

声明:本号所有文章除特殊注明,都为原创,公众号读者拥有优先阅读权,未经作者本人允许不得转载,否则追究侵权责任。

关注我的公众号,后台回复【JAVAPDF】获取200页面试题!5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗?

欢迎您关注《大数据成神之路》

大数据技术与架构

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐