基础设施
HDP + 私有云 + k8s/docker
存储组件
Hadoop/hive/ELK/GP/Tidb/hbase/kudu
离线ETL
HQL/spark/presto/kettle
实时ETL
Kafka/cdc/flink/spark streaming
OLAP分析
Kylin/clickhouse/BI
数据仓库建模 kimball/inmon建模
基于sap / wms / crm; sap(mm/sd/fico)
流程Ods / dwd/dwm /dws/ops
Kimball: 大量事实表和维度表，包括事务事实表，周期快照表，累积快照事实
Inmon : 企业级数仓，兼顾公司所有业务，ER模型
上层应用
数据治理
功能： 元数据管理，主数据管理，数据质量，数据标准，数据安全
实现方案: atlas，数据治理平台
安全: Ranger/kerberos/SSL/TLS和用户权限管理
监控运维：prometheus+python脚本自动运维
数据分析
BI指标，对比分析，python数据分析，机器学习决策,深度学习预测
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
