微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!
编程之家(jb51.cc)编程百科栏目主要推荐程序员常用编程技术介绍,以下是服务器软件相关编程语言,主要信息提供给程序员快速了解所需要学习的编程技术语言。
小规模即时流数据分析集群 分析规则抽象于SQL,计算规则采用MapReduce模式。
Lealone 为 HBase 提供一个分布式SQL引擎,尝试将BigTable(HBase)和 RDBMS (H2数据库) 结合的项目。
Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark
GridWay 是一个工作负载管理器,用于在一个由不同计算平台组成的 grid 中执行作业管理和资源调配。GridWay
是发端于卡内基梅隆大学的一个开源项目 —— GraphLab,主要目标是在单台机器上进行大数据量的图计算
Collage 是一个跨平台的 C++库用于构建异构和分布式的应用。这是Equalizer 并行渲染框架的集群后端。主要特点:提供不同网络连接、点对点消息传递、节点发现、同步和高性能、面向对象、版本化数据分发等。
HTools是一款专业的Hadoop管理工具,不管您是非专业IT人士,还是多年经验的技术人员,本工具都会为您提供优质的管理服务和轻松的操作过程,
mrjob 可以让用 Python 2.5+ 来编写 MapReduce 作业,并在多个不同平台上运行,你可以:
a) 基础功能 cobweb的基本功能,是在一台Server上分发任务,在其它多台服务器上部署Client程序,并执行相应的任务。
Growler 是一个基于 C 开发的分布式对象和事件架构。支持 C 的对象序列化作为远程方法调用、事件通道和 IDL 接口定义语言的一部分。
Filemap 是一个基于文件的 Map-Reduce,命令参数: Usage: fm command args... For more help, specify one of the following commands followed by -h option:
Apache Crunch(孵化器项目)是基于Google的FlumeJava库编写的Java库,用于创建MapReduce流水线。与其他用来创建MapReduce作业的高层工具(如Apache
宙斯(zeus)是什么 宙斯是一个完整的Hadoop的作业平台 从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期
BlinkDB 是一个用于在海量数据上运行交互式 SQL 查询的大规模并行查询引擎。它允许用户通过权衡数据精度来提升查询响应时间,其数据的精度被控制在允许的误差范围内。
Presto是Facebook最新研发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析。据称该引擎的性能是Hive 的 10 倍以上。
JStorm 是参考 Apache Storm 实现的实时流式计算框架,在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进,已被越来越多企业使用。JStorm 可以看作是 storm
DPark 是 Spark 的 Python 克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规模数据处理和迭代计算。 DPark
Facebook 在官方博客上宣布推出HBase数据库的升级版——HydraBase, Facebook是HBase的重度用户,Facebook的HBase数据库系统存储着Facebook的很多关键业务数据,包括内部监控系统、搜索索
SnackFS 是一个很小的、轻量级的兼容 HDFS 的文件系统,基于Cassandra 构建。你需要做的只是指向 Cassandra
Samza是近日由LinkedIn开源的一项技术,它是一个分布式流处理框架,专用于实时数据的处理,非常像Twitter的流处理系统Storm。不同的是Samza基于Hadoop,而且使用了LinkedIn自家的Kafka分布式消息系统,并使用资源管
hadoop-clusternet 项目可以帮你实现在一个小的集群环境里(1-10个节点) 中体验 Hadoop
腾讯分布式数据仓库项目,在Hadoop和hive的基础上开发的腾讯内部最大的离线数据处理平台。TDW支持Oracle功能兼容的SQL语法,支持PB级的存储和TB级的计算等。
Minos 是小米公司开发的一个分布式的发布和监控系统。最初是小米开发的用来在 Hadoop 和 ZooKeeper 集群上发布和管理的工具。Minos
bytengine是一个分布式的内容存储系统,基于[redis](https://www.jb51.cc/redis)、[mongodb](https://www.jb51.cc/mongodb)、[Go](https://www.jb51.cc/go)、[python](https://www.jb51.cc/python)。
1、概述 不管程序性能有多高,机器处理能力有多强,都会有其极限。能够快速方便的横向与纵向扩展是Nut设计最重要的原则,以此原则形成以分布式并行计算为核心的架构设计。以分布式并行计算为核心的架构设计是Nut区
DataTorrent是一个实时的流式处理和分析平台,它每秒可以处理超过10亿个实时事件。
ADFS(Ali Distributed File System)是基于hadoop开源分布式系统HDFS的一种优化 实现,能够将HDFS中单点master namenode节点中的内存数据结构利用高速存储介质同步到磁盘中,同时能够提供很高的吞吐和性能
Tajo 是一个分布式数据仓库系统,基于 Hadoop 实现,特点是低延迟、高可伸缩,提供专用查询和 ETL 工具
MRQL (发音 miracle) 是一个查询处理和优化系统,适用于大规模分布式的数据分析。MRQL (MapReduce Query Language)
Apache Sentry 是一个加强的细粒度的基于角色的授权系统,针对存储在 Hadoop 集群中的数据和元数据。