微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!
编程之家(jb51.cc)编程百科栏目主要推荐程序员常用编程技术介绍,以下是服务器软件相关编程语言,主要信息提供给程序员快速了解所需要学习的编程技术语言。
牧羊犬(Sheepdog) 是一个新的第三方的KVM开源项目,提供分布式存储管理功能。牧羊犬提供高可用性的KVM提供块级存储卷类似亚马逊电子交易系统(弹性块存储虚拟
Twitter已经从以往的数据存储开发经验中提出一个名为Gizzard的Scala框架,让用户可以更方便地创建自定义容错、分布式数据库。Twitter给出了一个名为“Rowz”的示例,方便用户上手。Twitter还公布了Gizzard的完整代
HPCC (High Performance Computing Cluster) 是一个大规模并行处理计算平台,用于解决大数据问题。类似Hadoop 平台。
S4是Yahoo!发布的一个开源通用、分布式、可扩展、部分容错、具备可插拔功能的平台。这套平台主要是为了方便开发者开发处理流式数据(continuous
GriF 是一个协作式网格框架,用来支持大规模计算化学的应用。
Condor 秃鹰是一种高吞吐量计算系统,并提供大量的长时间的计算能力。它提供了种类繁多的系统的使用效率,从空闲桌面工作站和专用集群,世界各地的电网系统,而其令人难以置信的灵活配置,实施和维护机主的机器的可
Globus 是一个在超级计算机、集群和其他高性能系统上提供了可靠、安全、点对点的分布式计算环境的项目。
paexec 可将给定的任务 (stdin) 在跨 CPU 和网络中的机器中分布执行。
因为有了 Savanna ,两个最大的开源项目 Hadoop 和OpenStack 可以在一起工作。这是红帽、Hortonworks 和
为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法,Apache 软件基金会发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google’s
Cobar是关系型数据的分布式处理系统,它可以在分布式的环境下像传统数据库一样为您提供海量数据服务。以下是快速启动场景:
Cloudera 发布实时查询开源项目 Impala (黑斑羚)!多款产品实测表明,比原来基于MapReduce的Hive
Apache Knox Gateway 项目的目的是为了简化和标准化发布和实现安全的Hadoop 集群,通过集中式的 REST APIs 访问服务。
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop
RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R
Yahoo!的PNUTS是一个分布式的数据存储平台,它是Yahoo!云计算平台重要的一部分。它的上层产品通常也称为Sherpa。按照官方的
Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS有着高容错性(fault-
Scalding 是一个 Scala 库简化了 Hadoop MapReduce 作业开发。基于Cascading 构建。Scalding 跟Pig 类似,但提供更紧密的 Scala 集成。
Phoniex 可以让开发者在HBase数据集上使用SQL查询。Phoenix查询引擎会将SQL查询转换为一个或多个HBase
GraphBuilder由英特尔研究院(Intel Labs)开发,是首个针对大数据的可扩展的开源Java库,可以将大数据集构建成图形——能够反映数据之间关系的网络状结构图,帮助行业和学术界的科学家或数据分析师快速分析大型数
Pastry 是 Go 语言编写的一个分布式哈希表,Pastry 使用 OS X 10.8.1, Go 1.0.3 开发,但经过验证支持 Ubuntu
Cascading是一个新式的针对Hadoop clusters的数据处理API,它使用富于表现力的API来构建复杂的处理工作流,而不是直接实现Hadoop MapReduce的算法。
LinkedIn最近发布了一套源无关的分布式数据同步系统Databus。简单说,就是把交易数据同步到各个不同的应用中。一个大的特色是这系统采用pull模式从log中取得数据,以达到对生产系统最小影响。
EasyHadoop 是一个Hadoop一键安装系统,方便大家更容易安装部署Hadoop软件。 EasyHadoop
FourInOne(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘记了我们想解决
Netflix(一家在线影片租赁商)近日开源了其Hystrix库,这是一个针对分布式系统的延迟和容错库。
Mrs是 MapReduce编程模型的一个轻量级实现,但同样拥有高性能,可用于并行计算。它专门为计算密集型程序优化,特别是那些拥有迭代的程序。它的目标是可
Hadoop擅长分析和处理大型数据集,而MongoDB擅长存储应用程序的大型数据集,这两者结合到一起,就诞生了Mongo-
Apache HCatalog是基于ApacheHadoop之上的数据表和存储管理服务。 包括: 提供一个共享的模式和数据类型的机制。
OpenDremel 是 Google Dremel 的开源实现,目前该项目已经合并到了 Apache Drill。