微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

python-Win32平台的Hadoop / Map-reduce框架的替代方案

我发现Windows上的Hadoop有点令人沮丧:我想知道对于Win32用户,是否有Hadoop的替代品.我最看重的功能是:

>易于初始设置和在较小的网络上进行部署(如果我们为该项目分配了20台以上的PC,我会感到惊讶)
>易于管理-理想的框架应该具有基于Web / GUI的管理系统,这样我就不必自己写书了.
>流行的东西稳定.奖金取决于我们能否及时交付该项目.

背景:

我工作的公司希望建立一个新的网格系统来运行一些财务计算.

我一直在评估的第一个框架是Hadoop.除了非常面向UNIX之外,这似乎完全可以达到预期的目的.我能够将所有教程都升级了&在Ubuntu VirtualBox上运行.不幸的是,在Win32上似乎没有轻松运行.

是的… Win32:我们公司的政策是一切都必须在Windows上运行.服务器管理员(或少数几个开发人员以外的人)都不了解Linux.如果他们找到了我的虚拟Ubuntu环境,我可能会遇到麻烦!可悲的事实是,我们的网格需要托管在Win32上(因为所有测试PC都运行Windows XP 32位),并且可以选择在将来的某个时间升级到Win64.

使事情变得复杂-我们要运行的95%是带有C Windows 32位DLL附加组件的Python脚本.我们的计算库绝大多数是用Python编写的.我们的计算库将无法在Windows以外的任何版本上运行…我真的没有选择

解决方法:

对于python有:

> disco
> bigtempo
> celery-并不是真正的map-reduce框架,但是如果您想要一些非常定制的东西,这是一个很好的开始

您可以在pypi上找到许多hadoop客户/集成

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐