linux – 数据中心之间的共享/主页

我有两台服务器,放在荷兰和法国的数据中心.两者都在运行Debian Wheezy.我需要在他们之间分享/回家,表现良好.服务器上有300多个用户,其中大约30个应该能够在给定时间内在给定服务器上具有活动进程,每个具有50kbit读取和20kbit写入/秒,具有大约2000kbit的短峰值/阅读.在本地存储上使用iotop的措施.我有很多小文件,总共大约500000,并且需要尽可能低的延迟.服务器之间的Ping为17毫秒,使用scp和wget时连接能够达到大约20-30 MB / s.似乎应该有足够的带宽供它工作,但……

到目前为止我所做的一切:
sshfs:看起来它比nfs具有更好的性能,但它将文件的权限更改为root,使应用程序崩溃.

nfs:减速的方法,尝试noatime一堆其他选项,但它仍然表现缓慢,即使只有少数进程是活跃的.

drbd:5个小时的死端工作,当我意识到我无法在两个系统上实际安装文件系统时:-(

glusterfs:所有数据的本地副本确实听起来很有希望,但随机文件访问速度非常慢,运行一段时间后,它变得令人难以置信的缓慢而且几乎挂起.
noatime没有帮助.

再次nfs:仍然低迷.

哭进键盘:根本没有改进.

接下来要尝试什么?每个失败的试验都在上周进行了一个晚上或者更多,我真的很喜欢下一个方法.是的,两个服务器之间共享文件系统至关重要.

感谢您对此问题的任何新想法.

解决方法

有一些可能的解决方案:

>您可以使用像DRBD(或上面提到的MARS)这样的复制块存储,但是您需要在块存储之上设置群集文件系统.这样的文件系统可以是GFS2或OCFS2,它们都可以在Debian内核中使用. DRBD可以处理主/主服务器,您可以同时将它安装在两个服务器上.但是,如果使用标准文件系统执行此操作,则一台服务器不知道另一台服务器,您将在几秒钟内销毁文件系统.顶部的集群文件系统将处理通信和锁定,以便两个节点都可以写入同一个块.
>为/ home使用分布式文件系统.您将在http://en.wikipedia.org/wiki/Comparison_of_distributed_file_systems找到此类文件系统的列表.但要注意并明智地选择.他们都不能做魔术而且都有自己的缺点. gluster就是这样一个文件系统.对于某些系统,您可能只需要两个以上的节点.
>如果不必实时复制并且几乎实时的文件同步就足够了,那么请看看BitTorrent Sync(http://www.getsync.com/),DropBox或替代品.每个服务器都有自己的/ home,但更改会以文件形式复制到其他服务器.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


在Linux上编写运行C语言程序,经常会遇到程序崩溃、卡死等异常的情况。程序崩溃时最常见的就是程序运行终止,报告 Segmentation fault (core dumped) 错误。而程序卡死一般来源于代码逻辑的缺陷,导致了死循环、死锁等问题。总的来看,常见的程序异常问题一般可以分为 非法内存访
git使用小结很多人可能和我一样,起初对git是一无所知的。我也是因为一次偶然的机会接触到git,并被它强大的功能所蛰伏。git其实就是一种版本控制工具,就像svn一样,但是git是分布式的。我不想给git打广告,我们直入正题——git能帮我们做什么?1)源码版本控制。平常写一写demo程序可能和g
1. 操作系统环境、安装包准备 宿主机:Max OSX 10.10.5 虚拟机:Parallel Desktop 10.1.1 虚拟机操作系统:CentOS 7 x86_64 DVD 1511.iso Oracle:linux.x64_11gR2_database_1of2.zip linux.x6
因为业务系统需求,需要对web服务作nginx代理,在不断的尝试过程中,简单总结了一下常见的nginx代理配置。 1. 最简反向代理配置 在http节点下,使用upstream配置服务地址,使用server的location配置代理映射。 upstream my_server { server 10
Linux模块机制浅析 Linux允许用户通过插入模块,实现干预内核的目的。一直以来,对linux的模块机制都不够清晰,因此本文对内核模块的加载机制进行简单地分析。 模块的Hello World! 我们通过创建一个简单的模块进行测试。首先是源文件main.c和Makefile。 f...
一、Hadoop HA的Web页面访问 Hadoop开启HA后,会同时存在两个Master组件提供服务,其中正在使用的组件称为Active,另一个作为备份称为Standby,例如HDFS的NameNode、YARN 的ResourceManager。HDFS的web页面只有通过Active的Name
一个简单的通用Makefile实现Makefile是Linux下程序开发的自动化编译工具,一个好的Makefile应该准确的识别编译目标与源文件的依赖关系,并且有着高效的编译效率,即每次重新make时只需要处理那些修改过的文件即可。Makefile拥有很多复杂的功能,这里不可能也没必要一一介绍,为了
Linux内核源码分析方法一、内核源码之我见Linux内核代码的庞大令不少人“望而生畏”,也正因为如此,使得人们对Linux的了解仅处于泛泛的层次。如果想透析Linux,深入操作系统的本质,阅读内核源码是最有效的途径。我们都知道,想成为优秀的程序员,需要大量的实践和代码的编写。编程固然重要,但是往往
题记:自从接触到“跳板机”的概念后,一直就被烦不胜烦的机器名,ip地址,用户名,密码折腾的死去活来,心说能有个小精灵随时帮我输入那些重复的登录信息就好了。我见过最挫的方式就是用记事本把一堆机器的ip、登录用户、密码记录下来,每次登录机器就像是一场战斗:打开笔记本 勾选复制 写ssh命令 登录 再打开
统计一下你写过多少代码最近整理了一下自己从开始学习编程以来写过的程序和代码,林林总总,花了不少的时间,最后把一些自认为还算不错的代码提交到github上做一个简单的分类和备份。当然我并不奢求它们能成为多好的开源代码,只是希望通过这种方式分享自己的劳动成果罢了。如果大家有兴趣可以访问我的github,
一直以来被Linux的hostname和fqdn(Fully Qualified Domain Name)困惑了好久,今天专门抽时间把它们的使用细节弄清了。 一、设置hostname/fqdn
在Linux系统内设置hostname很简单,如: $ hostname florian 如果...
Linux的原子操作与同步机制 并发问题 现代操作系统支持多任务的并发,并发在提高计算资源利用率的同时也带来了资源竞争的问题。例如C语言语句“count++”在未经编译器优化时生成的汇编代码为。 当操作系统内存在多个进程同时执行这段代码时,就可能带来并发问题。 假设count变量初始值为0。进程1
最简git Server配置如何保持多台计算机的项目代码的同步更新呢?通过在一个公用计算机上开启git服务,任何能与该计算机互联的终端都可以同步最新的项目代码。每个终端所负责的就是下载代码更新,修改代码,提交代码更新,这些工作产生的变化能全部反应到git服务器上。同时,这么做也能避免使用github
建议收藏!!!Linux 服务器必备的安全设置~
QQ 用 Electron 重构后,终实现 Linux、macOS、Windows 三端架构统一!
Shell 分析日志文件高效命令,超级好用!
Linux下的Docker容器网络:如何设置容器间的网络连接和通信?
Linux 服务器必备的安全设置,建议收藏!!!
以为很熟悉 Linux,万万没想到在生产环境翻车了.....
Linux 或 Windows 上实现端口映射