虚拟化 – 解释这个与环境相关的奇怪的Ruby性能问题

我们在应用服务器上诊断出 Ruby性能问题
我们已经设法减少到一个简单的测试用例.

我们将开发集群中的机器性能与机器中的性能进行比较
我们的生产数据中心.

我们使用了这个简单的Ruby oneliner：

5000000.times { a = []; a << 1; a.length }

我们对其进行基准测试,使其在生产机器上的速度始终低55％.

它显然可能是事情,为什么我们认为它不是：

>不同的软件 – 开发和生产机器是从相同的ubuntu操作系统,ubuntu安装脚本,软件包存储库安装的,我们使用puppet来保持配置的一致性.
>不同的硬件 – 可能,但见下文.
>不同的负载 – 无论是开发还是生产机器都没有显着负载,并再次见下文.

为什么我们不认为它是负载或硬件？

首先,它们具有类似的负载和硬件配置.
其次,我们编写了一个python测试脚本：

n = 10000000
while n > 1:
  n = n - 1
  a = []
  a.append(4)
  len(a)

这比生产开发速度快10％,这正是我们所期望的.如果问题是加载或硬件,那么生产中的Python也不会变慢吗？

简而言之,两台计算机都使用ESXi进行虚拟化

>开发vm拥有4GB内存并托管在配备双核四核AMD Opteron 2376 @ 2.294Ghz 32GB的机器上,为虚拟机提供一个虚拟核心
>生产虚拟机拥有4GB内存,并用双路四核AMD皓龙2354的机器@ 2.211Ghz 32GB,提供四个虚拟内核的虚拟机(更新托管：现在我们已经有一个虚拟内核试图对所有的虚拟机和它没有什么区别)

操作系统是Ubuntu Hardy 64bit.我们的Ruby解释器是：

ruby 1.8.6 (2008-08-11 patchlevel 287) [x86_64-linux]

我们的python解释器是

Python 2.5.2 (r252:60911,Jul 31 2008,17:31:22)

NB.我们也尝试过使用Ruby Enterprise Edition,结果是一样的.

解决方法

我不知道发生了什么,但我想我会根据处理器分享其他几个硬件差异,看看是否有助于其他人接近答案.

> Opteron 2354具有2MB L-3缓存,其中2376具有6MB.
> 2354使用PC2-5300 DDR2 RAM,其中2376使用PC2-6400 DDR2 RAM.

我对硬件有点生疏,但我认为这意味着在开发机器上一般来说内存访问速度要快得多？所以,如果Ruby存在,不知何故,更“内存密集”(我真的不知道我的意思！),那么它可能会显示为更大的性能差异？

(我一直在寻找新的处理器中是否有一些可以解释其差异的虚拟化功能,但是空白了.)

几个问题……

>每台服务器上的其他虚拟机有哪些？
>你看到与另一个(不是基于MRI)Ruby相同的行为,JRuby可能吗？
>你能用ltrace / strace运行样本,看看花费的时间在哪里？有关详细信息,请参见Debugging Ruby: Understanding and Troubleshooting the VM and your application.