linux – 调整顺序磁盘读取以提高性能

我正在从磁盘顺序读取一个大文件,并尝试在读取过程中理解iostat输出.

>文件大小：10 GB
>读取缓冲区：4 KB
>预读(/ sys / block / sda / queue / read_ahead_kb)：128 KB

iostat输出如下

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz await r_await w_await  svctm  %util
sda               0.00     0.00  833.00   14.00   103.88     0.05   251.30     6.07    5.69    2.33 205.71  1.18 100.00

计算I / O请求的平均大小=(rMB / s除以r / s)得到~128 KB,这是预读值.这似乎表明,当读取系统调用指定了4KB缓冲区时,实际磁盘I / O根据预读值发生.

当我将预读值增加到256KB时,iostat输出如下

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    28.00  412.00   12.00   102.50     0.05   495.32    10.78   12.15    4.76  265.83   2.36 100.00

同样,平均I / O请求大小为256 KB,与预读相匹配.

这一直持续到我将512 KB设置为预读值并且当我向上移动到1024 KB的预读值时没有保持 – I / O请求的平均大小仍为512 KB.将max_sectors_kb(每个I / O请求的最大数据量)从默认的512 KB增加到1024 KB也没有帮助.

为什么会发生这种情况 – 理想情况下,我希望尽可能减少读取的IOPS,并为每个I / O请求读取大量数据(每个请求大于512 KB).此外,我在所有情况下都达到了100％的磁盘利用率 – 我希望通过良好的顺序吞吐量来限制自己读取50-60％的磁盘利用率.简而言之,顺序读取I / O的优化应用程序/内核设置是什么.

解决方法

您说您希望最小化读取IOPS并最大化每个IO请求的大小.我怀疑你不会真的从中受益.通常情况下,我会关注最大化吞吐量,同时最大限度地减少延迟,并为特定应用程序找到两者之间的良好平衡.

请注意,当您从128kB预读到256kB预读时,读取吞吐量实际上从103.88MB / s降至102.50MB / s.我不希望这种趋势在更高的预读尺寸上反转.如果数据不是纯粹的顺序,那么较高的预读也会带来更多浪费IO的风险,这会降低有用IO的性能.

如果您感兴趣,512kB限制可能来自存储堆栈中的另一层,例如SCSI驱动程序,控制器固件或总线.

要限制IO,您可以查看以下内容：How to Throttle per process I/O to a max limit?

原文地址：https://www.jb51.cc/linux/398460.html