linux – IO等等导致如此大的减速(EXT4 JDB2在99%IO)在Mysql Commit期间

我正在编写一个索引器,使用 python,它将文档编入索引并将它们插入到数据库中,在它是单个进程之前,但现在我使用4个并行进程运行它进行多处理.每次文本提取后,它都插入数据库并执行提交.

现在它遇到了IO问题,主要的IO问题不是我的过程而是EXT4的jdb2,journeling系统.它是99.99%并且在每次MySQL提交时等待cpu等待cpu.

我看到许多人在互联网上遇到这个问题,他们的解决方案是使用barrier = 0挂载.会完全禁用日记功能吗?我的服务器有UPS并且很想做到这一点,我应该吗?

解决方法

弹性和性能之间总是存在折衷.

对于ext4上的MysqL,barrier = 1认确实会导致速度减慢,但是第一个操作不应该是禁用日记或打开data = writeback.

首先,如果弹性非常重要,那么备用电池的RAID肯定是值得的.

我选择的挂载选项,尤其是非备用电池的RAID是:

/dev/mapper/vg-MysqL--data  /var/lib/MysqL/data ext4  defaults,noatime,nodiratime,barrier=1,data=ordered  0 0

这是故意不使用data = writeback,因为我不想冒文件系统损坏的风险,导致“崩溃和日志恢复后”旧数据出现在文件中“(引用来自man mount).

my.cnf中关于I / O相关设置的完全弹性的理想配置是:

[MysqLd]
sync_binlog = 1
innodb_flush_log_at_trx_commit = 1

我选择了以下一系列权衡以提高性能

> sync_binlog = 0:这是我改变完全弹性的第一个MysqL配置.这样做的原因是它提供了显着的性能改进,特别是在binlog_format = row(不幸的是Jira需要)的情况下.我在群集中使用了足够多的MysqL副本,如果binlog被断电情况损坏,我会从另一个副本执行二进制副本.
> innodb_flush_log_at_trx_commit = 2:完全ACID合规性需要值1,值为2“日志缓冲区在每次提交时写入文件,但不对其执行刷新到磁盘操作.但是,当值为2时,日志文件上的刷新也会每秒发生一次.请注意,由于进程调度问题,每秒一次的刷新不会100%保证每秒发生一次.“ (引自MysqL文档)
>更新mount选项以使用data = writeback.请注意,如果这是您的根文件系统,则还需要传递内核命令行选项.我在coderwall处整理了几个步骤.>测试innodb_flush_method的各种值.显示O_DIRECT可以提高某些工作负载性能,但这并不能说明它在您的环境中有效.>升级到SSD,在这种情况下,您还需要增加innodb_io_capacity,并调整innodb_adaptive_flushing,innodb_read_io_threads,innodb_write_io_threads,innodb_purge_threads和其他可能设置等设置.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


在Linux上编写运行C语言程序,经常会遇到程序崩溃、卡死等异常的情况。程序崩溃时最常见的就是程序运行终止,报告 Segmentation fault (core dumped) 错误。而程序卡死一般来源于代码逻辑的缺陷,导致了死循环、死锁等问题。总的来看,常见的程序异常问题一般可以分为 非法内存访
git使用小结很多人可能和我一样,起初对git是一无所知的。我也是因为一次偶然的机会接触到git,并被它强大的功能所蛰伏。git其实就是一种版本控制工具,就像svn一样,但是git是分布式的。我不想给git打广告,我们直入正题——git能帮我们做什么?1)源码版本控制。平常写一写demo程序可能和g
1. 操作系统环境、安装包准备 宿主机:Max OSX 10.10.5 虚拟机:Parallel Desktop 10.1.1 虚拟机操作系统:CentOS 7 x86_64 DVD 1511.iso Oracle:linux.x64_11gR2_database_1of2.zip linux.x6
因为业务系统需求,需要对web服务作nginx代理,在不断的尝试过程中,简单总结了一下常见的nginx代理配置。 1. 最简反向代理配置 在http节点下,使用upstream配置服务地址,使用server的location配置代理映射。 upstream my_server { server 10
Linux模块机制浅析 Linux允许用户通过插入模块,实现干预内核的目的。一直以来,对linux的模块机制都不够清晰,因此本文对内核模块的加载机制进行简单地分析。 模块的Hello World! 我们通过创建一个简单的模块进行测试。首先是源文件main.c和Makefile。 f...
一、Hadoop HA的Web页面访问 Hadoop开启HA后,会同时存在两个Master组件提供服务,其中正在使用的组件称为Active,另一个作为备份称为Standby,例如HDFS的NameNode、YARN 的ResourceManager。HDFS的web页面只有通过Active的Name
一个简单的通用Makefile实现Makefile是Linux下程序开发的自动化编译工具,一个好的Makefile应该准确的识别编译目标与源文件的依赖关系,并且有着高效的编译效率,即每次重新make时只需要处理那些修改过的文件即可。Makefile拥有很多复杂的功能,这里不可能也没必要一一介绍,为了
Linux内核源码分析方法一、内核源码之我见Linux内核代码的庞大令不少人“望而生畏”,也正因为如此,使得人们对Linux的了解仅处于泛泛的层次。如果想透析Linux,深入操作系统的本质,阅读内核源码是最有效的途径。我们都知道,想成为优秀的程序员,需要大量的实践和代码的编写。编程固然重要,但是往往
题记:自从接触到“跳板机”的概念后,一直就被烦不胜烦的机器名,ip地址,用户名,密码折腾的死去活来,心说能有个小精灵随时帮我输入那些重复的登录信息就好了。我见过最挫的方式就是用记事本把一堆机器的ip、登录用户、密码记录下来,每次登录机器就像是一场战斗:打开笔记本 勾选复制 写ssh命令 登录 再打开
统计一下你写过多少代码最近整理了一下自己从开始学习编程以来写过的程序和代码,林林总总,花了不少的时间,最后把一些自认为还算不错的代码提交到github上做一个简单的分类和备份。当然我并不奢求它们能成为多好的开源代码,只是希望通过这种方式分享自己的劳动成果罢了。如果大家有兴趣可以访问我的github,
一直以来被Linux的hostname和fqdn(Fully Qualified Domain Name)困惑了好久,今天专门抽时间把它们的使用细节弄清了。 一、设置hostname/fqdn
在Linux系统内设置hostname很简单,如: $ hostname florian 如果...
Linux的原子操作与同步机制 并发问题 现代操作系统支持多任务的并发,并发在提高计算资源利用率的同时也带来了资源竞争的问题。例如C语言语句“count++”在未经编译器优化时生成的汇编代码为。 当操作系统内存在多个进程同时执行这段代码时,就可能带来并发问题。 假设count变量初始值为0。进程1
最简git Server配置如何保持多台计算机的项目代码的同步更新呢?通过在一个公用计算机上开启git服务,任何能与该计算机互联的终端都可以同步最新的项目代码。每个终端所负责的就是下载代码更新,修改代码,提交代码更新,这些工作产生的变化能全部反应到git服务器上。同时,这么做也能避免使用github
建议收藏!!!Linux 服务器必备的安全设置~
QQ 用 Electron 重构后,终实现 Linux、macOS、Windows 三端架构统一!
Shell 分析日志文件高效命令,超级好用!
Linux下的Docker容器网络:如何设置容器间的网络连接和通信?
Linux 服务器必备的安全设置,建议收藏!!!
以为很熟悉 Linux,万万没想到在生产环境翻车了.....
Linux 或 Windows 上实现端口映射