redis结合mysql、自动同步

1.redis结合MysqL
由于目前互联网巨大的访问量，在生产环境中常常需要redis结合MysqL来用，如下图例，
我们可以将redis当作MysqL的缓存，应用(app)所有读的操作都负载到redis上，因为redis够快，如果直接从MysqL上读会对它造成巨大的压力，之前的MysqL主从复制同样也是为了解决这样的问题，如果redis中没有想要的内容再从MysqL中读并把读到的内容缓存到redis中。但是现在存在一个问题：当应用执行update操作时，就是往MysqL中添加内容时，这时候redis无法完成更新，并且MysqL无法将更改传递到redis中，因为二者的数据结构不同并且没有专门的连接端口，这时候我们该如何解决呢？
第一种传统的方式：在MysqL中事先定义好触发器，通过udf（用户自定义函数）将MysqL数据做映射，比如说将其映射为json数据，json数据可以跨平台传输，因此可以将json文件传递给redis从而完成数据的同步。但是这种方式从根本上是对MysqL做操作，相当于给数据库创建函数对象，这种操作对数据库的侵入度是比较高的
第二种方式是：目前比较主流的,阿里开发的canal应用，它直接伪装成MysqL slave的身份来对MysqL进行复制，相当于MysqL主从复制，然后通过事先准备好的javaclient将数据同步到redis，由于主从复制是MysqL本身的功能，通过MysqL主从复制协议实现的，因此侵入MysqL数据库的程度更小

 

2.实验前准备

server2:需要提供redis

server3:需要PHP组件

server4:需要MysqL

 

 

 

检测PHP是否可用 

 

server4  

 

3.实验：redis与MysqL结合

配置MysqL数据库

scp test.sql server4: ##将测试数据复制到MysqL主机中 

 

MysqL < test.sql ##测试数据导入数据库 

 

grant all on test.* to redis@'%' identified by 'westos'; ##授权远程用户连接 

 

 

 检测redis与MysqL是否建立连接

 

 修改PHP配置文件test.PHP

将redis指向server2端；将MysqL指向server4端 

 

第一次访问，redis中没有缓存，看不到数据库中相关内容  

 

再次访问，已将MysqL中相关内容缓存进redis中，可以访问到 修改test组内容

 

 修改test组内容

 

MysqL中更新后，redis并没有同步 

 

删除redis中的缓存，Nginx自动将新的内容缓存进redis中。 

 

 

4.自动同步
介绍

配置 gearman 实现数据同步：
Gearman 是一个支持分布式的任务分发框架：

Gearman Job Server：Gearman 核心程序，需要编译安装并以守护进程形式运行在后台。
Gearman Client：可以理解为任务的请求者。
Gearman Worker：任务的真正执行者，一般需要自己编写具体逻辑并通过守护进程方式运行，Gearman Worker 接收到 Gearman Client 传递的任务内容后，会按顺序处理。
大致流程：下面要编写的 MysqL 触发器，就相当于 Gearman 的客户端。修改表,插入表就相当于直接下发任务。然后通过 lib_MysqLudf_json UDF 库函数将关系数据映射为 JSON 格式，然后再通过 gearman-MysqL-udf 插件将任务加入到 Gearman 的任务队列中，最后通过redis_worker.PHP，也就是 Gearman 的 worker 端来完成 redis 数据库的更新。

整体流程框图

5.实验前准备

下载依赖性

 

 

 

检查函数 

 

拷贝 lib_MysqLudf_json.so 模块 

 

查看 MysqL 的模块目录 

 

gearman-MysqL-udf用来管理调用 Gearman 的分布式的队列 

 

编译  

 

注册 UDF 函数 

 

解决依赖性问题 

 

开启4730端口  

 指定gearman后台，负责接收MysqL更改，但不负责处理，处理交给指定的worker

 

6.实验

 客户提交update任务，然后触发器启动，通过触发器中定义的函数将数据同步到redis。

vim test.PHP

 

查看触发器状态 

修改redis指向 

 

gearman与redis  

 

/usr/local/worker.PHP 打入后台  

 

 修改MysqL内容

 

实现自动同步