八.修改conf⽬录下的canal_local.properties

# 修改conf⽬录下的canal_local.properties⽂件 $ vim /usr/local/canal-server/conf/canal_local.properties

canal_local.properties⽂件内容如下：

# register ip 这⾥的ip选择您本机的ip(也就是启动canal-server机器的所在ip地址)  canal.register.ip = 192.168.95.129   # canal admin config 这⾥是部署canal-admin的所在机器的ip，当然也可以把canal-admin和canal-server部署到⼀台机器  canal.admin.manager = 192.168.95.129:8089  canal.admin.port = 11110  canal.admin.user = admin  canal.admin.passwd = 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9  # admin auto register 这⾥⼀定得是true，否则⽆法在启动canal-server时候注册到canal-admin上  canal.admin.register.auto = true  canal.admin.register.cluster =  # canal-server注册到canal-admin控制台的名称，这⾥⽤canal-server的ip地址，注意改ip  canal.admin.register.name = 192.168.95.129

九.启动canal-server

$ cd /usr/local/canal-server # 切记后⾯加⼊local的参数 $ bin/startup.sh local

这时可以到canal-admin的界面中查看canal-server是否已经注册成功。

 

十.在canal-admin中配置Canal Instance来监听数据库

⾸先点击界面右侧的Instance管理，再点击新建Instance来创建实例。

################################################# ## mysql serverId , v1.0.26+ will autoGen # canal.instance.mysql.slaveId=0 # enable gtid use true/false canal.instance.gtidon=false   # position info # 需要修改 # 需要监听数据库的ip加端⼝ canal.instance.master.address=192.168.95.129:3306  # mysql主库连接时起始的binlog⽂件，这⾥可以不写，默认为mysql-bin canal.instance.master.journal.name=  # binlog⽇志的位置 canal.instance.master.position=  # 开始同步binlog⽇志的时间戳，也就是从哪个时间点开始同步binlog⽇志，13位时间戳格式 canal.instance.master.timestamp=  # 如果数据库开启了gtid模式，这⾥填写master节点的gtid我们这⾥不写也是可以的，如果要开启，记得将canal.instance.gtidon改为true  canal.instance.master.gtid=  # rds oss binlog canal.instance.rds.accesskey= canal.instance.rds.secretkey= canal.instance.rds.instanceId=  # table meta tsdb info canal.instance.tsdb.enable=true  #canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb #canal.instance.tsdb.dbUsername=canal #canal.instance.tsdb.dbPassword=canal #canal.instance.standby.address = #canal.instance.standby.journal.name = #canal.instance.standby.position = #canal.instance.standby.timestamp = #canal.instance.standby.gtid=  # 需要修改 # username/password这⾥填写要连接数据库的⽤户名和密码 canal.instance.dbUsername=root  # 需要修改 # canal.instance.dbPassword=canal canal.instance.connectionCharset = UTF-8  # enable druid Decrypt database password canal.instance.enableDruid=false  #canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==  # 需要修改 # table regex，这⾥填写订阅的数据库的库与表的相关正则表达式 canal.instance.filter.regex=careerplan_eshop_redis.redis_large_key_log  # table black regex canal.instance.filter.black.regex=  # table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)  #canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch  # table field black filter(format:schema1.tableName1:field1/field2,schema2.tableName2:field1/field2) #canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch  # 需要修改  # MQ Config，这⾥填写实例名称即可 # 如果canal.serverMode选择的不是tcp模式，这⾥填写相关的topic的名称，kafka和rocketmq默认的主题为example # 同时需要注意，如果期望使⽤的canal-server的⼯作模式是MQ的⽅式来运⾏，那么需要修改canal.properties的配置 canal.mq.topic=binlog_monitor_large_key_topic  # dynamic topic route by schema or table regex canal.mq.partition=0  # hash partition config #canal.mq.partitionsNum=3 #canal.mq.partitionHash=test.table:id^name,.*\..* #################################################

接着点击保存，就会跳转到列表页，然后在新创建的canal-instance后⾯点击启动，接着点击操作⽇志去查看相关⽇志。⾄此，⼀个canal-instance就启动成功了。

 

十一.关闭canal-server

$ cd /usr/local/canal-server $ bin/stop.sh

(6)rdbtools扫描RDB⽂件

# 切换⽬录 [root@localhost bin]# cd /usr/local/redis/bin  # 在这个⽬录下存放着Redis的rdb⽂件 [root@localhost bin]# ls dump.rdb redis-benchmark redis-check-aof redis-check-rdb redis-cli  redis-sentinel redis-server  # 使⽤rdbtools⼯具过滤dump.rdb⽂件中的⼤key，⽣成dump.csv⽂件 [root@localhost bin]# rdb -c memory dump.rdb --bytes 10240 -f dump.csv # 可以看到⽣成的dump.csv⽂件  [root@localhost bin]# ls dump.csv dump.rdb redis-benchmark redis-check-aof redis-check-rdb redis-cli redis-sentinel redis-server  # 查看dump.csv⽂件的内容 [root@localhost bin]# vim dump.csv

rdb参数说明：

rdb -c memory dump.rdb --bytes 10240 -f dump.csv

dump.rdb是指定Redis的rdb⽂件的路径，--bytes 10240表示过滤出key值⼤⼩超过10240B的key，也就是10K。

 

dump.csv⽂件内容如下：

database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry  0,string,key1-string,20536,string,17280,17280,

(7)将CSV⽂件导⼊MySQL

一.先查看secure_file_priv属性是否开启

secure_file_priv属性指定导⼊⽂件的位置，只有在该属性指定的⽬录下的⽂件才可以导⼊MySQL。

mysql> show variables like '%secure%';  +--------------------------+------------------------------------------------+  | Variable_name            | Value                                          | +--------------------------+------------------------------------------------+  | require_secure_transport | OFF                                            | | secure_auth              | ON                                             |  | secure_file_priv         | ...                                            |  +--------------------------+------------------------------------------------+

二.修改MySQL配置⽂件⽂件

# 找到mysqld⽂件的位置 [root@localhost bin]# find / -name "mysqld" /run/mysqld /usr/sbin/mysqld  # 找到mysql的默认配置⽂件位置 [root@localhost bin]# /usr/sbin/mysqld --verbose --help |grep -A 1 'Default options' Default options are read from the following files in the given order: /etc/my.cnf /etc/mysql/my.cnf /usr/etc/my.cnf ~/.my.cn  # 修改mysql的默认配置⽂件 [root@localhost etc]# vim /etc/my.cnf

在[mysqld]模块下，如果存在下列属性就修改，如果不存在就追加：

[mysqld] # 关闭安全⽂件导⼊路径 secure-file-priv="" # 开启binlog log-bin=mysql-bin binlog-format=ROW server_id=1 

三.重启MySQL服务

# 检查mysql服务运⾏状态 $ service mysqld status # 重启服务 $ service mysqld restart

重启服务后重新连接MySQL，查看secure_file_priv和log_bin的值：

mysql> show variables like '%secure%'; +--------------------------+-------+  | Variable_name            | Value | +--------------------------+-------+ | require_secure_transport | OFF   | | secure_auth              | ON    | | secure_file_priv         |       | +--------------------------+-------+  mysql> show variables like 'log_bin'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | log_bin       | ON    | +---------------+-------+

四.创建redis_large_key_log表

create table redis_large_key_log (     `id` bigint primary key auto_increment,     `database` tinyint comment 'Redis数据库索引',     `type` varchar(20) comment 'Redis数据类型',     `key` varchar(256) comment 'Redis key',     `size_in_bytes` int comment 'value对于的bytes',     `encoding` varchar(30) comment '编码',     `num_elements` int comment '元素数量',     `len_largest_element` int comment '元素⻓度',     `expiry` varchar(30) comment '过期时间',     `create_time` datetime DEFAULT CURRENT_TIMESTAMP,     `modify_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE     CURRENT_TIMESTAMP ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

五.编写导⼊csv⽂件的SQL脚本

$ cd /usr/local/redis/bin/ # 创建SQL脚本⽂件  $ touch csv-transfer-db.sql # 编辑SQL脚本 vim csv-transfer-db.sql

csv-transfer-db.sql⽂件内容如下：

# 指定数据库 USE `careerplan_eshop_redis`; load data infile '/usr/local/redis/bin/dump.csv' into table redis_large_key_log fields terminated by',' lines terminated by'n' ignore 1 lines  (`database`,`type`,`key`,size_in_bytes,encoding,num_elements,len_largest_element,expiry);

六.编写定时任务脚本

脚本职能：

调⽤rdbtools⼯具，扫描⼤key，dump出csv⽂件。

调⽤SQL脚本，将csv⽂件导⼊数据库。

$ touch monitor-large-key-to-db.sh  $ vim monitor-large-key-to-db.sh

monitor-large-key-to-db.sh⽂件内容如下：

# crontab没有环境变量给你运⾏，所以要在shell开头⼿动添加环境 source /etc/profile . ~/.bash_profile #!/bin/bash echo "开始执⾏monitor-large-key-to-db.sh脚本" >> /usr/local/redis/monitor-large-key-log.txt rdb -c memory /usr/local/redis/bin/dump.rdb --bytes 102400 -f /usr/local/redis/bin/dump.csv echo "扫描redis过滤出⼤key，⼤key数据保存到/usr/local/redis/bin/dump.csv⽂件" >> /usr/local/redis/monitor-large-key-log.txt mysql -u⽤户名 -p密码 -hIP地址 -P端⼝号 < /usr/local/redis/bin/csv-transfer-db.sql echo "csv⽂件数据已导⼊mysql" >> /usr/local/redis/monitor-large-key-log.txt

七.创建调度任务

$ crontab -e # 每天凌晨3点进⾏⼀次调度，将会扫描rdb⽂件，将⼤key存储到MySQL 0 3 * * * sh /usr/local/redis/bin/monitor-large-key-to-db.sh

(8)binlog数据消费者

一.接⼝说明

消费redis_large_key_log表的binlog数据，该数据包含Redis的⼤key信息。

 

二.代码位置

com.demo.eshop.monitor.mq.consumer.ConsumerBeanConfig#receiveLargeKeyMonitorConsumer

具体实现如下：

@Configuration public class ConsumerBeanConfig {     //配置内容对象     @Autowired     private RocketMQProperties rocketMQProperties;      //Redis大key binlog 消费者     @Bean("cookbookLargeKeyMonitorTopic")     public DefaultMQPushConsumer receiveLargeKeyMonitorConsumer(CookbookLargeKeyMonitorListener cookbookLargeKeyMonitorListener) throws MQClientException {         DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(RocketMqConstant.BINLOG_MONITOR_LARGE_KEY_GROUP);         consumer.setNamesrvAddr(rocketMQProperties.getNameServer());         consumer.subscribe(RocketMqConstant.BINLOG_MONITOR_LARGE_KEY_TOPIC, "*");         consumer.registerMessageListener(cookbookLargeKeyMonitorListener);         consumer.start();         return consumer;     }     ... }

三.参数说明

CookbookLargeKeyMonitorListener表示针对BINLOG_MONITOR_LARGE_KEY_GROUP的Listener，它会监听Canal推送的BINLOG_MONITOR_LARGE_KEY_TOPIC消息，然后对消息解析，通过邮件、钉钉等推送给开发⼈员。具体实现如下：

@Component public class CookbookLargeKeyMonitorListener implements MessageListenerConcurrently {     @Override     public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> list, ConsumeConcurrentlyContext consumeConcurrentlyContext) {         try {             for (MessageExt messageExt : list) {                 String msg = new String(messageExt.getBody());                 // 解析binlog数据模型                 BinlogDataDTO binlogData = BinlogUtils.getBinlogData(msg);                 log.info("消费到binlog消息, binlogData: {}", binlogData);                 // 推送通知                 informByPush(binlogData);             }         } catch (Exception e) {             // 本次消费失败，下次重新消费             return ConsumeConcurrentlyStatus.RECONSUME_LATER;         }         return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;     }      //第三方平台推送消息到app     private void informByPush(BinlogDataDTO binlogData) {         log.info("消息推送中：消息内容：{}", binlogData);     } }