解决大数据组所需要的业务数据之Java

妖狐艹你老母 2023-10-15 08:48 44阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88243470  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88243470

## 解决大数据组所需要的业务数据 ##

### 一、项目说明 ###

本项目主要是为了解决大数据组所需要的业务数据。由于大数据项目组要访问数据库时，会进行大 SQL 查询，如果直接对业务数据库进行查询，会造成业务数据库的压力过大。所以我们采取的是用 Canel 对数据库进行同步。Canel 监听 MySQL 的 Binlog 对于直接访问数据库来说，开销相对较小。

项目中主要涉及到的有：MySQL、Canel、RocketMQ

### 二、项目的流程 ###

![1fe14f0ef83ccd9550e936053761c35a.png][]

### 三、具体的操作 ###

#### 3.1 部署 Canel ####

具体操作 参考链接：

这里主要说明一下主要应该修改的部分：/usr/local/java/canel/conf/example/ instance.properties

![在这里插入图片描述][0e362eaac3694d1da21c8e180493e3fc.png_pic_center]  
![在这里插入图片描述][fe88494be6d0436d84405336fb19aebf.png_pic_center]

两个重要的 log

/usr/local/java/canel/logs/canal/canel.log 记录 canel 的工作情况

/usr/local/java/canel/logs/example/example.log 记录监听 MySQL 日志

#### 3.2 CanelClient ####

*  CanelClient 用于读取 Canel 中的信息，并且进行进一步的加工

![9664182b7a6b1b1d90810d63133b9af8.png][]

*  具体的操作

![在这里插入图片描述][88bb0d65a4fa4ff896378a8c93ff0288.png_pic_center]

*  在具体法人操作中将拼接好的 SQL 语句发送到 RocketMQ 中

![3742d5d1e95c9362bd6e3900bbd130a5.png][]

#### 3.2.1 数据库同步的消息乱序问题？ ####

这里有一个问题，就是如果直接不进行任何特殊处理的就直接将小心发送到 RocketMQ 中，消息就会随机均匀的发送到 Broker 中的 MessageQueue 中，Broker 中可能有多个 MessageQueue。如果消费者集群开启多线程处理消息的话，就会出现乱序问题。比如

有两个 SQL 语句：

insert into example.user (id,orderId,username,password,age) VALUES (‘8’,‘8’,‘8’,‘8’,‘8’);

update example.user set id = ‘8’, orderId = ‘8’, username = ‘8’, password = ‘80’, age = ‘80’ where id=8;

![e9523f9a44a9201f7325848c63122fc3.png][]

*  如果两个线程分别对信息进行处理，线程 02 先进行 update，此时 MySQL 中还没有该条数据，所以该操作不会对数据库中产生影响。之后，线程 01 开始处理，插入一条数据。最终的结果是

![528907947d59187f7b5c19f2646fcc4b.png][]

*  而正确的执行顺序的结果应该是

![78060bfac21ba8d022e2cd06d5c15aa4.png][]

#### 3.2.2 解决问题的策略 ####

将同一个订单的 binlog 进入同一 MessageQueue 中，并且使用单线程来处理消息

![ea88fd92cb9694056bbece460133df3a.png][]

Producer 中的实现策略，主要实在 send 中实现一个对于 MessageQueue 的选择器

![在这里插入图片描述][6ae262cf012f4ecd9fc4bbff441e7555.png_pic_center]

Consumer 中的策略实现：在监听器中实现 MessageListenerOrderly

![在这里插入图片描述][e7c0c418b38c4ef28955b1ebded01e5c.png_pic_center]

#### 3.2.3 这就完了吗？没有，万一消息处理失败了可以走重试队列吗？ ####

那么大家觉得这样就完了吗？

绝对不是，我之前给大家讲过，在 Consumer 处理消息的时候，可能会因为底层存储挂了导致消息处理失败，之前我们说过，此时可以返回 RECONSUME\_LATER 状态，然后 broker 会过一会儿自动给我们重试。

但是这个方案用在我们的有序消息中可以吗？

那绝对是不行的，因为如果你的 consumer 获取到订单的一个 insert binlog，结果处理失败了，此时返回了 RECONSUMELATER，那么这条消息会进入重试队列，过一会儿才会交给你重试。

但是此时 broker 会直接把下一条消息，也就是这个订单的 update binlog 交给你来处理，此时万一你执行成功了，就根本没有数据可以更新！又会出现消息乱序的问题。

在消息处理出现异常的时候不是返回 RECONSUME\_LATERY(会将消息丢入重试队列)，而是返回

ConsumeOrderlyStatus.SUSPEND\_CURRENT\_QUEUE\_A\_MOMENT（会等一会在来处理这批消息）

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88243470  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88243470

[Link 1]: https://download.csdn.net/download/sheziqiong/88243470
[1fe14f0ef83ccd9550e936053761c35a.png]: https://img-blog.csdnimg.cn/img_convert/1fe14f0ef83ccd9550e936053761c35a.png
[0e362eaac3694d1da21c8e180493e3fc.png_pic_center]: https://img-blog.csdnimg.cn/0e362eaac3694d1da21c8e180493e3fc.png#pic_center
[fe88494be6d0436d84405336fb19aebf.png_pic_center]: https://img-blog.csdnimg.cn/fe88494be6d0436d84405336fb19aebf.png#pic_center
[9664182b7a6b1b1d90810d63133b9af8.png]: https://img-blog.csdnimg.cn/img_convert/9664182b7a6b1b1d90810d63133b9af8.png
[88bb0d65a4fa4ff896378a8c93ff0288.png_pic_center]: https://img-blog.csdnimg.cn/88bb0d65a4fa4ff896378a8c93ff0288.png#pic_center
[3742d5d1e95c9362bd6e3900bbd130a5.png]: https://img-blog.csdnimg.cn/img_convert/3742d5d1e95c9362bd6e3900bbd130a5.png
[e9523f9a44a9201f7325848c63122fc3.png]: https://img-blog.csdnimg.cn/img_convert/e9523f9a44a9201f7325848c63122fc3.png
[528907947d59187f7b5c19f2646fcc4b.png]: https://img-blog.csdnimg.cn/img_convert/528907947d59187f7b5c19f2646fcc4b.png
[78060bfac21ba8d022e2cd06d5c15aa4.png]: https://img-blog.csdnimg.cn/img_convert/78060bfac21ba8d022e2cd06d5c15aa4.png
[ea88fd92cb9694056bbece460133df3a.png]: https://img-blog.csdnimg.cn/img_convert/ea88fd92cb9694056bbece460133df3a.png
[6ae262cf012f4ecd9fc4bbff441e7555.png_pic_center]: https://img-blog.csdnimg.cn/6ae262cf012f4ecd9fc4bbff441e7555.png#pic_center
[e7c0c418b38c4ef28955b1ebded01e5c.png_pic_center]: https://img-blog.csdnimg.cn/e7c0c418b38c4ef28955b1ebded01e5c.png#pic_center