匿名用户不能发表回复！|
每天回帖即可获得10分可用分！小技巧：
你还可以输入10000个字符
(Ctrl+Enter)
请遵守CSDN，不得违反国家法律法规。
转载文章请注明出自“CSDN（www.csdn.net）”。如是商业用途请联系原作者。MyCAT日志分析_数据库技术_Linux公社-Linux系统门户网站
你好，游客
MyCAT日志分析
来源：Linux社区&
作者：ivictor
MyCAT日志对于了解MyCAT的运行信息不可获取，譬如MyCAT是否采用读写分离，对于一个查询语句，MyCAT是怎样执行的，每个分片会分发到哪个节点上等等。
默认是info级别，通过log4j.xml可将其设置debug级别，这样就可获得更多有关MyCAT运行的内部信息。
下面通过对MyCAT的启动以及执行一个查询语句来分析MyCAT的运行流程。
Here We Go!
Mycat的启动日志输入如下：
processors指的是CPU的核数，aio thread pool size指的是AIO线程池，为CPU核数的两倍
-sysconfig params：指的是mycat的启动参数，可在server.xml中修改。
其中idleTimeout=1800000指的是外部应用与mycat最大空闲连接时长为30min，超过30min，则外部应用到mycat的连接将被断开。
& & & dataNodeHeartbeatPeriod=10000 节点心跳检测的频率为10s一次。
9066是MyCAT的管理端口
8066是MyCAT的默认端口，类似于MySQL的3306端口。
接下来初始化MyCAT连接池，默认最小为10个连接
可通过schema.xml中dataHost处定义
-init backend myqsl source ,create connections total 10 for hostM1 index :0：初始化后端MySQL连接，master节点是hostM1，可根据conf目录下dnindex.properties文件指定。
再下面的输出信息就是创建连接，释放channel。
创建完毕后，会输出如下信息，代表连接创建完毕
执行心跳检测，所以需建立新的连接，因为我配置的是一主两从，所以需判断localhost，192.168.244.144和192.168.244.146的心跳，localhost已启动10个连接，所以不需要创建新的连接，但hostS1（即192.168.244.146）和hostS2（即192.168.244.144）需要。
threadID对应的是MySQL中的进程ID
接下来是前端连接到MyCAT的输出信息，可以看出，连接到MyCAT后，会执行show database，show tables，select @@version_comment limit 1命令。个人感觉这是为后续的路由分析缓存数据库及表信息。
接下来执行一下select * from travelrecord，查看MyCAT的内部实现逻辑
首先会判断该SQL语句的路由信息（根据下面的输出，MyCAT内部应该用了一个map集合来存储SQL语句的路由信息），如果没有，则会首先生成路由信息。
路由的主要作用是用于确定SQL语句的执行路径，包括查询的数据在哪些分片上。
-SQLRouteCache &miss cache：没有路由信息
-SQLRouteCache add cache：生成路由信息
-execute mutinode query select * from travelrecord：确认该查询会跨多个分片
-has data merge logic：会存在数据的合并
下面就可以确认具体在哪个节点去读了
因为我配置的是一主两从，且balance="1"，全部的readHost与stand by writeHost参与select语句的负载均衡，所以hostS1（192.168.244.146）和hostS2（192.168.244.144）均参与select语句的负载均衡。
在执行select语句之前，需同步连接，为什么要同步连接呢？
MyCAT为了高效的使用后端的MySQL连接，采用了基于MySQL实例的连接池模式。
在Mycat的连接池里，当前可用的MySQL连接是放到一个HashMap的数据结构里，Key为当前连接对应的Database，另外还有二级分类，即按照连接是自动提交还是手动提交模式进行区分，这个设计是为了高效的查询匹配的可用连接，具体逻辑如下：
当某个用户会话需要一个自动提交的，到分片dn1(对应db1）的SQL连接的时候，连接池首先找是否有db1上的可用连接，如果有，看是否有自动提交模式的连接，找到就返回，否则返回db1上的手动提交模式的连接，若没有db1的可用连接，则随机返回一个其他db对应的可用连接，若没有可用连接，并且连接池还没达到上限，则创建一个新连接并返回，这个逻辑过程，我们会发现，用户会话得到的连接可能不是他原先想要的，比如Database不对应，或者事务模式不匹配，因此在执行具体的SQL之前，还有一个自动同步数据库连接的过程，包括事务隔离级别、事务模式、字符集、Database等四个指标，同步完成以后，才会执行具体的SQL指令。
在执行select * from travelrecord语句时，因为会涉及到3个分片，故MyCAT选择了三个read source进行查询，其中，两个在hostS2上，一个在hostS1上。对于hostS2的两个连接，其中一个会复用MyCAT之前对hostS2执行心跳检测的连接，另一个需创建。
对于hostS2复用之前的连接，因为之前执行心跳检测的时候即使用的db1，所以这次schema change为false，不用修改。
而对于hostS1复用之前的连接，因为之前使用的是db1，这次是db3，所以schema change为true，需修改。
对于每一个同步的连接，需在连接同步后才开始执行查询。
一共有5个received ok response，其中2个对应上图中的total syn cmd 2 commands，另外3个对应于上图中的total syn cmd 3 commands，根据host也能很轻易的对应起来。
下面开始执行程序，
第一个红色方框针对的是192.168.244.146中dn3分片上，因为我整个select * from travelrecord输出只有两行，
mysql& select * from
+---------+---------------+------------+------+------+
| traveldate | fee
+---------+---------------+------------+------+------+
1 | mysql-server2 | 2016-01-01 |
| 5000001 | mysql-server3 | 2016-01-02 |
+---------+---------------+------------+------+------+
2 rows in set (0.04 sec)
只跨两个分片，dn1和dn2，所以dn3的查询没有结果输出，直接释放connection和channel。
蓝色方框和第二个红色方框的内容是有关192.168.244.144中dn1的，有结果输出。
-field metadata inf:&DataMergeService先合并了输出列的信息。
&-on row end reseponse：代表dn1的结果的输出。
下面是dn2分片的输出，因为dn2分片是刚才新建的连接，所以同样需要同步，收到两次received ok response后，返回结果，然后释放connection和channel。
最后是DataMergeService合并所有返回的结果。
last packet id预计是MyCAT将结果反馈给前段程序。
至此，一个查询语句的日志分析完毕~
1. 其实同步连接的时候，并不必然会产生received ok response信息，譬如我在执行SELECT * FROM travelrecord WHERE id = 1语句时，
在执行同步连接后，就直接释放了connection和channel，并没有产生received ok response信息，也没有产生on row end reseponse。
看来，这个只能通过源码才能知晓个中原因。
2. 平时分析MyCAT日志，一般会使用tailf命令，但频繁的心跳检测信息又确实是个干扰，可通过&tailf mycat.log |grep -Ev "Timer|release channel"过滤掉部分信息。
3.&received ok response并不只是针对连接同步的，在执行drop table操作时也会产生。
所以，received ok response应该是执行结果的一个反馈。
本文永久更新链接地址：
相关资讯 & & &
& (09/22/:51)
& (07/25/:14)
& (08/17/:49)
& (03/26/:35)
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款mysql涓?棿浠剁爺绌讹紙 Atlas锛宑obar锛孴DDL锛宮ycat锛宧eisenberg,Oceanus,vitess 锛}