千万级的数据(mysql)，统计分析，非常慢，怎么优化
千万级的数据(mysql)，统计分析，非常慢，怎么优化
数据用的分表方式存储，现在查询很慢，怎么办，
存储的数据内容是：用户行为的LOG，我要在后台做统计，慢！
首先这个日志不适合放在数据库，其次mysql就是慢，这么大的数据量，弄个从库专门用来统计，慢慢统计吧
mysql不适合干这个。换数据库吧
用mysql的集群做 如果你不是做实时统计那就用cache &去看看淘宝数据魔方架构的文章 网上可以找到 &mysql 肯定够用了 看你怎么用
--- 共有 3 条评论 ---
: 嗯 淘宝的一个统计平台
数据魔方？
顶，也可以分库分表去做
千万级的，只要索引设置得当，SQL语句倒腾得当，用MySQL统计还是可以轻轻松松拿下的~~~
日志分析之类的活儿还是离线处理吧，推荐Hadoop/Hive。
2 分表（垂直、水平）
3 内存存放
4 提高磁盘IO（如使用SSD）
5 负载均衡
7 +CPU/内存
8910忘记了唉
说过，mysql并不是一个数据库……
所以解决的思路是，你不要把他当作是一个数据库，于是问题就好解决了。
如果有主键，使用外表标记的方法，将where查询和group查询精确到具体的记录主键。
如果无主键，将数据分组输出到不同的临时表做处理。
以前类似的问题，解决是记录每天一个表，定时程序按照记录的自增id每10分钟处理一次数据，每次只处理新产生的数据，并记录每次的id。把流水数据统计到原始统计表里面，再根据原始统计表出最终统计结果。
--- 共有 3 条评论 ---
: 根据具体业务要求来选择方案吧。可以做一次版本更新，改为该方式。对于遗留数据统一在更新时做一次处理。
如果一开始没有采取这种方案，数据库已经积累了一定量的数据又怎么处理呢？
这种思路十分的赞，之前项目遇到这种统计问题也基本都采用这种思路来解决，把统计粒度细化到天，把需要统计的数据从原始数据，变成初步的统计数据查看: 4463|回复: 8
MySQL中统计每分钟select,update,delete次数
论坛徽章:1
在MySQL中有没有命令可以查到每分钟或者每秒执行的SQL语句次数，比如Select，Update，Delete次数？
论坛徽章:1
搜了一下，用SHOW global STATUS查看
论坛徽章:0
没有直接的方法
让mysql开启binlog,使用shell或perl分析binlog可以得出每分钟的dml数
让mysql开启general_log,使用shell或perl分析general_log可以得出每分钟的select数
论坛徽章:52
原帖由 xfyan 于
08:57 发表
没有直接的方法
让mysql开启binlog,使用shell或perl分析binlog可以得出每分钟的dml数
让mysql开启general_log,使用shell或perl分析general_log可以得出每分钟的select数
LZ，这个方法是可以实现，但是不可取，因为打开general_log会主要是消耗更多的I/O资源，而且分析起来需要时间....总之成本更高
还是show global status 然后根据uptime之间的差别算出来就可以了.....
你可以考虑使用...mysql5.1提供的Event实现
论坛徽章:41
show global status like 'Com%‘
论坛徽章:24
可以自己写个脚本，实现类似于 top 命令类型实时刷新数据输出的效果
& & Value/seconds& && && & Stats_name
& & ---------------&&---------------------------------------------------------------
& && && && &&&52682&&Bytes_received
& && && && & 136062&&Bytes_sent
& && && && && &9922&&Innodb_buffer_requests
& && && && && &&&15&&Innodb_buffer_reads
& && && && && & 108&&Innodb_log_write_requests
& && && && && && &0&&Key_read_requests
& && && && && && &0&&Key_reads
& && && && && && &0&&Qcache_hits
& && && && && && &0&&Qcache_inserts
& && && && && && &0&&Open_tables
& && && && && && &0&&Trans_count
& && && && && &1665&&Query_count
& && && && && &1546&&Select_count
& && && && && & 103&&Update_count
& && && && && && &3&&Delete_count
& && && && && &&&13&&Insert_count
& && && && && && &0&&Innodb_lock_time
& && && && && & 272&&Tab_lock_times
& && && && && && &0&&Tab_lock_wait
& && && && && && &0&&Tmp_disk
论坛徽章:19
sky书里应该放些常用脚本看看
论坛徽章:40
用LS各位的办法处以运行时间就行。
论坛徽章:1
哈哈，请SKY大虾共享下常用DBA脚本！
itpub.net All Right Reserved. 北京皓辰网域网络信息技术有限公司版权所有　　　　
　北京市公安局海淀分局网监中心备案编号：　广播电视节目制作经营许可证：编号（京）字第1149号在开发的朋友特别是和mysql有接触的朋友会碰到有时mysql查询很慢，当然我指的是大数据量百万千万级了，不是几十条了，下面我们来看看解决查询慢的办法
会经常发现开发人员查一下没用索引的语句或者没有limit n的语句，这些没语句会对数据库造成很大的影响，例如一个几千万条记录的大表要全部扫描，或者是不停的做filesort，对数据库
会经常发现开发人员查一下没用索引的语句或者没有limit n的语句，这些没语句会对数据库造成很大的影响，例如一个几千万条记录的大表要全部扫描，或者是不停的做filesort，对数据库和服务器造成io影响等。这是镜像库上面的情况。 而到了线上库，除了出现没有索引的语句，没有用limit的语句，还多了一个情况,mysql连接数过多的问题。说到这里，先来看看以前我们的监控做法 1. 部署zabbix等开源分布式监控系统，获取每天的数据库的io，cpu，连接数 2. 部署每周性能统计，包含数据增加量，iostat，vmstat，datasize的情况 3. Mysql slowlog收集，列出top 10 以前以为做了这些监控已经是很完美了，现在部署了mysql节点进程监控之后，才发现很多弊端 第一种做法的弊端: zabbix太庞大，而且不是在mysql内部做的监控，很多数据不是非常准备，现在一般都是用来查阅历史的数据情况 第二种做法的弊端：因为是每周只跑一次，很多情况没法发现和报警 第三种做法的弊端: 当节点的slowlog非常多的时候，top10就变得没意义了，而且很多时候会给出那些是一定要跑的定期任务语句给你。。参考的价值不大 那么我们怎么来解决和查询这些问题呢 对于排查问题找出性能瓶颈来说，最容易发现并解决的问题就是MYSQL的慢查询以及没有得用索引的查询。 OK，开始找出mysql中执行起来不“爽”的SQL语句吧。 ========================================================= 方法一： 这个方法我正在用，呵呵，比较喜欢这种即时性的。 复制代码 代码如下: Mysql5.0以上的版本可以支持将执行比较慢的SQL语句记录下来。 mysql& show variables like 'long%'; 注：这个long_query_time是用来定义慢于多少秒的才算“慢查询” +-----------------+-----------+ | Variable_name | Value | +-----------------+-----------+ | long_query_time | 10.000000 | +-----------------+-----------+ 1 row in set (0.00 sec) mysql& set long_query_time=1; 注： 我设置了1, 也就是执行时间超过1秒的都算慢查询。 Query OK, 0 rows affected (0.00 sec) mysql& show variables like 'slow%'; +---------------------+---------------+ | Variable_name | Value | +---------------------+---------------+ | slow_launch_time | 2 | | slow_query_log | ON | 注：是否打开日志记录 | slow_query_log_file | /tmp/slow.log | 注： 设置到什么位置 +---------------------+---------------+ 3 rows in set (0.00 sec) mysql& set global slow_query_log='ON' 注：打开日志记录 一旦slow_query_log变量被设置为ON，mysql会立即开始记录。 /f 里面可以设置上面MYSQL全局变量的初始值。 long_query_time=1 slow_query_log_file=/tmp/slow.log
方法二:mysqldumpslow命令 复制代码 代码如下: /path/mysqldumpslow -s c -t 10 /tmp/slow-log 这会输出记录次数最多的10条SQL语句，其中： -s, 是表示按照何种方式排序，c、t、l、r分别是按照记录次数、时间、查询时间、返回的记录数来排序，ac、at、al、ar，表示相应的倒叙； -t, 是top n的意思，即为返回前面多少条的数据； -g, 后边可以写一个正则匹配模式，大小写不敏感的； 比如 /path/mysqldumpslow -s r -t 10 /tmp/slow-log 得到返回记录集最多的10个查询。 /path/mysqldumpslow -s t -t 10 -g “left join” /tmp/slow-log 得到按照时间排序的前10条里面含有左连接的查询语句。
最后总结一下节点监控的好处 1． 轻量级的监控，而且是实时的，还可以根据实际的情况来定制和修改 2． 设置了过滤程序，可以对那些一定要跑的语句进行过滤 3． 及时发现那些没有用索引，或者是不合法的查询，虽然这很耗时去处理那些慢语句，但这样可以避免数据库挂掉，还是值得的 4. 在数据库出现连接数过多的时候，程序会自动保存当前数据库的processlist，DBA进行原因查找的时候这可是利器 5. 使用mysqlbinlog 来分析的时候，可以得到明确的数据库状态异常的时间段 有些人会建义我们来做mysql配置文件设置 调节tmp_table_size 的时候发现另外一些参数 Qcache_queries_in_cache 在缓存中已注册的查询数目 Qcache_inserts 被加入到缓存中的查询数目 Qcache_hits 缓存采样数数目 Qcache_lowmem_prunes 因为缺少内存而被从缓存中删除的查询数目 Qcache_not_cached 没有被缓存的查询数目 (不能被缓存的，或由于 QUERY_CACHE_TYPE) Qcache_free_memory 查询缓存的空闲内存总数 Qcache_free_blocks 查询缓存中的空闲内存块的数目 Qcache_total_blocks 查询缓存中的块的总数目 Qcache_free_memory 可以缓存一些常用的查询,如果是常用的sql会被装载到内存。那样会增加数据库访问速度。}