腾讯云服务器和数据库哪里买呢？ - 知乎有问题，上知乎。知乎作为中文互联网最大的知识分享平台，以「知识连接一切」为愿景，致力于构建一个人人都可以便捷接入的知识分享网络，让人们便捷地与世界分享知识、经验和见解，发现更大的世界。3被浏览57分享邀请回答赞同 添加评论分享收藏感谢收起写回答&nbsp>&nbsp
&nbsp>&nbsp
&nbsp>&nbsp
腾讯云数据库团队：浅谈如何对MySQL内核进行深度优化
摘要：作者介绍:简怀兵,腾讯云数据库团队高级工程师,负责腾讯云CDB内核及基础设施建设;先后供职于ThomsonReuters和YY等公司,PTimeDB作者,曾获一项发明专利;从事MySQL内核开发工作8年,具有丰富的优化经验;在分布式存储等领域有较丰富经验。MYSQL数据库适用场景广泛,相较于Oracle、DB2性价比更高,Web网站、日志系统、数据仓库等场景都有MYSQL用武之地,但是也存在对于事务性支持不太好(MySQL5.5版本开始默认引擎才是InnoDB事务型)、存在多
作者介绍:简怀兵,腾讯云数据库团队高级工程师,负责腾讯云CDB内核及基础设施建设;先后供职于Thomson Reuters和YY等公司,PTimeDB作者,曾获一项发明专利;从事MySQL内核开发工作8年,具有丰富的优化经验;在分布式存储等领域有较丰富经验。
MYSQL数据库适用场景广泛,相较于Oracle、DB2性价比更高,Web网站、日志系统、数据仓库等场景都有MYSQL用武之地,但是也存在对于事务性支持不太好(MySQL 5.5版本开始默认引擎才是InnoDB事务型)、存在多个分支、读写效率瓶颈等问题。
所以如何用好MYSQL变得至关重要,一方面需要通过MYSQL优化找出系统读写瓶颈,提高数据库性能;另一方面需要合理涉及数据结构、调整参数,以提高用户操作响应;同时还有尽可能节省系统资源,以便系统可以提供更大负荷的服务。本文将为大家介绍腾讯云团队是如何对Mysql进行内核级优化的思路和经验。
早期的CDB主要基于开源的Oracle MySQL分支,侧重于优化运维和运营的OSS系统。在腾讯云,因为用户数的不断增加,对CDB for MySQL提出越来越高的要求,腾讯云CDB团队针对用户的需求和业界发展的技术趋势,对CDB for MySQL分支进行深度的定制优化。优化重点围绕内核性能、内核功能和外围OSS系统三个维度展开,具体的做法如下:
一.内核性能的优化
由于腾讯云上的DB基本都需要跨园区灾备的特性,因此CDB for MySQL的优化主要针对主从DB部署在跨园区网络拓扑的前提下,重点去解决真实部署环境下的性能难题。经过分析和调研,我们将优化的思路归纳为:“消除冗余I/O、缩短I/O路径和避免大锁竞争”。以下是内核性能的部分案例:
1.主备DB间的复制优化
如上图所示,在原生MySQL的复制架构中,Master侧通过Dump线程不断发送Binlog事件给Slave的I/O线程,Slave的I/O线程在接受到Binlog事件后,有两个主要的动作:
写入到Relay Log中,这个过程会和Slave SQL线程争抢保护Relay Log的锁。
更新复制元数据(包含Master的位置等信息)。
经过分析,我们的优化策略是:
Slave I/O线程和Slave SQL线程是典型的单写单读生产者-消费者模型,是可以做到无锁设计的;因此实现思路就是Slave I/O线程在每次写完数据后,原子更新Relay Log的长度信息,Slave SQL线程读取Relay Log的时以长度信息为边界。这样就将原本竞争激烈的Relay Log锁化解为无锁;
由于Binlog事件中的GTID(Global Transaction Identifier)和DB事务是一一对应的关系,所以Relay Log中的数据本身已经包含了所需要的复制元数据,所以我们可以不写Master info文件,消除了冗余的文件I/O;
于DB都是以事务为更新粒度的,因为在Relay Log文件I/O上,我们通过合并离散小I/O为事务粒度的大I/O等手段,使磁盘I/O得以大幅提升。
如上图所示,经过优化:左图35.79%的锁竞争(futex)已经被完全消除;同压测压力下,56.15%的文件I/O开销被优化到19.16%,Slave I/O线程被优化为预期的I/O密集型线程。
2.主库事务线程和Dump线程间的优化
如上图所示,在原生MySQL中多个事务提交线程TrxN和多个Dump线程之间会同时竞争Binlog文件资源的保护锁,多个事务提交线程对Binlog执行写入,多个Dump线程从Binlog文件读取数据并发送给Slave。所有的线程之间是串行执行的!
经过分析,我们的优化策略是:
将读写分离开来,多个写入的线程还是在锁保护下串行执行,每一个写入线程写入完成后更新当前Binlog的长度信息,多个Dump线程以Binlog文件的长度信息为读取边界,多个Dump线程之间并行执行。以这种方式来让复制拓扑中的Dump线程发送得更快!
优化后的示意图如下:
经过测试,优化后的内核,不仅提升了事务提交线程的性能,在Dump线程较多的情况下,对主从复制性能有较大提升。
二.主备库交互流程优化
如上图所示,在原生MySQL中主备库之间的数据发送和ACK回应是简单的串行执行,在上一个事件ACK回应到达之前,不允许继续发送下一个事件;这个行为在跨园区(RTT 2-3ms)的情况性能非常差,而且也不能很好地利用带宽优势。
经过分析,我们的优化策略是:
将发送和ACK回应的接收独立到不同的线程中,由于发送和接收都是基于TCP流的传输,所以时序性是有保障的;这样发送线程可以在未收ACK之前继续发送,接受线程收到ACK后唤醒等待的线程执行相应的任务。
根据实际用例测试,优化后的TPS提升为15%左右。
三.内核功能的优化
1. 预留运维帐号连接数配额
在腾讯云上,不时遇到用户APP异常或者BUG从而占满DB的最大连接限制,这是CDB OSS帐号无法登录以进行紧急的运维操作。针对这个现状,我们在MySQL内核单独开辟了一个可配置的连接数配额,即便在上述场景下,运维帐号仍然可以连接到DB进行紧急的运维操作。极大地降低了异常情况下DB无政府状态的风险。该帐号仅有数据库运维管理权限,无法获取用户数据,也保证了用户数据的安全性。
2. 主备强同步
针对一些应用对数据的一致性要求非常高,CDB在MySQL原生半同步的基础上进行了深度优化,确保一个事务在主库上提交之前一定已经复制到至少一个备库上。确保主库宕机时数据的一致性。
四.外围系统的优化
除了以上提到的MySQL内核侧的部分优化,我们也在外围OSS平台进行了多处优化。例如使用异步MySQL ping协议实现大量实例的监控、通过分布式技术来加固原有系统的HA/服务发现和自动扩容等功能、在数据安全/故障切换和快速恢复方面也进行了多处优化。
相关推荐腾讯云数据库CDB for MySQL产品相关文档MySQL数据库设计总结
此文已由作者授权腾讯云技术社区发布,转载请注明文章出处,获取更多云计算技术干货,可请前往腾讯云技术社区微信公众号:腾讯云技术社区( QcloudCommunity)
以上是的内容，更多
的内容，请您使用右上方搜索功能获取相关信息。
若你要投稿、删除文章请联系邮箱：zixun-group@service.aliyun.com,工作人员会在五个工作日内给你回复。
新用户大礼包！
现在注册，免费体验40+云产品，及域名优惠！
云服务器 ECS
可弹性伸缩、安全稳定、简单易用
&40.8元/月起
预测未发生的攻击
&24元/月起
你可能还喜欢
你可能感兴趣
阿里云教程中心为您免费提供
腾讯云数据库团队：浅谈如何对MySQL内核进行深度优化相关信息，包括
的信息，所有腾讯云数据库团队：浅谈如何对MySQL内核进行深度优化相关内容均不代表阿里云的意见！投稿删除文章请联系邮箱：zixun-group@service.aliyun.com，工作人员会在五个工作日内答复
售前咨询热线
支持与服务
资源和社区
关注阿里云
International腾讯云文档数据库MongoDB哪里买最便宜_百度知道
腾讯云文档数据库MongoDB哪里买最便宜
找了好久，打算入手文档数据库MongoDB，哪里买比较便宜（...
找了好久，打算入手文档数据库MongoDB，哪里买比较便宜（
答题抽奖
首次认真答题后
即可获得3次抽奖机会，100%中奖。
阪口弊砌知道合伙人
获赞数：11
擅长：暂未定制
腾讯云数据库MongoDB是腾讯云基于全球最有潜力的开源NoSQL数据库MongoDB专业打造的高性能分布式数据存储服务，100%完全兼容MongoDB 协议，适用于面向非关系型数据库的场景。很多公司都在腾讯云蓝色航线开的。
刘少锋知道合伙人
来自知道合伙人认证行家
知道合伙人
电脑类行家
采纳数：606
获赞数：2558
软件开发工程师
如果自己想研究文档型数据库，可以自己电脑上装一个就行了。像腾讯云上的这种适合发布服务了用，不适合自己练手的时候使用，当然你不缺钱也可以只接用腾讯上的。现在各大云服务商都有相关的服务，你可以对比一下价格。我个人认为自己有服务器的话自己在服务器上装一个mongodb就行了，不需要单独花钱去买这个服务。有什么相关的问题都可以追问我
本回答被网友采纳
为你推荐：
其他类似问题
您可能关注的内容
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。腾讯云服务器免费使用啦免费6个月_腾讯云代理优惠购买,华南渠道授权服务商,【最大腾讯云代理商】-腾讯云教程网}
腾讯云服务器免费使用啦免费6个月
来源：未知
编辑：小米子
1、活动对象： 面向日起新注册且企业实名认证通过的用户 需要联系线下渠道客户经理 2、活动内容： 符合条件的用户可以免费领取热门云产品（云服务器、云数据库、云存储
1、活动对象：
面向日起新注册且企业实名认证通过的用户
需要联系线下渠道客户经理
2、活动内容：
符合条件的用户可以免费领取热门云产品（云服务器、云数据库、云存储）最长180天的使用时间，域名1年的使用时间，同时能够享受其他20多款云产品的免费额度
3、资格详细规则：
4、领取免费产品规则：
5、为保证活动的公平公正，腾讯云有权对恶意刷抢（如通过程序等技术手段）活动资源，长期资源闲置，利用资源从事违法违规行为的用户收回免费套餐使用资格
6、活动最终解释权在法律范围内归腾讯所有
腾讯云教程网
关注微信公众号，了解最新精彩内容
本站信息均是网上搜集，如有侵犯您的版权，请及时联系我们，我们将尽快处理。
电子邮箱：
客服微信：qcloud0755}