淘宝mysql集群去IOE,为什么选择MySQL而没有选择PostgreSQL

后使用快捷导航没有帐号?
查看: 159|回复: 10
银行要去IOE,PostgreSQL会是O(Oracle)的最佳替代品吗?
高级会员, 积分 544, 距离下一级还需 456 积分
论坛徽章:5
银行要去IOE,PostgreSQL会是O(Oracle)的最佳替代品吗?
银监会39号文件要去IOE,给了时间,要求!银行使用的数据库基本就是Oracle、DB2。但是去不是扔掉就完了,银行得有相应的替代数据库产品!
唉,新人们,不要再盯着Oracle不放了!该去寻找下一个“Oracle”。
那么,PostgreSQL会是下一个“Oracle”吗?
论坛徽章:15
开源的安全便宜,性能也不断提升
ORACLE能开源不
金牌会员, 积分 1521, 距离下一级还需 1479 积分
论坛徽章:9
注册会员, 积分 139, 距离下一级还需 61 积分
论坛徽章:1
未来谁说的准呢?
我觉得会不会有大公司提供支持是关键。
论坛徽章:18
支持开源,无论是oracle开源还是现有开源软件
论坛徽章:21
自从mysql被oracle收购,PostgreSQL就热起来了。
中级会员, 积分 204, 距离下一级还需 296 积分
论坛徽章:1
postgreSQL 好像能無痛遷移Oracle,因此變成很多企業去O的替代方案
新手上路, 积分 36, 距离下一级还需 14 积分
论坛徽章:0
mysql有很多分支的
高级会员, 积分 544, 距离下一级还需 456 积分
论坛徽章:5
网站有课程!
论坛徽章:40
感觉暂时不太好去MySQL | InsideMySQL
今天不聊MySQL,不聊技术,谈谈信用卡。毋庸置疑,信用卡已经成为年青人,特别是程序猿和宅男腐女们每天的必备品。世面上的信用卡也是眼花缭乱,而选择信用卡又是一件非常有技巧的事情。
哪尼?你还没有信用卡?怕信用卡被盗刷?买车还没用信用卡?那我只能说你是伪程序猿。信用卡的最大好处就是免息期,一般来说至少都是30多天的免息期,利用好这部分时间可以省下不少钱。其次,信用卡刷卡有积分,现金是没有的,而积分可以兑换里程或者超市卡,用个时尚点的词这叫撸羊毛。最后,信用卡比现金轻多了!!!买车背个30,40W去?你不嫌重,我还担心你被抢。
个人觉得每个程序猿,甚至可以放更宽一点,每个年轻人都应该办一张中信i白金信用卡。虽说是张白金卡,但是门槛却不高,每年刷满18笔就可免年费。此外,审批速度快,额度高。网上申请1周就有回复,2周基本就能拿到卡,而且额度不错,基本上4,5W不是很大的问题。悲剧的网申了农业银行信用卡,额度500,shit~~~
中信i白金信用卡最大的好处是每月的9积分活动。每月刷满三次99元送一次权益,每月最多送送三次。9积分可以干什么呢?可以兑换星巴克的一杯大杯咖啡,或者去沃尔玛换一张30元的超市卡。3次权益也就意味着你用中信i白金信用卡刷897元,可以拿到至少90元的权益,超过10%的返利!!!参加9积分[......]
后台技术中心是网易杭州研究院的核心基础技术部门,提供分布式存储和视频处理,KV缓存、数据库,大数据计算、搜索等后端平台和服务,支撑了包括邮箱、易信、网易新闻客户端在内的主要大型互联网产品。长期招聘大数据平台(hadoop等)、 分布式存储、KV、分布式数据库、Java开发等职位。具体职位有:
数据平台高级/资深工程师/技术专家
高级/资深搜索开发工程师
高级分布式KV开发工程师
高级分布式数据库开发工程师
资深云硬盘开发工程师
云计算存储开发工程师
分布式文件系统开发工程师
高级/资深JAVA开发工程师
视频编解码开发工程师
高级前端开发工程师
高级IOS开发工程师
高级Android开发工程师
职位的具体说明与招聘链接,有兴趣的也可以单独邮件我,我的邮箱:
MySQL 5.7对于优化器的改动也是非常多。但是优化器不是我专研的方向,对我来说优化器显得非常高深莫测,我想对于优化器的改进我的好友李海翔应该有更好的发言权。他是Oracle MySQL优化器团队成员,也是《数据库查询优化器的艺术:原理解析与SQL性能优化》的作者,对于MySQL优化器有任何问题应该都可以向他发问,他的微博是:。
就目前可以发现的MySQL 5.7优化器的改进有更好地IN查询优化,sort buffer的内存优化,UNION ALL查询的优化,EXPLAIN正在执行的SQL语句支持等。另外,优化器团队有提到正在对优化器代码进行重构,并开发新的面向成本的优化器以支持新的硬件架构,例如更大的内存,SSD设备等。当然,我最为关心的是MySQL 5.7是否支持HASH JOIN,毕竟MariaDB已经在5.5版本就支持Classic Hash Join功能,不过目前得到的消息是5.7还未能支持。不过,用户可以体验下5.6提供的BKA JOIN,对于JOIN速度的提升还是非常显著的,只不过知道的人似乎非常少。
Oracle收购MySQL后一直在打造商业产品化的路线,这在5.6中已经显露出端倪。随着MySQL Utility的不断完善,相信用户今后对于Percona[......]
然而,InnoDB存储引擎本身也不是完美的,特比是和Oracle、PostgreSQL、Microsoft SQL Server的对比中,首当其冲的就是InnoDB B+树索引的那把大锁所导致的性能瓶颈。当进行DML操作时,可能进行树结构的变更,这把大锁可能会导致并发的DML操作变成串行(具体可见《MySQL内核:InnoDB存储引擎 卷1》第10章的分析)。
越来越多的MySQL用户倾向于分库分表的模式,但是该模式最早产生的原因正是因为这把大锁。用户将表根据自增的主键值进行分表,也就是range分区,保证一张表的数据在W之间,这样做的好处是将一把大锁认为的拆分成了很多把小锁,从而提高了数据库的整体性能。但是,为什么不适用分区表?RANGE分区貌似也能完成这样的工作。但可惜的是分区是MySQL 5.1才出现的功能。那么现在新的问题来了,我们还需要分库分表吗?特别是在MySQL 5.7已经解决了B+树索引的并发问题和已提供在线索引添加的功能。
除了索引的这把大锁,其他的并发改进也是有目共睹的。通过memcached接口访问InnoDB存储引擎在只读情况下已经可以轻松达到有100W QPS的性能,通过SQL接口访问已经有超过50W QPS的性能。对于并行刷新操作的优化,对于MVCC的优化,对于S[......]
MySQL replication的另一个硬伤就是failover,不支持crash safe是一个问题,另一个问题与replication实现的本身有关。failover后主从关系的重新建立是一个相当困难的事情,业界有MHA这样的方案,但是还是稍显复杂了点。用户希望的是得到一个简单并且更为容易理解机制,5.6的GTID的出现就是用以解决这个问题的。然而,5.6的GTID毕竟是一个完全新事物,存在一些或多或少的缺陷,有些缺陷可能很难理解,比如为什么开启GTID为什么一定要开启–log-slave-upadate,这反而使得复制的性能下降了。因此,在我看来,经过5.6的洗礼,GTID将会在5.7版本中得到真正的普及与广泛的应用。
5.7版本的另一个重要改进就是replication终于可以保证数据不丢失了,这对一些核心应用来说非常的重要。早在3年前,InnoSQL就尝试解决了这个问题,我们开发了Virtual Sync Replication和HA Suite,并且早在两年前就在网易的应用环境中广泛的使用。今年,网易宝也将使用该机制,MySQL将真正应用到金融行业中去。
很多人或许会对数据不丢失的方案存在性能上的困惑,但是相反的是,其性能比原生的semi-sync的复制要好得多,如果你能理解组提交机制,相信你就能理解这其中的关键。好在Fac[......]
微信公众账号
Recent Posts软件与服务//
去IOE:去掉“IE”就Ok? 谁来拯救自己
  2009年4月底,Oracle宣布收购Sun。尘埃落定后开始集中全力推动其软硬件集于一身的工程系统(Engineered System,通称“集成系统”),很快成为传统“硬件厂商”(有服务器、存储等硬件业务就算)的公敌。
  也是在三年前,阿里巴巴开始涉足云计算,随后成立了阿里云。在阿里巴巴集团首席架构师王坚的主导下,阿里巴巴和淘宝的技术团队发起了“去IOE”运动,现在已获得不小的成果,并在中国的互联网行业产生了很大的影响,欲效仿者甚众。
  这两件事的共同点何在?干掉共同的“敌人”,拯救自己。
  去IOE:开源+工业标准
  首先,必须解释一下“IOE”是怎么回事,才能谈得上“去IOE”。
  IOE分别是IBM、Oracle、EMC,更确切地说是IBM小型机、Oracle数据库与EMC存储设备的组合。这三驾马车构成了一个从软件到硬件的完整商用数据库系统,甚至可以说是同类产品中的最佳组合,为何要去掉呢?
  传统的商用环境强调单一系统的规模,也就是纵向扩展(Scale-up)能力。即使到今天,小型机的纵向扩展能力还是高于x86,而IBM早已是这个市场上的王者;EMC在中高端存储市场上的统治地位亦非常牢固。因此,Oracle数据库用户选择IBM的小型机和EMC的存储设备,在规模和性能上都有足够的保障。据说,采用EMC存储的Oracle安装就有4万多个。
  但是云计算的规模,不是任何单一系统能够满足的,多系统的横向扩展(Scale-out)成为必然之选。如此一来,单一系统的纵向扩展能力便不再那么重要,x86架构以其廉价和开放的特性而越来越受青睐。这就好比虎大于狼,一对一稳操胜算,但群狼战术就招架不住了。
  IOE的另一问题是除了软硬件的购置费用(CAPEX),生命周期内的维护费用(OPEX)也非常高昂。据说,阿里巴巴集团花在Oracle数据库上的许可费用是每年千万人民币级别的,而承载Oracle数据库的IBM小型机与EMC存储设备,购买和保修费用开销更大。
  新浪微博ID为mysqlops的网友发布的与“去IOE运动”文章相关的微博
  从网上流传的知情人士所写文章来看,在“去IOE”运动之前,大淘宝、阿里巴巴B2B和支付宝等公司98%以上的软件系统和业务都采用Oracle数据库提供数据服务。随着淘宝、支付宝和阿里巴巴B2B的注册用户数激增,用户产生的数据也越来越多,即使采用冷热隔离的方式也解决不了大数据量大并发的难题。阿里巴巴B2B中文站因数据量大和业务要求,高峰期CPU保持98%的使用率,负荷亦超高,即使更换存储设备,不久也会再次出现同样的状况。互联网行业公司迅速发展非常快,集中式数据库系统会逐渐成为业务的瓶颈,如果总是花费重金升级硬件,就不得不考虑更加省钱的数据库软硬件解决方案。
  阿里巴巴集团使用Oracle最多的子公司是大淘宝,启用了全亚洲最大的Oracle RAC集群,2010年之前还计划部署更多的Oracle RAC数据库集群。但在阿里巴巴B2B将中文站压力和数据容量最大的Offer数据库,成功从Oracle数据库+IBM小型机+EMC存储设备(IOE体系)迁移到MySQL数据库+x86服务器的模式之后,大淘宝及核心系统部门也招聘了能修改MySQL源码和Hbase源码的人才,把产品线的Oracle数据库迁移到MySQL数据库提供服务,采用Oracle数据库支持的数据分析业务则采用Hadoop集群替代,既解决了业务系统的压力和瓶颈,也能帮助降低资金投入。
  简而言之,阿里巴巴的去IOE,是软件上将Oracle数据库以开源的MySQL和Hadoop替代,Oracle RAC以Hadoop集群替代,硬件上以工业标准的x86服务器(存储可以用PCIe SSD,或连接没有智能的JBOD)替代IBM小型机和EMC存储设备,同时解决性能快速扩展和软硬件投资的压力。
  这里面,首当其冲是Oracle不愿看到的,但也有Oracle正着力解决的。
  硬件:去“IE”利人利己
  与此同时,完成Sun收购的Oracle,具有了涵盖应用程序、中间件、数据库、操作系统、虚拟化、服务器、存储设备的完整堆栈。但是,样样通不等于样样精,Sun的小型机不是IBM的对手,存储更无法与EMC相抗衡。
  从应用到存储,Oracle拥有了“你们有的我都有”的完整堆栈,通过集成设计的软硬件一体化系统发挥整体优势
  Oracle的应对方案是发挥整体优势,推出软硬件集成系统(Engineered System,工程系统),以强项数据库、中间件等软件带动硬件。但是硬件也不能差距太大,否则不仅性能功能参数等不占优势,还很容易被攻击为“将不好的产品捆绑销售给客户”……
  如果坚持用Sun的小型机和SAN存储,硬件将成为Oracle无法回避的短板。可是,如果把服务器和存储都换成基于x86的体系架构,游戏规则就完全不同了。
  在收购Sun之前,Oracle已经推出了与HP合作的Exadata数据库机(Exadata Database Machine,中文称“数据库云服务器”)。不仅服务器是HP的ProLiant DL360,存储也是构筑在HP ProLiant DL180之上的“存储服务器”,全都基于x86架构。
  当时HP很自豪地宣称这是“排他的”合作,但是同为x86架构,能有多大的区别呢?在收购Sun以后,HP的硬件被Sun的服务器和存储服务器替换,不变的是x86架构。
  Oracle Exadata Database Machine X2-2有四分之一、半和全机架的配置,可以看作横向扩展的关系
  接着Oracle又陆续推出了Exalogic中间件云服务器(Exalogic Elastic Cloud)和Exalytics商务智能云服务器(Exalytics In-Memory Machine),硬件上全都以x86架构为主导。
  简而言之,虽然出发点不同(Oracle的想法要复杂得多),但是Oracle与打出“去IOE”口号的阿里系至少有一件事情是一致的,那就是去“IE”(IBM小型机与EMC存储)。即尽量使用标准化的硬件,降低硬件成本,主要在软件层面实现差异化――毕竟,相对于底层的硬件,上层的软件和应用才是王道。
  不同点更是显而易见,那就是对Oracle的态度。
  去留Oracle:各有理由,量力而行
  从Oracle的角度,这当然不成其为问题,但是他们必须给客户一个解释。
  已经是Oracle数据库用户的传统商业企业(如金融、电信),不需要解释。即使是致力于推广去IOE经验的阿里巴巴集团数据库架构师张瑞也指出,“选择技术要考虑:场景,成本和控制力,互联网的玩法并不一定适合企业级应用。IBM、Oracle、EMC主要面向企业级领域,单论技术含量在各自领域都是No1。其实,玩开源的大部分也就是搭积木作方案而已,谁也别嘲笑谁人傻钱多,别人玩得转未必适合自己。”
  Google的三驾马车(GFS、MapReduce和BigTable)是Hadoop的创意之源,但是谷歌中国技术总监谷雪梅明确表示,在严格要求一致性的Google广告系统中,(以Oracle为代表的)传统的交易型应用仍然是更好的解决方案。Google研究院推出了融合BigTable的高扩展性和SQL数据库的可用性和功能性的新型数据库F1,并已将Google广告系统从MySQL部分迁移到F1上。作为一种混合型数据库,F1在一致性和存储系统上比MySQL更好,虽然付出了响应时间的代价,还是可以为OLTP业务所接受。
  不过,Google、Amazon都只有一个。能达到阿里巴巴这个水准的,也不是很多。有一定规模的商业用户构建自己的IT系统,“IE”可以不用,但绕开Oracle的几率不是很高。云计算的未来很美好,可现在不能越过当下。
  Exalytics In-Memory Machine的硬件是一台配备了40G InfiniBand的至强E7服务器
  那么,在另一些Oracle是后来者的领域,如何说服用户?譬如内存数据库,SAP的HANA已经走在前面,Exalytics商务智能云服务器除了做成软硬件集成的一体机,还有什么招数?依然是靠整体作战,除了行式内存数据库产品TimesTen,Exalytics还结合了多种Oracle BI和Oracle Hyperion绩效管理应用软件,并能通过高速的InfiniBand连接与Exadata相集成。Oracle以性能和功能的丰富性为说辞,与SAP展开了口水战……
  骑墙用户:IT是否核心竞争力?
  口水战能吸引眼球,哪些客户会青睐Oracle的集成系统呢?
  以Exalytics为例,客户肯定要有分析处理大数据的需求。除了前面已经提过的金融和电信行业,快速消费品、零售等IT不是企业核心竞争力的行业,也是Oracle主攻的对象。新浪、腾讯、百度等互联网巨头,IT能力简直是生存的命脉,还有规模和成本的考虑,很难接受这种商业集成系统。那么,有没有处于中间状态的,譬如……电商?
  电商电商,一边是互联网,一边是零售业,成分决定选择。淘宝当然属于电商,商的一面不评论,电(互联网)的能力足够强,正如文章开头已经介绍过的,都有能力“去IOE”了,再走回头路的可能性不大――Oracle的集成系统虽然也去了“IE”,但成本和扩展能力仍不能满足他们的要求。不过,像京东、当当,特别是京东,尽管商的一面咄咄逼人,号称要扫平淘宝等竞争对手,线上购物的流程也算流畅,可是总体的IT能力与阿里系相差太远。从公布出来的消息看,京东的IT架构还是基于传统的商用技术,没有体现出互联网基因。换言之,京东是相对适合采用Oracle集成系统的,起码部署速度会大大快于经典的“IOE”组合。
  甲骨文公司大中华区应用顾问总监谢鹏回答Exalytics与“去IOE”的问题
  对于这个问题,甲骨文公司大中华区应用顾问总监谢鹏的回答颇有可借鉴之处:“Oracle和非常知名的电商行业的合作,这是趋势。这两年包括京东、淘宝、百度、当当,现在面临非常大的挑战。第一是整个IT的基础架构不够坚强,经常面临捉襟见肘的状况;第二我们的电商现在缺乏最佳实践,实际上用大量的低效人工作业去满足客户投诉,是不计成本的一种方法。所以实际上, Exalytics商务智能云服务器的加速计算和服务,在电商这个行业应用的前景是非常大的。现在的业务趋势还有一个,我们称之为社交(social),电商最重要的是去了解所有在网上在线购物的客户消费行为,消费偏好和他们的特性。这些数据和我们传统数据不同,是半结构化和非结构化的数据,实际上这是Oracle Exalytics的又一个强项,Exalytics不但可以处理结构化的,还可以处理半结构化和非结构化的大数据,所以恰好电商行业也是Oracle要推广的一个重要行业。”
  淘宝、百度放在一边,起码对京东的诊断算是到位。网上有消息说,京东已经选择了Exadata,订单在Oracle上一财季落定,金额过亿元……同期另一重要用户是贵州茅台……
  后记:话题,还是趋势?
  本文用了很大篇幅谈论“去IOE”,并非是对三家业内巨头的否定。先以“IE”来说,IBM的Power自有其独特的价值,而EMC的存储系统也已全面转向x86的架构,不同程度地“与时俱进”,不是过时的古董。就是被阿里巴巴“去”的Oracle数据库,其替代品MySQL,所有权也属于Oracle。
  虽然从Oracle收购Sun之初,就有人担心MySQL的前途,但通常不认为Oracle数据库与MySQL是竞争关系。Oracle数据库是企业级的关键业务生产系统(mission-critical production system),而MySQL当初作为专门从事高速网页服务的关系系统(relational system)起家,尽管获得Facebook这样的顶级网站采用,其规模和交易处理能力等方面仍无法与Oracle数据库相比。
  不过开源的力量实在是太强大了,加上工业标准的服务器,通过分布式系统的横向扩展,MySQL已经可以在特定场合部分或全部替代Oracle数据库――正如阿里巴巴的故事。那么,Oracle会否因此而限制MySQL的自由,乃至“痛下杀手”?目前看来,似乎还不至于。即使这一天真的到来,互联网企业们也可以选择诸如PostgreSQL的替代品,或者去“山寨”Google的F1……当然都没有动动嘴皮子这么轻松了。
  相比之下,我倒是觉得某位高人(如果没记错的话,应该是阿里巴巴张瑞)的猜想有点意思:Oracle会不会推出基于MySQL的集成系统呢?
关键词:X86服务器
责任编辑:郑亮
All Rights Reserved, Copyright , .cn渝ICP证B2-号 如有意见请与我们联系 powered by 天极内容管理平台CMS4i
京公网安备84号当前访客身份:游客 [
当前位置:
一些非常有用的 PostgreSQL 扩展
我亲爱的朋友们,今天让我们来讨论下 PostgreSQL 以及该数据库最有用的一些扩展。
PostgreSQL 是一个关系型数据库管理系统,主要特点:
数据库支持几乎无限的大小;
强大而且可靠的事务复制机制
内建的可扩展编程语言
可通过一些扩展组件进行功能扩展
今天我们主要介绍最后一个特性,下面让我们来看一些 PostgreSQL 的扩展。
PostGIS在对象关系型数据库PostgreSQL上增加了存储管理空间数据的能力,相当于Oracle的spatial部分。PostGIS最大的特点是符合并且实现了OpenGIS的一些规范,是最著名的开源GIS数据库。
PostPic 是 PostgreSQL 数据库的扩展,用来在数据库内进行图像处理,PostPic 为 SQL 增加了 image 类型,还包含很多相关的函数用来处理图片以及从图片中抽取对应的属性。
PL/Proxy和PostgreSQL集群的结构关系可以用下图清楚地表示
Texcaller 是 TeX 命令行工具的编程接口,采用纯 C 编写的可移植库,无需外部依赖。
PgMemcache
PgMemcache 是一组 PostgreSQL 用户自定义函数提供了访问
缓存服务器的接口。安装 pgmemcache 很简单,但需要一些额外的琐碎要求: 必须是 0.38 或者更新版本,PostgreSQL 必须是 8.4 或者更新版本。该扩展提供了 memcached 数据的读写、搜索和删除。
prefix 模块实现了文本的前缀匹配操作,支持索引典型的写法: SELECT * FROM osc_prefixes WHERE prefix @& && ORDER BY length(prefix::text) LIMIT 1
pgSphere 为 PostgreSQL 数据库提供球面数据类型,函数,和运算函数。
Multicorn 是一个 PostgreSQL 9.1+ 的扩展模块,用于简化外部数据封装开发,允许开发者使用 Python 编程语言开发。
& connects to Oracle databases.
& connects to MySQL databases.
& connects to Sybase and Microsoft SQL Server databases.
& connects to any ODBC source.
& connects to CouchDB databases.
& connects to Redis databases.
& fetches messages from Twitter.
& queries LDAP servers.
& access data files in the server&s file system and query them as tables.
& reads flat files with columns of fixed width.
& uses GPU devices to accelerate sequential scan on massive amount of records with complex qualifiers.
& reads files located in Amazon S3.
& accesses web services as a data source.
& used to access data stored in any database supported by the sqlalchemy python toolkit, such as MySQL, SQLite, Oracle, Microsoft SQL Server and many others.
& used to access data stored in various files, in a filesystem.
& used to access data stored in CSV files.
& used to access items from an RSS feed.
该模块为 PostgreSQL 提供存储Key-Value数据的功能,你可以定义 hstore 数据列来存储这样的数据,并可对这些数据进行分组、排序和唯一检索的查询。
intarray 模块提供一系列有用的函数和运算用于操作整数数组,同时支持索引搜索。
如果数组中包含 null 元素,那么所有的这些操作都将抛出错误。当我开发一个简单的图像比较功能时,我会使用这个扩展 (, 俄文).
Dblink 让你可以在 PostgreSQL 连接会话中支持连接到其他 PG 数据库,同时支持自主事务& .
That&s all folks!
,原创翻译
PostgreSQL 的详细介绍:
PostgreSQL 的下载地址:
想通过手机客户端(支持 Android、iPhone 和 Windows Phone)访问开源中国:
旧一篇: 3年前
新一篇: 3年前
相关讨论话题
你也许会喜欢
/markokr/skytools增加一个Skype 开发的pg队列.
2楼:钛元素
他们说速度不够快,我很想知道
与内容无关的评论将被删除,严重者禁用帐号
本周热点资讯
本站最新资讯当前访客身份:游客 [
当前位置:
谈谈去 IOE 运动
文章出处:这篇文章算是今年年末的一个技术总结。谈谈技术圈一度的热门话题「去 IOE」这件事。何谓 IOE ?所谓 IOE 是个简称。是指以 IBM 、Oracle、EMC 为代表的小型机、集中式数据库和高端存储的技术架构。其中 I 指 IBM p 系列小型机,操作系统是 AIX,IBM 专有的 Unix 系统;O 指 Oracle 数据库(RDBMS);E 指 EMC 中高端 SAN 存储,曾经一度是 IT 企业很喜欢采用的技术架构。IOE 这个说法怎么来的? 据我所知应是来自阿里技术团队内部的称谓,然后才在整个业界流传开来。如果你去问国外技术专家什么是 IOE,对方肯定一头雾水。当然,随着国内案例逐渐被介绍到国外,或许某一天这个术语能输出价值观也说不定。在小型机领域,只有 IBM 这一家,独步武林;HP 当初把宝押在安腾上,算是早早退出这个市场;Sun 日薄西山,SPARC 机器…那就更不必说了。另外,需要说明的是,IBM 也生产存储产品,但 IBM 的存储产品早期其实挺山寨,竞争不过 EMC ,而且有些用户会忌讳把所有的东西困在一家公司身上,尾大不掉。 起码在国内,EMC 的占有率应该更高。中高端存储这个领域,还有一家 HDS,不过曾经一度在阿里也载过跟头。数据库软件方面,在当初几乎没的选择,只有 Oracle 这一家,IBM 的 DB2 实在是不行,虽然号称市场占有率不错。国内用 Oracle 数据库支撑互联网应用的话,一般是采用 Data Guard 这个架构方案。为何要「去 IOE」?说起「去 IOE」,跟阿里的王坚博士有直接关系。我无从得知他当时为什么要做出这个决定。但根据我的推断,当时淘宝、支付宝等公司每家技术体系各有特色,技术团队 也各是一套,只有去「去 IOE」,才有可能将淘宝、支付宝等公司的网站核心体系架构迁移到云上,体现阿里云的价值,某些管理者才有可能从集团公司层面对整个技术团队有更好的控制 力。否则,阿里云师出无名。注意,这个说法只是我个人臆测,肯定不是事实,只是逻辑上是说得通的。实际上,阿里云当时自己的活儿做的很垃圾,也幸亏这个 「去 IOE」运动进行并不那么快。当然这是后话了。或许有人认为「去 IOE」会节约企业成本,实际上,当时的 Oracle 和 EMC 等软件成本已经足够低,硬件上,硬件上的每年的成本也是可控的,如果考虑迁移后总体成本,新硬件成本、开发人员成本、运维成本、时间成本等等,通通算下 来,未必能节约多少。这个不是我拍脑袋给出来的,而是跟不少技术人事后复盘,结论基本一致。客观的说,当时「去 IOE」有一种公司政治的倾向,或者成为一个一窝蜂的运动,这很令人讨厌,或者说这事情出发点未必如何好,但令人意外的是,最后在阿里诸多优秀技术人才的努力下,却取得了一个令人惊讶的很好的结果,那么,就别管出发点如何了。为何「去 IOE」是必要的?从另外一个角度考虑,尤其从运维DBA的角度去审视,「去 IOE」 实际上是必须要进行的,或者说去「O」是必须的,因为当时存在的问题是,Oracle 数据库对用户 (DBA) 来说已经不够灵活,常用的 Data Guard 模式无法适应互联网公司快速增长,最基本的一点,读写分离就做不到,只能向上扩展(Scale Up),拼硬件能力,几乎无法做到横向扩展。或许有人说,不是有 RAC 么? 但 Oracle RAC 是无法对付高并发下的 OLTP 应用的 – 一直到现在很多人都认识不到这一点,RAC 跑跑数据仓库什么的倒是不错。注:有人会说 Orale RDBMS 11g 的 Data Guard 可以读写分离呀,这个所谓的读写分离可靠性其实是不够的,而且出现的时间也太晚了,此外,不够灵活。还会有人争论 Oracle RAC 怎么就不能应付 OLTP 呢? 别争论了,你非要说可以应付,没问题,但是在阿里体系的公司里,还真没人敢这么玩儿,为什么? 是做不到? 还是他们掉进坑过?如果要动「O」,那么 「I」 和「E」就必须要动 – 相信不会有人在小型机上跑 MySQL 的,而且,只换掉「O」也没有意义,换汤不换药不会有成效。随着中国电子商务的快速发展,整个阿里系其实已经在面对全世界增长最快最复杂的业务系统之一,这是机遇,也是挑战。旧有的技术架构已经不足以支撑更大的梦想。从这个意义上来说,去「IOE」是相当必要的。或许,这也是王坚博士以及一些人的初衷。为何「去 IOE」成功了?阿里几家子公司这么复杂的技术体系,「去 IOE」这事情堪比高速公路上给飞驰的汽车换轮胎,最后成功是相当不容易的。成功的因素有哪些呢?1.功不可没的当然是一群出色的技术人才,很了不起。我想这是无需多说的,面对这么复杂的业务环境,这个任务如果没有一批优秀的工程师是绝对做不到 的,没有阿里 B2B 技术团队、淘宝团队、支付宝技术团队的先后投入以及合作实践也是绝对做不到的。在业界各种会议上也经常能看到这一群人出来分享,同行应该能感受到。2.开源软件的快速成熟。举个例子,这两年 MySQL 体系的软件进步相当惊人,各种经验证的解决方案如雨后春笋般涌现出来。这得益于不少知名互联网公司(比如 Facebook、淘宝)在使用 MySQL 的同时也将其技术改进回馈给技术社区,把技术方案分享给业界,业界在吸收这些技术的同时再次回馈给技术社区,形成正向的反馈,极大地提升了开源软件在商业 领域的竞争力。3.硬件革命。硬件的进步给技术体系的变迁做好了铺垫。最主要的关键词:「SSD」。如果没有「SSD」的技术成熟以及在商业应用上被普遍接受,「去 IOE」几乎是不可能做到的。要知道物理机 械硬盘存储的性能数十年几乎没得到什么大的改进 – 当然每年提升一点是有的。但 SSD 想比机械硬盘来说,则是质的飞跃。我记忆深刻的是,每年做 I/O 容量规划的时候都会发愁,因为即使已经使用上了很高端的 EMC 存储设备,但实际上只要应用层 I/O 没有命中到存储内存,直接打到后面的磁盘上,几乎没什么抵抗能力。比如当时一个硬盘极限能撑 100 多个 I/O,100 块硬盘也不过是万把个 I/O 就不行了。 但这样的 I/O 「打击」对 SSD 来说,则不是什么大问题。SSD 给解决「IOE」体系最大的瓶颈 – I/O 能力提供了硬件先决条件。4.摩尔定律。国内对「去 IOE」的反应在出现阿里这个成功案例之后,技术圈很是震动,曾经一度讨论热烈,随后则是国内产业界对此出现了一些跟风的倾向,不少公司则打着「国产」软件的旗号 出来蒙人,这是值得警惕的。去掉 Oracle 不意味着就要采用国产的垃圾数据库,因为 MySQL 以及衍生的各种分支数据库才是最佳选择。同样,不用 IBM 的小型机也不意味着国产服务器就迎来新机会,在用户那里,适合的解决方案才是最重要的。「去 IOE」不应该成为一个噱头。任何时候,「国产」都不应该是一个互联网企业选型所要优先考虑的因素。更好笑的,还搞出来一个什么「去 SOA」的组织,难道是为了「去」而「去」么?2014 以后会有更多公司「去 IOE」从目前的种种趋势来看,在今后几年,国内一些互联网公司以及 IT 企业会逐渐的「去 IOE」化。相比几年前,现在的「去 IOE」的主要原因则是:旧的「三件套」已经的确不适合互联网应用了。开源数据库更为可靠成熟,SSD 可靠性也得到验证,技术人才甚至都不需要从头开始进行储备 – 类似「沃趣科技」这样的团队已经能够提供足够好的技术支持服务,新的技术体系毫无疑问会让企业更有竞争力,总体成本更低。上文提到的「」 是由一群前阿里的工程师组成的技术团队,汇集了一群从数据库到存储到网络架构的专家,如果要找「去 IOE」技术顾问,似乎他们是独一份(这里不是广告)。相比之下,IBM、Oracle、EMC 等公司近些年来,实际上对国内那些快速发展的互联网公司已经提供不了有力的技术支持了,IBM 拿苏宁电商联手更成为业内笑柄。或许这也是 IOE 们被抛弃的一个原因,也可能是一些创业团队的新机会。一个时代过去了。
想通过手机客户端(支持 Android、iPhone 和 Windows Phone)访问开源中国:
旧一篇: 1年前
新一篇: 1年前
你也许会喜欢
2楼:enyo 来自
苏宁数据库全部是db2,web容器websphere,每年上供给ibm不知道多少雪花银,服务器三天两头宕机
3楼:糖咖啡
AIX+Oralce集群成本肯定高于Linux+Mysql集群,更不说AIX软件都难找。
4楼:黄开源中国
5楼:just4scala
都是牛人啊
6楼:你不认识丶
这真的不是广告吗
7楼:Raynor1
引用来自“enyo”的评论苏宁数据库全部是db2,web容器websphere,每年上供给ibm不知道多少雪花银,服务器三天两头宕机 呵呵
据说以前买 Sun 的机器要签一个协议, 大意是不能公开说它家的机器不好等等.
9楼:Jekey
应该加快去IOE的步伐!
10楼:李恒哲
嗯,貌似是个很高端的话题
11楼:宝仔love
就知道去IOE,去IOE,就知道他们去了Oracle用了Mysql,我很关心他们的IBM变成什么了,EMC又用什么代替了?这你为什么不说呢?不知道了把
12楼:RuralHunter
作者太扯蛋,只知道一个mysql和ssd,去IOE哪那么简单。。。
13楼:haitaosoft
传统企业的信息化,除了数据库,其它都可以去IOE的了。。。。只是小企业需要先IOE,再去IOE。互联网应用,除了涉及交易、支付的,其它的应用要求没那么高,完全可以去IOE的
14楼:haitaosoft
如果pgsql或mysql能方便地搭建 多写多读 的环境,IOE真的就没好日子了
15楼:云卷江南
一篇广告文。说白了,去IOE技术成本很大,我们提供去IOE的技术支持。话倒是没错。没技术就不要想着去IOE这回事,你扛不住。
16楼:云卷江南
看了下作者,晕死,他现在是站着说话不腰疼,好吧,我错了,有点广告的意味,作为国内最顶尖的oracle dba,你这么说,我也只能听着。
17楼:牛仔豆
广告文,不应该上这个版块
18楼:open_boolse
IBM小型机比较少用了吧,都廉价的刀片式服务器
19楼:猎户座
/bbs/thread/3850特么直接暴露了。。
20楼:Gallant
引用来自“RuralHunter”的评论作者太扯蛋,只知道一个mysql和ssd,去IOE哪那么简单。。。作者是Fenng,实战经验是非常丰富,其实谈的还是很好的。
本周热点资讯
本站最新资讯}

我要回帖

更多关于 谁说世界早已没有选择 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信