来看看运营谷歌运营理念这样一家公司需要多么庞大的数据中心

作者: Joe Kava 翻译: 孙薇 责编: 钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件,另有「CSDN 高级架构师群」,内有诸多知名互联网公司的大牛架构师,欢迎架构师加微信qshuguang2008申请入群,备注姓名+公司+职位。
在首次上,谷歌的两位领导者——数据中心的运营副总裁Joe Kava和安全隐私方面的优秀工程师Niels Provos向与会者分享了谷歌在全球范围内设计、构建、运行和保护数据中心的实践方式,其中包含一些令谷歌的数据中心独一无二的秘诀,及其对于谷歌云端平台用户的意义。安全性和数据保护谷歌一直以来将重心放在数据的安全和保护上,这也是我们的关键设计准则之一。在物理安全方面,我们以分层安全模型为特色,使用了如定制的电子访问卡、警报器、车辆进出限制、围栏架设、金属探测器及生物识别技术等保障措施。数据中心的地板配备了激光束入侵探测器,并安装了高清晰度的内外监视器,全天候检测追踪入侵行为。此外为以防万一,可随时调用访问日志、活动记录以及监控录像。同时数据中心还安排了经验丰富的保安人员每日例行巡逻,他们已接受过背景调查与严格的培训(可以数据中心的360度视频)。越靠近数据中心,安全措施系数就越高,只有一条安全通道能进入数据中心,通过安全徽章和生物识别技术来实现多重访问控制,只有特定职位的员工才有权进入。在整个谷歌公司,只有不到1%的员工曾踏足此区域。我们还采用了非常严格的点对点监管链,用于储存、追踪全过程——从第一次HD输入机器直至证实其已被销毁或清除。同时,我们采用了信息安全和物理安全双管齐下的方式,由于数据通过网络传输的特性,若未经授权可随意访问的话就会非常危险。有鉴于此,谷歌将数据传输过程中的信息保护摆在优先位置上,用户设备与谷歌间的数据传输通常都是利用HTTPS/TLS(安全传输层协议)来进行加密输送。谷歌是第一个默认启用HTTPS/TLS的主要云服务提供商。谷歌自建硬件和监测系统谷歌的服务器不包括那些不必要且会产生漏洞的组件,比如显卡、芯片组、外围连接器。谷歌的生产服务器运行着基于Linux精简版和硬化版定制的操作系统,且这些服务器和操作系统只为谷歌一家提供服务。服务器的资源是动态分配的,允许灵活增长与快速高效地适应,同时还能根据客户的需求来添加或重新分配资源。团队还必须在谷歌的基础架构状态与功能上增加先进的实时可视性功能。众所周知,谷歌在数据方面极度用心。为了协助团队,谷歌已为所有的功能区域配备了监测与控制系统,包括服务器、存储、网络系统、配电房、机械冷却系统以及安全系统——我们全方位地对“从芯片到冷却装置”的性能和操作进行监测。利用机器学习来优化数据中心操作系统为了努力实现这一目标,我们利用和深度学习算法来优化数据中心的操作系统。正如想象的那样,我们的数据中心内部大而复杂,所有电气、机械和控制系统协力只为提供最优性能。对常人而言,由于系统之间的交互信息与可能的设置十分复杂,很难想象怎样实时优化数据中心;但对于电脑来讲,运算这些可能的情境并找到最佳设置简直小菜一碟。过去几年内,我们开发出了这套算法,并使用全世界谷歌网站数以亿计的数据点对其进行了训练。我们现在利用这个机器学习模型帮助数据可视化,以便运营团队为数据中心配置电力与冷却装置,以确保指定时间的性能达到最优最高效(考虑到影响性能的自变量多达19个),帮助团队找出难以一眼发觉的不连续或者效率不高的数据点。以可再生能源为动力在能源方面,我们致力于利用可再生能源来为基础设施提供动力,谷歌在可再生能源方面是全世界最大的私人投资者。截至目前,谷歌已经在可再生能源的“能源采购标准协议”上投入了超过20亿美元,这些协议重要的原因在于:谷歌计划在未来10-20年间继续投资购买风能和太阳能;
这些风电场和谷歌数据中心有着相同的电网系统;
风电场和数据中心共享电网系统,为项目开发人员提供建立项目所需的财务保证,因此我们明白:除了可再生能源之外,不会再通过其他方式来发电。
冷却方面,平均每12-18个月我们会对基本的冷却技术进行重新设计。通过这种方式,我们所开发的水冷系统在创新上占据领先地位,使用水源包括海水、工业大坝水、回收水及灰水(污染较轻的生活用水)、收集重用的雨水,并涉及了热能储存。此外我们还设计了不使用水冷系统的数据中心,这种系统100%依靠室外空气自然冷却。关键是:并没有“一体适用”的解决方案,每个数据中心会根据特定的位置设计出适合自己的冷却方案,以求能达到最高性能和最高效率。数据中心由谷歌自行运营,不通过第三方设计与建立方面的行业规范削减了对用户手册和图纸的需求,直通正确的解决方案,运营者无需凭借侥幸。一般来讲,运营团队受雇于低价揽活的外包商,而不是业主本身,但在谷歌并非如此,我们有自己的雇员来管理、运营数据中心。在运营时有这样的惯例:问题和错误常在午夜出现——通常是周日的午夜,因为那时没人随时待命处理问题。工程师+运营团队的组合对于所雇的员工和他们运营数据中心的方式,我们采取了不同的态度:工程师和运营专家的背景各不相同,但却有个共同点——他们都是系统思考者。团队的很多成员有关键业务方面的背景,比如美国海军核潜艇项目,在这些项目中,任何错误都会酿成灾难性后果,因此他们很懂系统的交互方式。此外,谷歌在所有数据中心园区还成立了区域站点团队,由负责设计和施工的工程师及运营团队共同组建而成,这些综合团队共同负责构建、调试系统以及提供全天候运营服务,从而赋予了我们对基础架构无与伦比的自治权。
Raymond Blum带领Site Reliability Engineers团队负责谷歌的数据保密和数据安全。当然Google从来都不会如实说有多少数据,但从评论上看目前还没到yottabyte级...
本篇可以说是论文《B4: Experience with a Globally-Deployed Software Defined WAN》中文解析篇。
导读:这是“走进 SIGCOMM 201...
假期第一天下大雨没出门,顺便写下技术博客。
上面的是google的技术栈,可以自行google搜索。已经比较老了,比如F1、TensorFlow还没有加进来。
自底向上的分...
一、基于时间序列数据进行有效报警
Borgmon是google使用的时间序列监控系统,在开源软件中Prometheus是非常类似的一款工具。这个软件将收集时间序列信息作为监控系统的首要任务,同时发展了...
http://www.fovweb.com/web/google-structure-analysis.html日Google是可伸缩性之王。每个人都知道Google是因为他们对大量,...
安全设计的目标:
在设计过程中,充分考虑系统各个层面的安全性,消除或尽可能减少系统中的不安全因素,从而保证系统持续稳定地运行。
安全设计的原则(用以指导如何检验一个系统的安全性):
账户管理,授权和密码管理往往是很棘手的。对很多开发者来说,账户管理功能是一个暗角,不会引起足够的重视。对于产品经理和用户来说,产品的最终体验往往超出预期。
幸运的是,谷歌云平台(GCP)提供了一...
在这种咄咄逼人的安全形势下,数据中心需要一个全方位一体化的安全部署方式。H3C数据中心安全解决方案秉承了H3C一贯倡导的“安全渗透理念”,将安全部署渗透到整个数据中心的设计、部署、运维中,...
没有更多推荐了,(window.slotbydup=window.slotbydup || []).push({
id: '4016718',
container: s,
size: '800,80',
display: 'inlay-fix'
自从Facebook在推出开源数据中心计划以来,谷歌在数据中心设计上也向前迈出了一大步。一向倡导低碳环保的Google,今年秋天荷兰的数据中心将建成并使用海水降温模式。
中国IDC圈8月8日报道:自从Facebook在推出开源计划以来,谷歌在数据中心设计上也向前迈出了一大步。一向倡导低碳环保的Google,今年秋天荷兰的数据中心将建成并使用海水降温模式。
从谷歌公布的视频可见,它在芬兰Hamina新建的数据中心现在完全利用海水来进行冷却。谷歌通过花岗岩隧道将海水输送到数据中心,并且利用了一艘微型潜水艇来保证送水隧道的畅通。谷歌新建的这个数据中心所处的位置以前是一家造纸厂,那些花岗岩隧道在它建设数据中心之前就已经存在了,因此它不需要另外开凿。
海水被输送到数据中心后,谷歌再利用管道系统和泵机将海水推向为服务器散热的热交换器,海水吸收了热交换器的热量后被重新排入大海。
从视频可见,谷歌的这个数据中心没有安装空调或配备其他冷却系统。
这种冷却方式可以为谷歌节省大量的成本。通常,能源成本是大型数据中心最大的开支项目,这部分支出远远超过了数据中心的建筑物、硬件和配线的成本支出,对于传统数据中心来说,空调也是一项较大的支出。
Google对于自家电脑计算一向口风很紧,但上个月则首度在一场会议中做了展示,谈论有关数据中心用电效率的议题。
大部分企业都会跟诸如戴尔、惠普、IBM或Sun购买服务器。不过Google所拥有的数十万台服务器都是自己设计打造来的,Google认为这是 公司的核心技术之一。参与过许多Google服务器设计的BenJai(翟本乔)则在众人面前展示一款现代的Google服务器。
Google的最大惊奇:每台服务器都有一颗12伏特电,确保万一主断源断电时还可持续供电。Google也首度透露,从2005年起,其数据中心加入了标准运输货柜,每个都有1160台服务器,耗电量可达250千瓦特(kilowatts)。
听起来似乎很技术怪胎的作法(geeky),不过对于现场许多以经营数据中心(动辄好几千台服务器)为生的专家而言,大家不仅对于Google这种内建电池的作法感到新奇,同时也对公司可保密这么久而啧啧称奇。
Jai受访时表示,Google从2005年就开始采用这种设计,至今已经是第六或第七代设计了。
&这是我们的曼哈顿计划。&Jai如此说。
Google对于节电性能方面十分在意,因此现在将自家经验公开分享。Google运营副总裁UrsHoelzle表示,由于景气不佳导致企业预算紧缩、环保意识抬头、能源价格高涨等因素,现在是应该Google站出来多谈一点效率的时机了。
&若大家没兴趣,你谈太多也没有用。&Hoelzle表示,但现在市场态度已经有了转变。
內建电池有专利
Google也谈到一些数据中心议题,如电力传送、冷却、如何确保冷热空气不会混在一起。负责数据中心设计与性能评估的ChrisMalone表示,Google的数据中心现在的性能已经达到环保局希望采先进技术在2011年才能达成的标准。
&我们的作法现在已经达到2011年的目标了,我们采取最佳作法与一点小创新,这些技术其他人也都拿得到。&Malone表示。
为何要内建电池?
为何这种电池作法很重要呢?答案是金钱。
一般数据中心多倚赖称为不间断电源系统(UPS)的大型中控机型,这基本上算是大电池,会在主电力失效而发电机还来不及启动时,暂时协助供电。Jai表示,直接把电力内建到服务器比较便宜,而且成本能直接跟服务器数量相符合。
&这种作法比使用大型UPS节省得多。&他说,&如此也不会浪费多余的容量。&
效率也是另一个财务考量因素。大型UPS可达92-95%的效率,这意味着许多电力还是被浪费掉了。但Google采用的内建电池作法却好很多,Jai表示,&我们测量的结果是效率超过99.9%.&
关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯
今年11.11,京东数据中心操作系统(JDOS)阿基米德已经全面接管了应用资源调度。每日调度百万台容器实例运转,每日为离线计算提供了多达3000万核。小时的计算资源,SLA履约
大多数数据中心至少拥有五到六个不同供应商的不同存储系统,这既提高了存储成本,又加大了管理复杂性。而一个潜在的解决方案是全闪存数据中心,其中所有数据都移动到一个单
数据中心是信息处理的集中场所,是由大量服务器、网络和存储等设备搭建起来的强大数据处理系统。虽然现在云计算、大数据、人工智能等这些软件虚拟化的技术在数据中心里大行
中国最大的公有云服务提供商阿里云的目标是在2019年之前达到或超越AWS的公有云市场规模,为此阿里云即将在北京建立的数据中心将会采用思科的技术来实现。
据国外媒体报道,位于南非约翰内斯堡市布莱姆芳登社区的数据中心价值200万南非兰特的铜缆11月11日被盗。这个数据中心设施将于12月开通,但由于发生盗窃案件,其运营将被
热门会议:
我们的服务:谷歌为什么不将数据中心设立在中国_百度知道
谷歌为什么不将数据中心设立在中国
答题抽奖
首次认真答题后
即可获得3次抽奖机会,100%中奖。
成都一键科技有限公司
连通世界,沟通无界
成都一键科技有限公司
成都一键科技(www.okznz.com)是成都领先的从事数据中心、服务器托管、租用、云计算、安全防护等业务的服务商。致力于为广大互联网用户提供便捷安全的互联网使用体验。
其实不是不愿意,谷歌光安卓系统中国拥有数亿用户,搜索业务也有大量潜在拥趸,这么庞大的市场,连苹果如此傲慢的公司都知道开始向中国示好,而谷歌迟迟不在中国建数据中心,开展业务的主要原因应该是谷歌不愿意妥协。谷歌一向以用技术服务人类为骄傲,其推出的谷歌搜索、安卓手机操作系统、谷歌地球等产品非常受市场欢迎,但是谷歌本质上还是一家媒体公司,他可以控制哪些东西让网民看到,哪些东西不让,而在这一点上,谷歌并没有选择“入乡随俗”,而是依旧做一个傲慢的小子,不接受中国有关部门的管理。因此到如今都无法在内地正常开展业务。不过开放是大趋势,谷歌慢慢地也在开始接受现实,主动跟中国方面示好,也有消息称谷歌的操作系统业务和AI等业务会回归中国,不过搜索业务什么时候回来,就不得而知了。
为你推荐:
其他类似问题
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。随大“流”:Google秘密转向网络技术的下一个浪潮_36氪
市场合作,请您联系: media_
品牌广告合作,请您联系: media_
企业创新合作,请您联系: corp_
地方合作,请您联系:
满足以下场景,获得更高通过率: 1. 新融资求报道 2. 新公司求报道 3. 新产品求报道 4. 创投新闻爆料
36氪APP 让一部分人先看到未来
为你推送和解读最前沿、最有料的科技创投资讯
一级市场金融信息和系统服务提供商
聚集全球最优秀的创业者,项目融资率接近97%,领跑行业索尼夺得美国全画幅相机市场第一位
timeagotimeago
Image credit: SaveGoogle 台湾数据中心正式启用,为 Google 在亚洲最大的数据中心
2013 年 12 月 11 日, 傍晚 09:12
Google 今天举行了台湾数据中心的落成典礼,并宣布该中心正式投入营运。Google 的时候,是说会在香港、台湾和新加坡三地建造数据中心,其中香港的,而台湾和新加坡的一起在本周启用。台湾的数据中心位在彰化的彰滨工业区,占地达 15 公顷,是 Google 在亚洲最大的一个。
Google 在台湾的这座数据中心,最大的特色在冷却系统上面 -- 为了应付台湾炎热的夏天及节约能源,数据中心设置了一个热能储存系统,可以在晚上电力便宜、气温低的时候冷却大量的水储存起来,到了白天时再循环利用来冷却。此外,Google 还安装了一个雨水收集系统,可以减少对自来水的依赖。
Google 同时宣布扩大对台湾数据中心的投资额,从原本的三亿美元倍增至六亿美元。目前该中心员工已有逾六十名,同时招募还在继续进行中。
Gallery: Google 台灣資料中心 | 21 Photos
gallerygallery
timestamptimestamp
6 月 22 日
timeagotimeago
2018 年 6 月 22 日, 下午 02:01
三星推出容量高达 8TB 的服务器用 SSD
应用了 V-NAND 3D 芯片和新的 NF1 外型。作者: ,
2018 年 6 月 22 日, 下午 02:01
储存timestamptimestamp
3 月 20 日
timeagotimeago
2018 年 3 月 20 日, 中午 12:01
全球最大容量的 100TB SSD 登场
嗯,果然还是针对企业用户而来。作者: ,
2018 年 3 月 20 日, 中午 12:01
储存timestamptimestamp
7 月 12 日
timeagotimeago
2017 年 7 月 12 日, 晚上 10:40
苹果将在贵州新建一座数据中心
为了遵守新施行的《网络安全法》。作者: ,
2017 年 7 月 12 日, 晚上 10:40
储存Email订阅& 2018 Oath Inc. 版权所有。article}

我要回帖

更多关于 谷歌如何运营 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信