究竟是什么让Redshift比Hive快10倍_百度知道
究竟是什么让Redshift比Hive快10倍
提问者采纳
在典型的数据仓库中　　究竟是什么原因产生了如此悬殊的速度。此外：数据以类似纯文本文件、直接操作压缩过的数据，是无法运行任何进程的。　　列查询引擎，它们能够大大减少任务安排及发起所需要的系统开销，引擎可以跳过不相关的列，还可以按列构建查询执行引擎。接下来。Hive 作业在处理数据之前，并能够支持多种输入格式（压缩，或者还有销售日期）、利用现代CPU提供的向量化操作（SIMD）。例如。其中的技巧包括，Hive在可扩展性、JSON）;O。以列式存储数据。接下来、OracleRAC等并行数据库、HBase。　　发起任务的系统开销。相反、未压缩。　　中间数据物化 vs数据传输，我将给出答案：在这里我将给出一个大胆的猜测、“关系型数据库”和“分析型数据库”，不同阶段的中间数据在硬盘上物化，并解释其中的某些原因。　　易扩展和高灵活度在给你带来便利的同时，每张数据表能够存储成百上千列，却也阻碍了你构建性能更好的查询引擎。　　列数据格式。请注意的是，要查找的是沃尔玛每家店的营业额、Greenplum：　　Redshift采用了专有的叫做ParAccel的并行数据库实现机制、纯文本，再反序列化这些数据，执行查询时。　　在答案中呢，Hive设计的初衷是与一些系列存储系统（HDFS，其中的大部分因素也适用于Vertica，该引擎在分析型工作负载方面得到了较好的优化。我想在很多工作情境中。　　比起并行数据库。它仅需要查找两三列（商店的编号。　　我需要申明：Hive 使用拥有二阶模型(Map和Reduce)的MapReduce来执行，并行数据库拥有持续进程或线程池，仅仅是发起一项作业就需要几十秒钟，而大多数查询仅查找少数列、灵活度方面遥遥领先，执行查询时，你会发现大多数并行数据库引擎要比Hive快，我将使用三个可互换的术语“并行数据库”：晚期物化（late materialization）、S3）配合使用、每件商品的零售价。这样可以减少上百次的硬盘I&#47、Avro，相对未优化的形式存储在HDFS中：列数据库将数据按照列式的格式进行存储，在秒级时间单位内。通常一个复杂的SQL查询被映射为MapReduce的多个阶段。让我们来考虑一下如下查询，我将列举哪些特征会影响查询性能：AWS可能已经为他们的Redshift实例实现了一个比普通S3能够提供的更高带宽的S3整体负载，有网友在Quora上提出了这个问题，并得到了Reynold Xin的解答。说起灵活度，需要先花大量时间从硬盘中读取数据。在Hadoop MapReduce 中。并行数据库内置有用于执行SQL查询的引擎：除了上面提到的按列式存储的数据格式，并解决其中的一些难题：　　数据格式，按列存储数据能够大大增加压缩比率。　　更快的S3连接，每项任务作为一独立的JVM过程发起。毫无置疑，Hive社区将会推进开发工作，虽然该答案针对的是ParAccel，Facebook使用Hive数据仓库跨越成千上万个节点，我们刚刚讨论的这些因素是基于Hive当前版本（2013年2月）：Hadoop MapReduce 使用心跳机制（heartbeats）制定作业计划，该引擎在查询操作符和数据流（steram data）之间跨节点传递数据
资深电脑人
其他类似问题
为您推荐：
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁在昨天（4月24日）的技术开放日上，李彦宏现身并推出了百度大引擎。这在百度，表明对相关产品最高的重视了。
这个发布是什么意思呢？简单地讲，引擎将百度在大数据的数据丶能力和技术开放给行业，行业可以近身距离甚远的大数据盛宴，百度则寻到了一个新的增长点。
大数据引擎三件套
百度大数据引擎一共分三个部分。
开放云：百度的大规模分布式计算和超大规模存储云。过去的百度云主要面向开发者，大数据引擎的开放云则是面向有大数据存储和处理需求的“大开发者”。
百度的开放云拥有超过1.2万台的单集群，超过阿里飞天计划的5k集群。百度开放云还拥有CPU利用率高丶弹性高丶成本低等特点。百度是全球首家大规模商用ARM服务器的公司，而ARM架构的特征是能耗小和存储密度大，同时百度还是首家将GPU（图形处理器）应用在机器学习领域的公司，实现了能耗节省的目的。
数据工厂：开放云是基础设施和硬件能力，你可以把数据工厂理解为百度将海量数据组织起来的软件能力。就像数据库软件的位置一样。只不过数据工厂是被用作处理TB级甚至更大的数据。
百度数据工厂支持单词百TB异构数据查询，支持SQL-like以及更复杂的查询语句，支持各种查询业务场景。同时百度数据工厂还将承载对于TB级别大表的并发查询和扫描，大查询丶低并发时每秒可达百GB，在业界已经是很领先的能力了。
百度大脑：有了大数据处理和存储的基础之后，还得有一套能够应用这些数据的。图灵奖获得者N.Wirth(沃斯)提出过“程序=数据结构+算法”的理论。如果说百度大数据引擎是一个程序，那么它的数据结构就是数据工厂+开放云，而算法则对应到百度大脑。
百度大脑将百度此前在人工智能方面的能力开放出来，主要是大规模机器学习能力和深度学习能力。此前它们被应用在语音丶图像丶文本识别，以及自然语言和语义理解方面，被应用在不少App，还通过百度Inside等平台开放给了智能硬件。现在这些能力将被用来对大数据进行智能化的分析丶学习丶处理丶利用。百度深度神经网络拥有200亿个参数，是全球规模最大的，它拥有独立的深度学习研究院（IDL）和较早的布局，在人工智能上百度已经快了一步，现在贡献给业界表明了它要开放的决心。
大数据引擎可以干嘛
百度将基础设施能力丶软件系统能力以及智能算法技术打包在一起，通过大数据引擎开放出来之后，拥有大数据的行业可以将自己的数据接入到这个引擎进行处理。同时，一些企业在没有大数据的情况下，还可以使用百度的数据以及大数据成果。
从架构来看，企业或组织也可以只选择三件套中的一样使用，例如数据存放在自己的云，但要运用百度大脑的一些智能算法应该也是支持的。
举几个例子可能你更加清楚百度大数据引擎究竟是什么。
许多政府部门拥有海量大数据——大数据经典之作《大数据》也是在讲美国政府的大数据。但政府部门几乎都没有大数据处理和挖掘技术。交通部门有车联网丶物联网丶路网监控丶船联网丶码头车站监控等地方的大数据，卫生部门拥有流感法定报告数据丶全国流感样病例哨点监测和病原学监测数据，公安部门有大量的视频监控数据。如果这些数据与百度的搜索记录丶全网数据丶LBS数据结合，在利用百度大数据引擎的大数据能力，则可以实现智能路径规划丶运力管理丶流感预测丶疫苗接种指导丶安防追逃等等。
许多企业也拥有海量大数据——通信丶金融丶物流丶制造丶农业等行业。不过，它们几乎都没有大数据能力，坐拥海量数据却一筹莫展。这时候如果能够应用百度大数据引擎，则可以对海量数据进行可靠低成本的存储，进行智能化的由浅入深的价值挖掘。在百度技术开放日上，中国平安便介绍了如何利用百度的大数据能力加强消费者理解和预测，细分客户群制定个性化产品和营销方案。
可以看出，大数据引擎的输入实际上是百度拥有的大数据以及行业已有的大数据，而输出则是各种行业应用成果，也就是大数据的“价值”。
与一些类似项目的对比
在百度之前，业界已经有一些类似的思路，即有一些大数据能力的企业视图将自己在基础能力或者软件方面的优势释放出来。
大数据时代的奠基者。对应到百度开放云，它有举世闻名的数据中心以及基于Colossus的云；对应到百度数据工厂，Google近年来为迎接大数据时代不断改造核心技术，包括比MapReduce批处理索引系统搜索更快的Caffeine，专为BigTable设计的分布式存储Colossus比GFS还要先进，Dremel和PowerDrill管理和分析大数据，以及Instant和Pregel。对应到百度大脑，Google提供的大数据分析智能应用包括客户情绪分析丶交易风险（欺诈分析）丶产品推荐丶消息路由丶诊断丶客户流失预测丶法律文案分类丶电子邮件内容过滤丶政治倾向预测丶物种鉴定等多个方面。技术有Big Query丶趋势图等。
可以说Google与百度的思路最为接近，不过Google目前还未将它的大数据能力打包起来以一个新“引擎”的方式共享。毫无疑问，这在不久之后就会发生。
云计算的奠基者。亚马逊是IaaS（基础设施即服务），与阿里云非常相似。亚马逊在用户交易丶个人偏好丶经济领域的大数据能力可能比Google还要优秀，也被一些人视作这是亚马逊与Google竞争的唯一机会。亚马逊目前更多还是在云领域做贡献，虽然也有Redshift的方案，但在数据工厂和人工智能的开放上进展慢一些。
阿里巴巴：
亚马逊对应回中国自然是阿里巴巴。阿里云是国内最早的独立运作的云部门。数据则是阿里三大核心战略之一，大数据也被摆到了阿里十分重要的位置，不懂技术的马云经常谈及大数据都有人调侃他应该改名Data Ma。阿里在大数据基础设施领域确实取得了突飞猛进的进展，飞天丶Apsara丶跨机房5K集群都是知名的大数据项目，应对双十一丶余额宝规模取现预测丶广告业务高速增长等业务场景也证明了阿里的大数据能力。
阿里大数据的思路便是做大数据的集市，让阿里系之外的大数据能够跑在阿里苦心搭建的大数据机器上运转起来。不久之前阿里与东软合作，后者的业务未来都将部署在阿里云。这意味着东软客户的数据很可能会进入阿里的大数据体系。可以确定阿里将会推出类似大数据引擎的平台，将大数据能力完全开放出来。
相比百度，阿里在“数据工厂”这块应该是各有所长，在数据基础领域以及业务理解方面有着电商领域的专注，但人工智能这块跟百度比肯定会有不小差距。语音丶图像和自然语言理解，阿里并没有多少积累，它更擅长处理结构化的数据。
其他电商玩家如京东和苏宁也有类似的云，与阿里和百度完全不在一个级别就不比较了。
Salesforce等软件公司：
Salesforce近两年收购了超过5家与社交大数据相关的营销公司，目的是获取更多的数据。其他的软件厂商和方案厂商也有大数据引擎方面的布局，EMC丶Oracle有对应的大数据处理软件，IBM有大数据行业方案，英特尔入股大了数据初创企业Cloudera，Cloudera推出的Impala比GoogleDremel还要快。Intel还推出了基于Hidoop的“大数据引擎”，加州伯克利大学AMPLab开发了名为Shark 的大数据分析系统。
回到国内，华为在去年发布了大数据平台产品FusionInsight，还有百分点科技这样的基于大数据的推荐服务公司。而“天河2号”等独立超级计算机也对外宣称它们的超级计算能力将会逐步开放出来。
不过，软件公司丶方案公司以及超级计算机都无法做到像百度一样将大数据作为一种云端能力打包开放出来，也无法同时具备基础设施丶数据工厂和智能算法的开放能力。尤其是“百度大脑”这部分，很少有其他具备这样的“数据智能”的能力。
百度将用互联网的方式来做开放的大数据引擎。它不可能采取与软件方案公司一样的“一竿子买卖”方式进行合作。而是将大数据引擎做成一个开放平台，形成标准的接口，让每个行业不同企业可以根据自身需求各取所需。而它的首要目的是获取数据，然后是考虑变现。
变现方式可能是增值服务丶收费云丶数据分析结果丶技术咨询等方式，这将改变百度盈利模式过渡依赖“搜索广告”的现状。有消息称，大数据已经给Google每天带来2300万美元的收入，一年约为82亿美元。这已经远远超过百度2013年51亿美金的年收入了。因此，如果百度大数据引擎能够成功，很可能会为之带来源源不断的数据以及现金流。
更多信息请关注微信：xfwsk2014
@你关注的人或派友
亲，先登录哦！
【线下加油站】
7月31日-8月5日（6天6夜）
8月19日-8月21日（3天3夜）
9月1日-9月6日（6天6夜）
电商服务商o【优选】
学做电商 点这里就对了！
十年沉淀成就电商ERP用户数第一！
【查排名】专业免费卖家工具箱！
请输入姓名：
请输入对方邮件地址：
您的反馈对我们至关重要！当前位置： >>
AWS内部十条军规：云与云之间的差距咋就这么大？
摘要：AWS(Amazon Web Service) 开始于 2006 年 3 月 14 日 Amazon S3 的发布，距今已有十年时间。回首过去十年，我们在构建和运营 AWS 云计算服务中积累了大量的经验教训——这些服务不仅需要确保安全性、可用性和可扩展性，同时还要以尽可能低廉的成本提供可预测的性能。
　　AWS(Amazon Web Service) 开始于 2006 年 3 月 14 日 Amazon S3
的发布，距今已有十年时间。回首过去十年，我们在构建和运营 AWS
云计算服务中积累了大量的经验教训&&这些服务不仅需要确保安全性、可用性和可扩展性，同时还要以尽可能低廉的成本提供可预测的性能。考虑到 AWS
是世界范围内构建和运营此类服务的开拓者，这些经验教训对我们的业务来说至关重要。正如我们多次重申的，&经验不存在压缩算法&。考虑到
AWS拥有每月超过一百万的活跃用户，而这些用户也许会为数以亿计的自家客户提供服务。因此，积累上述经验教训的机会在 AWS 比比皆是，
在这些经验教训中，我挑选了一些分享给大家，希望对各位也能有所帮助。
　　1.构建可持续演进的系统
　　从做 AWS
的第一天开始，我们就清楚地认识到，我们在做的这套软件不是一劳永逸的。现在可以用的软件，一年之后很可能将不再适用。我们的预期是，随着(用户)数量级的增加一或两次，我们都需要重新检视和适当修改我们已有的架构，以便解决扩展性的问题。
　　但是我们无法采取过去常用的通过检修停机进行系统升级的方式来实现上述目标，因为世界各地诸多业务都依赖着我们平台所提供的7 x 24
小时的可用性。因此，我们需要构建一个在引入新的软件构件时不会引起服务瘫痪的架构。Amazon 杰出的工程师 Marvin Theimer
有一次开玩笑说，Amazon S3 这项服务的持续演进用开飞机来形容最为贴切。我们最开始开的是一架单引擎的赛斯纳，一段时间后升级成一架波音
737，之后又换成了一支波音 747 小队，而现在更像是由空中巨无霸空客 A380
组成的一支大型机队。自始至终，我们一边通过空中加油确保飞机的正常飞行，一边在万米高空上将 AWS 的用户从一架旧飞机挪到另一架新的上面去。同时，AWS
的用户对此毫不知情。
　　2. 预料到不可预料的情况
　　故障是注定的;随着时间的流逝，一切终将归于失败：从路由器到硬盘，从操作系统到存储单元损坏的TCP数据包，从瞬时误差到永久失效，无论你用的是最高质量的硬件还是最低成本的组件，这都是理所当然的。
　　在服务规模变得很大之后，这个问题愈加地凸显：举例来说，当Amazon S3
服务处理万亿级存储交易时，即使误差概率极小的事件也将成为现实。在设计和构建阶段，这些故障场景中的一部分事先会被考虑到，但更多的则是未知数。
因此，我们需要构建的是将故障视为自然发生的系统，即使我们并不知道故障是什么。这个系统应该要做到，即使在&后院已经着火&的情况下依然可以继续运行。重要的是在不需要引起整个系统宕机的情况下就能管理好受影响的局部组件。对此，我们已经发展出一套控制故障发生影响范围的基本技能，以期系统的总体健康状态得以维持。
　　3. 提供基元而非框架
　　很快我们开始发现，用户大都喜欢在 AWS 提供的服务上持续构建和演进自己的业务系统。在摆脱了传统 IT
硬件和数据中心的束缚之后，他们开始以一种全新、有趣的、之前从未出现过的使用模式开发自己的系统。也正是因为如此，为了满足用户多样的需求，我们的架构需要保持高度的灵活性。
　　关于这一点，最重要的机制之一就是，我们提供给用户的是一系列基元和工具，用户可以选择他们喜欢的方式来使用AWS云服务，而不是由我们提供一个大而全的统一的框架。这个机制给我们的用户带来了巨大的成功，甚至
AWS 自身后续的一些服务也用上了这套机制，就像我们的普通用户一样。
　　同样重要的一点是，我们很难在用户还没开始使用一个服务之前，就准确预知到对用户而言该服务需要优先考虑的问题。这也是为什么所有的新服务最初都会以最小的功能集发布，然后借助用户的反馈，再对该服务进行后续的扩展。
　　4. 自动化是关键
　　开发一个需要持续维护的软件服务和开发一个最终交付给客户的软件有着巨大的差异，管理一个像 AWS
这种规模的系统，需要一种完全不同的观念，才能确保满足用户对可用性、性能以及可扩展性的要求。
　　实现这个目标的一个主要的机制，就是避免容易产生误差的手工操作，尽可能地将管理工作自动化。为此，我们需要构建一套可以控制主要功能的管理
API。在这方面，我们同时也对自己的用户给予帮助。通过将应用分解成一个个独立的模块，每个模块都有自己的管理
API，你可以很方便地定义自动化规则来进行大规模的维护。判断自动化做的是不是到位，可以思考一下你是不是还需要使用SSH登陆到某台服务器进行运维操作?如果答案是
yes，说明你的自动化做得还不够好。
　　5. API 定义要严谨，因为一旦上线就无法更改
　　我们在 Amazon 零售项目中已经接受过类似的教训，但对于 AWS 这种以 API 为中心的服务，这个原则变得更加重要。一旦用户开始用我们的 API
开发他们的应用和系统，我们就不可能再对这些 API 进行变更了。因为 API 的任何改动都会影响到用户已有的项目。因此我们充分意识到，在 API
给到用户之前，我们只有一次将 API 做对的机会。
　　6. 监控你的资源使用情况
　　当你为一项服务确定计费模式的时候，请务必确保你有一份关于该服务的资源成本和运营的数据。对于边际成本很低的业务尤其如此。作为服务提供 商，AWS
需要对服务成本保持足够的敏感，以便我们能清楚地认识到我们是否承担得起某项服务，同时也能够定位到一些可以通过提高运营效率而进一步降低成本的地方，并借此降低服务价格，最终惠及用户。
　　举一个例子，早期的时候，我们对于 Amazon S3
服务所用到的资源成本并不是很清晰。我们当时假定，存储和带宽应该是我们首要考虑的收费点;后来运行了一段时间之后，我们才意识到，请求数量跟存储与带宽同
等重要。如果某个用户有大量的小文件要存储，这种情况下，即使是百万量级的请求，都不会占用太多的存储和带宽资源。最终我们做了调整，将请求数量也纳入了计费模型，以便
AWS 在收支上可以保证这项服务的可持续性。
　　7. 从头开始建立安全机制
　　保护你的用户，这一点的优先级永远都应该排在第一位，在 AWS
也不例外。不光要从运营的角度，还要从工具和机制的角度保证这一点。对此，我们也将继续保持最高的支持与投入。我们很快就学到的一个经验就是，为了实现安
全的服务，我们需要在服务设计的最初阶段就抱有这种安全意识。安全团队的任务不是在一项服务实现完了之后才开始安全检查，相反地，安全团队的工作应该和开
发团队一道，贯穿于整个项目的生命周期，以确保项目的安全性。总之，涉及到安全的问题，没有任何妥协的余地。
　　8. 数据加密是头等大事
　　数据加密，是保证用户数据安全的重要机制。十年前，数据加密相关的工具和服务还不够完善，直到 AWS
刚开始运营的最初几年，我们才逐步积累了很多关于在服务中集成数据加密的最佳实践。 Amazon S3
最初提供的，是服务器端的加密机制。当我们在数据中心移除带有用户数据的磁盘的时候，这些数据就无法被访问到了。但是后续上线的诸如 Amazon CloudHSM 和
Amazon Key 管理服务，均向用户提供了自定义加密密钥的机制，这样一来，AWS 就不需要替用户维护这些加密密钥了。
　　现在，AWS 所有的新服务，在原型设计阶段就会考虑到对数据加密的支持。比如，在 Amazon Redshift
服务中，每一个数据块都通过一个随机的密钥进行加密，而这些随机密钥则由一个主密钥进行加密存储。用户可以自定义这个主密钥，这样也就保证了只有用户本人才能访问这些机密数据或敏感信息。
数据加密在我们的业务中的优先级一直非常高。我们也会持续改进，让数据加密机制用起来更简单，最终，让用户能更好地保护自己的数据安全。
　　9. 网络的重要性
　　AWS的服务支撑了各种各样的负载场景。从高并发处理到视频转码，从高性能并行计算到海量的网络请求。这些不同的负载场景，对网络的要求也各不相同。
　　关于数据中心的设计和运营，AWS
开发了一套独特的机制，这套机制提供了灵活的网络基础设施，以便满足任何用户的不同负载场景的需求。在这个过程中，我们也认识到，为了让用户达成自身的目
标，我们必须开发自己的网络解决方案。这样也能满足我们自身的一些定制化的需求，比如在保证高安全性的同时，通过网络来隔离用户的能力。
自主开发的这套软硬件解决方案，也能给用户带来进一步的性能提升。关于这一点，有一个成功的例子，那就是虚拟机之间的网络通信。由于网络通信是一个共享的资源，在使用
AWS 自己定制的解决方案之前，用户时常会遇到网路拥堵的问题。最终，AWS 通过开发支持单个根 IO 虚拟化技术的 NIC，实现了给每个虚拟机虚拟出自己的
NIC 的解决方案。这一改动成倍地降低了网络延迟，同时提升了高达十倍的网络性能。
　　10. 不设限，保持平台的中立与开放
　　随着时间的推移，AWS 团队提供了越来越多的服务和功能，这也给我们的用户创造了一个广阔的开发平台。但是 AWS
远不止我们团队开发的这些功能与服务，一些合作伙伴基于 AWS 提供的服务进一步扩大和丰富了整个系统的生态。比如，我们的合作伙伴 Stripe
提供的支付服务得以让 Twilio 在 AWS 上支持电话业务。
　　很多用户基于 AWS 本身的服务，开发出自己的产品，用于解决特定的垂直领域的问题。比如，飞利浦开发了用于健康数据管理的 Healthsuite
数字平台;Ohpen 则基于 AWS 开发出自己的零售银行平台;Eagle Genomics 开发了自己的计算平台用于基因处理等等，这样的例子不胜枚举。AWS
并不会限制我们的合作伙伴，规定他们什么可以做什么不可以做。&不设限&的原则释放了创新的动力，为意想不到的创新敞开了大门。 对于在接下来的十年里， AWS
的团队会学到哪些经验教训，我们的用户又会创造出什么样的价值，我充满了期待。 永远记得，对 AWS 来说，这仅仅是一个新的开始。
　　责任编辑：DJ编辑
扫一扫，订阅更多数据中心资讯
本文地址： 网友评论:
条 阅读次数：
版权声明：凡本站原创文章，未经授权，禁止转载，否则追究法律责任。
·····
本文中微模块指以若干机柜、UPS
中国数据中心工作组CDCC年度论坛
近年来，我国智慧城市建设开展得
随着互联网特别是移动互联网的快
主题为“精简IT，敏捷商道” 的
半导体致冷器是由半导体所组成的当前位置： &
shif是什么意思
中文翻译希夫
例句与用法To clear the highlighted strings hold down the shift key while clicking on the find button点击查找按钮时按下shif键可以清除高亮度字符。 Preheat an oven to 180c / 350f . shif the flour , baking powder and pudding powder ( of milk powder if used )预热烤箱到180c .把面粉，烤粉，和布丁粉或是奶粉混合过筛备用。 Their huge redshifts are due to cosmological red shif . their estimated distance might be 13 , 000 millions or 13 billion light - years假若它们极大的红移量是宇宙学红移所做成，那么距离便估计有130亿光年。 &&
相邻词汇热门词汇
shif的中文翻译，shif是什么意思，怎么用汉语翻译shif，shif的中文意思，发音，例句，用法和解释由查查在线词典提供，版权所有违者必究。
&&&&&&&&&&&&&&&&
Copyright &
(京ICP备号)
All rights reserved}