大数据时代提升区域经济发展的对策安全整改措施与对策有哪些

大数据时代企业管理会计面临的挑战与对策_《现代经济信息》杂志社
大数据时代企业管理会计面临的挑战与对策
作  者: 张耘耘
单  位: 深圳贵天下健康食品有限公司
摘  要:企业管理会计是提高经济效益的有效手段,应该随着企业和社会的发展而不断变革,大数据时代对管理会计工作提出了更高的要求。本文首先分析了管理会计的重要意义,然后指出管理会计工作面临的挑战,最后阐述了相关改进对策,以供参考。
关 键 词:大数据;企业;管理会计;改进对策
正  文:管理会计的工作内容,就是对财务数据进行整理、分析、归纳,作为企业发展决策的重要依据。大数据是互联网技术的发展产物,将其应用在企业的管理会计上,既存在机遇,也带来了挑战。以下对此进行探讨。
1.企业管理会计的重要意义
1.1 提高运营效率
管理会计是通过分析市场的运行趋势,制定企业的生产管理计划,推动运营管理工作顺利进行。在大数据技术的支持下,能增大信息规模、提高信息准确度,有利于企业深入挖掘市场,了解产品及其成本价格,作为企业实际生产、销售、管理的重要依据,从而提高运营效率。
1.2 增强综合竞争力
大数据时代背景下,互联网技术普及应用,信息收集更加快捷方便,例如分析客户的社交信息,从而评估对企业的价值大小。如果企业和客户之间没有形成交易,利用这些信息可以评估客户的消费情况和偏好,进而帮助客户找到适合的产品,促使发展计划高效完整实施,增强企业的竞争力。
2.大数据时代企业管理会计面临的挑战
2.1 不重视管理会计
一项调查显示,我国所有企业中,只有50%运用大数据技术开展管理会计工作,30%的企业对于大数据只有简单理解,20%的企业不清楚大数据的概念[1]。企业在管理会计中,只注重经济效益,忽视了内部管理,没有认识到大数据在管理会计中的应用价值,长此以往不利于企业的健康发展。
2.2 安全保障不到位
当前企业的运营发展中,会收集大量的资料信息,除了客户的个人资料以外,还包括组织、市场、战略发展规划等。管理会计工作的开展,如何保护这些信息的安全性,成为一项重要任务。以手机、平板等智能终端设备为例,应用软件时可能需要获取用户的个人信息、地理位置。一旦这些信息泄露,不仅威胁用户的安全,还会降低企业的信用度,造成严重损失。
2.3 软硬件设施落后
企业管理会计软硬件设施比较落后,调查显示2014年人类的消费生产数据总量为5.5ZB,到2030年这一数据将达到110ZB,需要较大的储存空间[2]。然而企业目前的设备落后,会影响数据的整理和分析,甚至出现较大误差。此外,管理会计人员的技能素质不足,依然采用传统数据分析方法,降低了信息的价值性、时效性。
3.企业管理会计的改进对策
3.1 树立科学管理意识
大数据技术是当前经济社会的发展潮流,企业要想提高竞争力、获得长远发展,就必须把握大数据带来的机遇,认识到管理会计的重要性,实现财务资源的合理配置,为企业发展创造更大价值。对于企业领导而言,应该主动学习大数据知识,将管理会计和大数据有机结合;继而带动管理人员和基层员工应用大数据,落实到日常工作中,促进管理会计的全面发展。
3.2 加强安全管理工作
管理会计中应用大数据提供的信息,更多的是来自于外部信息,包括网络数据、公众数据,会改变财务分析的方式方法,保护这些信息的安全性,成为管理工作的前提。对此,可以从以下几点入手[3]:①选择云计算服务商时,要以知名度高、安全性强、具有良好信誉的优先,并且通过实地调查,了解售后服务水平,从根源上保证服务质量。②云计算系统自身要具有风险隔离和预警功能,采用防火墙、杀毒软件等,防止信息数据被修改或窃取。③采用信息加密保护技术,没有获得用户授权时,不能进入系统内部共享资源。
3.3 升级系统培养人才
在升级系统上,企业应该构建以云计算为基础的会计信息系统,针对PB级别的数据进行存储,针对ZB级别的数据进行分析,切实满足各项管理需求。云计算技术的应用,一方面缩小了存储空间,另一方面能优化信息分析技术,用于管理会计上具有良好效果[4]。在培养人才上,企业应该从理论知识、实践技术两个方面入手,改变现行的人才聘任模式,并针对现有员工进行培训,加强和优秀人才、实力企业的交流合作。同时制定合适的激励措施,采用绩效考核方案,将考核结果和员工的薪酬待遇、岗位晋升相挂钩,激发主动能动性。
综上所述,企业管理会计的重要性,在于提高运营效率、增强综合竞争力,实现可持续发展的目标。大数据时代背景下,企业管理会计面临的挑战,主要是不重视管理会计、安全保障不到位、软硬件设施落后。对此,企业应该树立科学管理意识、加强安全管理工作、升级系统培养人才,不断提高管理会计水平。
参考文献:
[1] 张咏梅,于英.&互联网+&时代企业管理会计框架设计[J].会计之友,6-129.
[2] 汪鑫.企业管理会计应用大数据分析实例研究[J].商业会计,-28.
[3] 汪林文.基于大数据时代分析企业管理会计的困境及解决策略[J].经贸实践,1.
[4] 张蓉.企业管理会计体系建设的四大模块[J].财务与会计,-31.
版权所有©
《现代经济信息》杂志社 京ICP备号
编辑手机:,咨询电话:(9,投稿邮箱:
本站所有文字及图片文责自负,并均受版权法保护,仅供学术交流与参考,未经同意,不得转载!新浪广告共享计划>
广告共享计划
大数据时代
《要把对海量数据的采集加工和应用提升到战略层面》
大数据时代将引领一场足以匹敌20世纪计算机一样带来的变革。大数据时代带来的商业价值将远远超过互联网时代。
l& 资金是企业的血液,数据是企业的生命
l& 大数据是生产力;是资源
l& 大数据先锋企业都成立了大数据委员会,设置了首席数据官。
l& 大数据最大贡献是预测未来。非结构化数据,传统技术是无法加工分析处理的。
l& 大数据成为一类最终呀的经济类资产(资源),谁掌握了数据谁就掌握了竞争力
l& 《大数据 大影响》——达沃斯论坛
l& 数据科学家将会成为最性感的科学家
l& 《纸牌屋》,真正的艺术要“去”创造,要扼杀创新。
假数据是自己欺骗自己,不完整数据会颠覆一切。对假数据,特别是不完整数据的应用(依据不完整数据做出的判断和决策)风险最大(例如盲人摸象)
l& 对大数据应用程度成为未来企业竞争力优劣最关键的因素。
l& 在大数据时代,绝大多数人只需知道“什么”而无需知道“为什么”
l& 大数据时代就是对海量信息数据进行采集加工分类并得出结论。
碎片性信息不可能得出结论,用机器(传感器)对海量信息自动分类加工分类成可量化和可度量的信息。
战略决策失败、经营失败、技术失败一定程度上讲是对数据应用不够造成的或者是应用了不完整信息。
l& 大数据还可以作为一个诊断设备
l& 云计算为大数据时代的到来提供了技术支撑。
随着大数据时代的到来,企业应该在内部培养三种能力。第一,整合企业数据的能力;第二,探索数据背后价值和制定精确行动纲领的能力;第三,进行精确快速实时行动的能力。
l& 大数据还是创新的来源和引擎
企业由制造销售商转型为系统方案解决服务商必须对大数据进行利用,否则无法为提供客户提供解决方案。,它犹如利用DNA技术
l& 裁员,从另一个角度来说是减少社会资源占用,是为社会提供劳动力做出的贡献。
每个人都是数据的制造者但不是数据的所有者,数据所有权在对数据进行加工的运营商手中。制造数据的人感觉不到数据的价值(碎片化的数据个体没有价值)但对海量数据采集并加工后就成了有极大价值的资源。
大数据时代正在到来
大数据是近两年最热门IT概念之一。
进入2012年以来,这个领域的风潮逐渐从专业IT人士和数据分析师,扩散到所有关注科技、互联网以及营销领域的人群中,甚至还包括政界人士。而2013年,也被许多国外媒体和专家称为“大数据元年”,如此看来,2012年应该是大数据正式启蒙之年,而一系列标志性事件的发生和建立,让人们越发感觉到大数据时代的力量。
回到2012年2月,《华尔街日报》发表文章《科技变革即将引领新的经济繁荣》,文中罕见地做出大胆预见:“我们再次处于三场宏大技术变革的开端,它们可能足以匹敌20世纪的那场变革,这三场变革的震中都在美国,他们分别是大数据、智能制造和无线网络革命。”
在中国硅谷之称的中关村,大数据产业已经纳入《中关村战略性新兴产业集群创新引领工程(年)》,将开展云运营和大数据示范应用,建设云计算应用支撑平台、虚拟化平台,支持开展海量数据存储、数据挖掘和分析等技术的行业应用,以及大规模云运营服务和大数据挖掘服务。甚至日被命名为首个“中关村大数据日”,中关村示范区接连成立大数据产业联盟、发布三支产业投资基金,支持中国大数据产业发展。
这并不稀奇。事实上美国奥巴马政府已经把“大数据”上升到了国家战略的层面。今年3月,奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”,希望增强收集海量数据、分析萃取信息的能力。另据一份报告显示,英国政府通过高效使用公共大数据(Big
Data)每年可节省330亿英镑。这个数字相当于英国每人每年节省500英镑。事实上在国家层面,大数据已经成为继边防、海防、空防之后,第四个大国博弈的空间。
一个关于大数据价值的核心的逻辑是,这种背景下,在商业、经济、政府及其他领域中,决策行为将日益基于数据和分析而作出,而并非基于经验和直觉;而在公共卫生、经济预测等领域中,“大数据”的预见能力也已经崭露头角。
数据商业与技术爆发
关于大数据领域最经典的案例再也不是老掉牙的“啤酒与尿布”,而是来自一位美国少女。
今年年初,美国一名男子闯入了他家附近的Target店铺(美国一家零售连锁超市)。“你们怎么能这样!”男人向店铺经理大吼到,“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券,她才17岁啊!”店铺经理不知道发生了什么,立刻向来者道歉,表明那肯定是个误会。然而,经理没有意识到,公司正在运行一套大数据系统。但高潮是,一个月后,这个愤怒的父亲打来电话道歉,因为Target发来的婴儿用品促销广告并不是误发,他的女儿的确怀孕了。
在这个案例中我们看到,数据的力量,不仅让商家提升了自己的业绩,还让客户为之心甘情愿买单。据报道,Target创建了一套女性购买行为在怀孕期间产生变化的模型,不仅如此,如果用户从他们的店铺中购买了婴儿用品,Target在接下来的几年中会根据婴儿的生长周期情况定期给这些顾客推送相关产品,使这些客户形成长期的忠诚度。
事实上在商业零售领域,诸如沃尔玛、Tesco等巨头已从数据中获得了巨大的利益,也因此巩固了自己在业界的长盛不衰。
在互联网行业中,大数据更是为电商、广告商们提供了丰厚的回报。雅虎于 2008
年初便开始启用大数据技术,每天分析超过 200PB 的数据,使得雅虎的服务变得更人性化,更贴近用户和客户。它与雅虎 IT
系统的方方面面进行协作,包括搜索、广告、用户体验和欺诈发现等。AOL 也设立了 300 节点的服务器集群,将在其下属系列网站(如
AOL.com、Huffington Post、MapQuest 等)中每天 500TB
的用户浏览信息收集起来,分析和预测这些用户的行为,以便有针对性的为每个月 1.8 亿独立用户进行个性化广告服务。
当然,视数据为生命的不仅限于这些每天产生海量数据的零售和互联网行业,在生物医药、运动产品、能源甚至政务领域,数据越来越成为最不可或缺的价值。而支持其被后爆发的,则是大数据技术的迅猛发展。
一方面,数据量的爆发增长和数据结构的多样性,使得传统的关系型数据库技术已无法满足这些需求,但上世纪末出现的NoSQL技术一开始并未得到广泛应用,直到2009年,在搜索引擎、社交网络等互联网应用盛行使得数据量迅猛增加后,才开始为人们所重视并投入使用。发展到今天,NoSQL技术已经形成了一系列不同用途的数据库管理系统,
2004年初,Google开始研发BigTable非关系型数据库系统,它是建立在Google文件系统之上的一种压缩的、高扩展的数据库技术,可以让Google对于自身新增业务处理进行低成本的扩展。而BigTable这一模型,启发了众多“后来者”的数据技术。目前最为火热的Hadoop便是其中一员。这个由雅虎的前员工Doug
Cutting(现任职于Cloudera公司)最初负责开发的项目,已成为大数据行业的技术中心。
在Hadoop生态中,2008年成立的Cloudera是最早将其商用的公司,它为合作伙伴提供Hadoop的商用解决方案,其中包括IBM、甲骨文(Oracle)、微软、EMC、Teradata等行业领先的数据解决方案提供商,使得NoSQL技术成为现存SQL数据解决方案的强有力补充;同时IBM、SAP、EMC等巨头也纷纷推出相应产品,来适应其客户数据业务的爆发增长。时至今日,Hadoop技术以及被广泛应用了各大互联网公司,这个名单包括Facebook、亚马逊、苹果、AOL、Ebay、Twitter、Netflix、淘宝、百度等等。
数据资产与“金融风暴”
在今年年初的瑞士达沃斯论坛上,一份题为《大数据,大影响》(BigData,BigImpact)的报告宣称,数据已经成为一种新的经济资产类别,就像货币或黄金一样。在这个逻辑下,在大数据时代,传统的商业思想正在被颠覆。
在过去,衡量企业最重要的资产无外乎土地、流动资金和人才等几个要素,如今,数据作为企业一项更加重要的资产将直接关系到企业的发展潜力。这意味着,在完成对企业智商和核心资产的重塑之后,数据资产正在当仁不让地成为现代商业社会的核心竞争力。
但大数据时代数据本身的资产价值也许还不止于此。
国内资深IT人士、大数据研究专家谢文撰文称,大数据将逐渐成为现代社会的基础设施的一部分,和公路,铁路,港口,水电,通讯网络一样不可或缺。谢文表示,就其价值特性而言,大数据却和这些物理化的基础设施不同,不会因为人们的使用而折旧和贬值。例如,一组DNA可能会死亡或毁灭,但数据化的DNA却永存。所以,舍恩伯格赞同许多物理学家的看法,世界的本质就是数据。谢文认为,大数据时代的经济学、政治学、社会学和许多科学门类会发生巨大的甚至是本质上的变化和发展,进而影响人类的价值体系,知识体系和生活方式。
2011 年 11
月,曾投资Facebook、DropBox、Cloudera、沃尔玛等200多家公司的硅谷着名风投机构阿克塞尔合伙人公司(Accel
Partners),宣布成立一个金额 1
亿美金的大数据基金,专注于投资两种类型的数据创业公司:建设包括存储、安全和管理在内的新型架基础构类公司,以及在基础架构之上进行如
BI、行业应用、移动应用等开发的公司。
事实上从2008年起,美国IT领域有关数据服务相关的投资、收购案例开始迅速爆发,总价值超过千亿美元,包括SAP、IBM、EMC、甲骨文等IT巨头都在这个领域下了重注。而在2012年资本寒冬期,大数据成为唯一一个绿意盎然的领域。今年
4 月,成立于 2003 年的数据软件公司Splunk在纳斯达克以16亿美元的市值上市,更是给大数据行业打了一管兴奋剂。
人才市场的动向也颇具说服力。根据麦肯锡旗下研究部门麦肯锡全球学会(McKinsey Global
Institute)2011年发布的一份报告显示,预计美国需要14万-19万名拥有“深度分析”专长的工作者,以及150万名更加精通数据的经理人,无论是已退休人士还是已受聘人士。而Gartner近期一份报告则预测,由于大数据热潮的出现,全球大约会新增440万个IT职位,这个数字十分惊人,但“不是所有需求都会满足,数据分析人才缺口仍然很大。”
数据价值与预测未来
全球范围来看,大数据体现的巨大经济价值,成功地获得了金融界和政界的亲睐。
据麦肯锡报道,大数据为美国的医疗服务业每年节省3000亿美元,为欧洲的公共部门管理每年节省2500亿欧元,为全球个人位置数据服务提供商贡献1000亿美元,帮助美国零售业净利润增长60%,帮助制造业在产品开发、组装等环节节省50%的成本。
此外,全新的、更具竞争力的商业智能服务,这也是大数据最为吸引人的地方之一。传统数据仓库的性能已无法应付庞大的信息,但是大数据(Big
Data)技术使我们能够访问和使用这些宝贵的、大规模数据集以应对越来越复杂的数据分析和更好的商业决策制定大数据将改变商业智能
(BI)的布局,并能为企业提供一种有价值的数据源,这在当下已经成为了一种趋势。
在此之上,则是关于“预测未来”的想象空间,但这并非神话全球复杂网络权威巴拉巴西则认为,人类行为93%是可以预测的。
一个经典的“预测未来”案例来自在数据领域久负名气的ParAccel。它最成功的案例之一是向美国执法机构提供数据分析能力ParAccel通过了一些渠道获得不少犯罪数据,并对15000个有犯罪前科的人进行跟踪,从而向执法机构提供了参考性较高的犯罪预测。所以ParAccel也被成为“犯罪的预言者”。
5月18日Facebook上市时,社交媒体监测平台DataSift宣布:Twitter上每一次情感倾向的转向都会影响Facebook股价的波动,延迟情况只有几分钟到20多分钟它成功预测Facebook上市当天股价的走势。
另一个“恐怖”的断言是:“大数据”所能带来的巨大商业价值,将引领一场足以匹敌20世纪计算机革命的巨大变革这个结论并没得到所有人的认可,但似乎没人否认,2012年,大数据时代已经“降临”。
如果你的网站拥有数以千万计的活跃用户,如果网站上拥有数以百计的产品服务,如果这些服务以多媒体的形式在多个网络终端上运行,如果正在或者打算尝试走向云计算和WEB2.0架构,那就恭喜你了,因为你已经不知不觉地成为大数据时代的先行者或受害者。
按照维基百科上的定义,所谓“大数据”(big
data)在当今的互联网业指的是这样一种现象:一个网络公司日常运营所生成和积累用户网络行为数据“增长如此之快,以至于难以使用现有的数据库管理工具来驾驭,困难存在于数据的获取,存储,搜索,共享,分析和可视化等方面。”这些数据量是如此之大,已经不是以我们所熟知的多少G和多少T为单位来衡量,而是以P(1000个T),E(一百万个T)或Z(10亿个T)为计量单位,所以称之为大数据。
大数据现象在物理学,生物学,环境生态学,自动控制等科学领域和军事,通讯,金融等行业已经存在有些时日了,在互联网业出现却是近年来才逐渐引人注目的。这可以归结为三个基本原因。第一,网络用户的高速增长和用户平均网络使用时间的不断延长,这使得用户网络行为数据大增;第二,网络服务从单一的文字形式走向图片,语音和影像等多媒体形式,导致数据量大增;第三,网络终端由过去的单一台式机变为台式机,平板电脑,书刊阅读器,手机和电视等多终端,大大扩充了网络服务的内容与范围,大大提高了用户对互联网的依赖度,也就大大增加了数据量。
大数据的出现既为网络业带来了机遇也带来了挑战。从潜在的机会看,数据量的增加为网络公司提供了精确把握用户群体和个体网络行为模式的基础,如果能够充分利用,就可以探索个人化,个性化,精确化和智能化地进行广告推送和服务推广服务,创立比现有广告和产品推广形式性价比高数倍甚至数十倍的全新商业模式。同时,网络公司也可以通过对大数据的把握,寻找更多更好地增加用户粘性,开发新产品和新服务,降低运营成本的方法和途径。从现实的挑战看,主要集中在以下三个方面。
首先,大数据挑战着网络公司的战略决策能力。数据量的急剧增长不仅要求在带宽和存储设备等基础设施方面要增加大量投入,而且使网络公司处于进退两难的境地。如果采取无所作为,固守原状的鸵鸟政策,那就可能失去未来发展的机会,失去业内竞争的本钱,早晚会被产业淘汰或者居于下游;如果与时俱进,转型适应大数据时代的到来,那就需要对公司的现有产品和运营体系进行全面的改造,例如网站架构的重建;产品的通用化,标准化,模块化;商业模式的创新;等等。这对绝大多数网络公司而言,既要维持现有业务,保持业绩的稳定和增长,又要加大投入,迅速转型,是个进退维谷的两难处境。
其次,大数据挑战着网络公司的技术开发和数据处理能力。大数据的出现以及潜在的商业价值不仅要求网络公司使用专门的数据库技术和专用的数据存储设备,而且更要求专门的数据分析方法和使用体系。目前业内流行的一般数据挖掘方法和通用商业数据库无法满足大数据时代的挑战。而且,网络公司需要大量高端专业人才,这不仅指一般的程序员和数据库工程师,而且指天体物理学家,生态学家,数学和统计学家,社会网络学家,社会行为心理学家,等等。对海量数据的分析不能仅仅局限在一般数据规律和模型的把握水平上,而且要有理论思维和全面把握的综合深入能力。
第三,大数据挑战着网络公司的组织和运营能力。一般中小网络公司都没有专门的数据管理和分析专家,即使是大型网络公司中,数据管理和分析部门也处于分散,被动,辅助的地位,是公司的龙尾而不是龙头。大数据时代的数据分析基本单位是个人用户,寻找的是个人的全面,完整,动态,实时的网络行为模式以及在此基础上归纳出来的群体行为模式,而不是过去那种基于单个产品,服务,频道的碎片式静态统计分析。所以,对大数据的整体把握是网络公司产品开发,运营设置,商业模式的基础和出发点,是龙头而不是龙尾。这就需要对现有公司架构,组织体系,资源配置和权力结构进行重组,让数据管理与分析部门处于公司整体的上游位置。重组成功的标志之一就是公司设立首席数据官(Chief
Data Officer, CDO)的职位,与CEO, COO, CFO, CTO等一道组成公司核心决策层。
大数据是整个WEB2.0革命的重要组成部分,世界网络业的领军公司,例如GOOGLE,FACEBOOK,苹果和亚马逊已经处于先发的位置上。中国网络业中哪家公司能急起直追,谁就是先行者,否则,只能扮演受害者的角色。
秒杀所有同题。读《大数据时代》,一场生活、工作与思维的大变革
译者序 在路上晃晃悠悠
  接下翻译这本《大数据时代》的任务时,我的目标是做到110%的好。因为作者维克托迈尔-舍恩伯格毕竟不像我们每天在一线与数据厮杀搏斗,其爱其恨都更深刻。特别地,我们可以为中文的读者补充很多中国的例子和参考资料。很遗憾,我们最终只做到了90%,应该补充的一些材料还没有整理好,遣词造句也多有生硬疏忽之处。如果再给我一个月的时间,就可以达到我预想的110%甚至120%。
  为什么现在把这个版本呈现给诸位呢?一是因为我们的努力使得本书中译本的出版和英文原版完全同步,单从获取知识的角度讲,我们一点儿不比美国的读者慢!二是我相信作者在书中的一个重要观点,就是大数据时代,要允许一点点的错误和不完美,因为效率可能更加重要!留下一些可供提高的地方,也使得我们的每一次印刷,都能够与以前有所不同。亲,这不是建议你等到某个更好的版本才去购买,而是说,其实你应该每个版本都买一本:)。
  《大数据时代》这本书是200%的好,因此90%的译本也绝对值得一读。首先,作者抛出了大数据时代处理数据理念上的三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果;接着,从万事万物数据化和数据交叉复用的巨大价值两个方面,讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力;最后,作者冷静描绘了大数据帝国前夜的脆弱和不安,包括产业生态环境、数据安全隐私、信息公正公开等问题。
  国内最近也出版了一些大数据方面的著作,可以和本书互为补充。郑毅的《证析》对于数据通过交叉复用体现的新价值、大数据战略在企业与政府执行层面的流程和大数据科学家这一新职位,以及围绕这个职位的能力和责任给出了最深刻、最具体的描述;子沛的《大数据》对于数据的公正性、公平性以及信息和数据管理等方面理念、政策和执行的变化,特别是美国在这方面的进展,给出了完整的介绍;苏萌、林森和我合著的《个性化:商业的未来》则对大数据时代最重要的技术、个性化技术,以及与之相关的新商业模式给出了从理念到技术细节的全景工笔。总的来说,这三本书都针对本书的某一局部给出了更深刻的介绍和洞见,也各有明显超出本书的优点,但三本之和也无法囊括本书的菁华,亦缺乏本书的宏大视野。
简单地说,这本书好在三个地方:
  一是观点掷地有声,绝非主流媒体上若干讨论的简单汇总和平均,更不是一个宏大概念面前暧昧的叫好声。读者可能对其中一些观点并不认同,但是读完之后不可能一个都记不住。
  二是观念高屋建瓴,作者试图从很多实例和经验,包括历史事件中萃取出普适性的观念,而不仅仅是适用于几个特定情况的案例分析。
  三是例子丰富翔实,不大的篇幅包括了上百个学术和商业的实例。
  三点近乎完美地结合起来,体现了作者驾驭大问题的能力和丰富的知识,以及,可能更为重要地,作者渴求立言立说的野心!所以说,这本书绝对不是一堆枯燥的纲要,更不是一本巨厚的杂志。
  我在这里拼命叫好,是为了这本书卖得更多,但不代表作者的所有观点都是绝对真理。举个例子,我本人对于大数据时代“相关关系比因果关系更重要”这个观点就不认同。有了机器学习,特别是集成学习,我们解决问题的方式变成了训练所有可能的模型和拟合所有可能的参数问题从一个端口进去,答案从另一个端口出来,中间则是一个黑匣子,因为没有人能够从成千上万的参数拟合值里面读到“科学”,我们读到的只是“计算机工程”。与其说大数据让我们重视相关胜于因果,不如说机器学习和以结果为导向的研究思路让我们变成这样。
  那么,大数据是不是都这样了?其实很多时候恰恰相反。想想瑞士日内瓦的强子对撞机,我们在上面捕获了人类有史以来最大规模的单位时间数据。我们是希望找到或者验证某种相关关系吗?不是!我们试图回答的,正是人类所能问出的关于因果关系最伟大的问题:希格斯玻色子是否存在,我们的宇宙是否有可能用标准模型刻画。这个问题的最终答案,将打破人和神的界限!认为相关重于因果,是某些有代表性的大数据分析手段(譬如机器学习)里面内禀的实用主义的魅影,绝非大数据自身的诉求。从小处讲,作者试图避免的“数据的独裁”和“错误的前提导致错误的结
论”,其解决之道恰在于挖掘因果逻辑而非相关性;从大处讲,放弃对因果性的追求,就是放弃了人类凌驾于计算机之上的智力优势,是人类自身的放纵和堕落。如果未来某一天机器和计算完全接管了这个世界,那么这种放弃就是末日之始。苏珊朗格(Susan
Langer)在《哲学新视野》一书中说:
  “某些观念有时会以惊人的力量给知识状况带来巨大的冲击。由于这些观念能一下子解决许多问题,所以,它们似乎将有希望解决所有基本问题,澄清所有不明了的疑点。每个人都想迅速地抓住它们,作为进入某种新实证科学的法宝,作为可以用来建构一个综合分析体系的概念轴心。这种"宏大概念"突然流行起来,一时间把几乎所有的东西都挤到了一边。”
  这段话通常被认为是对当时“存在主义”和“精神分析法”这类万能概念的善意批评,而如今特别适合作为一盆冷水泼在那些没有任何深刻理解,却月月日日分分秒秒穿行于各种“大数据嘉年华”的投资人、媒体人和创业者身上。希望《大数据时代》给予各位的是一些实实在在的知识和思考,并且唤起各位安静思索相关问题的心境。大数据是一个很重要的概念,代表了很重要的趋势,但我不希望它成为一种放之四海皆准的万能概念因为越是万能的,就越是空洞的!人类学家克利福德吉尔兹(Clifford
Geertz)在其著作《文化的解释》中曾给出了一个朴素而冷静的劝说:“努力在可以应用、可以拓展的地方,应用它、拓展它;在不能应用、不能拓展的地方,就停下来。”我想,这应该是所有人面对一个新领域或新概念时应有的态度。
  大数据的道路上没有戈多,我们已经在路上,晃晃悠悠。人类的自由意志和诸神之下的尊严,会在这条道路上异化甚至消逝吗?极目远眺,不知道世界的尽头,是否是一个冷酷的仙境!诸位为之奋斗吧,而我只想,做一个,麦田里的守望者。
  以为序。
  谢文:实实在在大数据
中国互联网发展的重要参与者,知名IT评论人 谢文
  因为我本身十分关注大数据,也写过若干关于大数据的文章,做过若干关于大数据的演讲,所以对有关这一主题的论文和书籍非常有兴趣。过去几年,在这方面我读过十几本书、上百篇论文和文章。相对而言,维克托迈尔-舍恩伯格教授的《大数据时代》是迄今为止我读过的最好的一本专著,中英文都算上。
  此书的一大贡献就是在大数据方兴未艾、众说纷纭的时刻,进一步阐述和厘清了大数据的基本概念和特点,这对许多以为大数据就是“数据大”的人来说很有帮助。
  在人类历史长河中,即使是在现代社会日新月异的发展中,人们还主要是依赖抽样数据、局部数据和片面数据,甚至在无法获得实证数据的时候纯粹依赖经验、理论、假设和价值观去发现未知领域的规律。因此,人们对世界的认识往往是表面的、肤浅的、简单的、扭曲的或者是无知的。维克托指出,大数据时代的来临使人类第一次有机会和条件,在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据,深入探索现实世界的规律,获取过去不可能获取的知识,得到过去无法企及的商机。
  大数据的出现,使得通过数据分析获得知识、商机和社会服务的能力从以往局限于少数象牙塔之中的学术精英圈子扩大到了普通的机构、企业和政府部门。门槛的降低直接导致了数据的容错率提高和成本的降低,但正如维克托所强调的,最重要的是人们可以在很大程度上从对于因果关系的追求中解脱出来,转而将注意力放在相关关系的发现和使用上。只要发现了两个现象之间存在的显著相关性,就可以创造巨大的经济或社会效益,而弄清二者为什么相关可以留待学者们慢慢研究。大数据之所以可能成为一个“时代”,在很大程度上是因为这是一个可以由社会各界广泛参与,八面出击,处处结果的社会运动,而不仅仅是少数专家学者的研究对象。
  大数据将逐渐成为现代社会基础设施的一部分,就像公路、铁路、港口、水电和通信网络一样不可或缺。但就其价值特性而言,大数据却和这些物理化的基础设施不同,不会因为人们的使用而折旧和贬值。例如,一组DNA可能会死亡或毁灭,但数据化的DNA却会永存。所以,维克托赞同许多物理学家的看法,世界的本质就是数据。因此,大数据时代的经济学、政治学、社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展,进而影响人类的价值体系、知识体系和生活方式。哲学史上争论不休的世界可知论和不可知论将会转变为实证科学中的具体问题。可知性是绝对的,无事无物不可知;不可知性是相对的,是尚未知道的意思。
  对于不从事网络业、IT业以及数据分析和使用的读者,本书的一大好处就是通俗易懂,通过具体实例说明问题,有助于人们的理解和联想。在时限上,作者概括了直到2012年7月大数据方向上的最新发展,避免了许多同类作品存在的例证过于陈旧、视野相对狭窄毛病。
  作为一位生活在欧美现代社会的学者,维克托是把民主、开放和理性作为已知前提来讨论大数据革命的。这对生活在发展中国家,社会现代化程度尚且有限的读者来说,也许是个遗憾,因为书中描述的许多已经发生的事例可能更像是神话。没有市场经济制度和法治体系作为基础支撑,大数据很可能成为发达国家在下一轮全球化竞争中的利器,而发展中国家依然处于被动依附的状态之中。整个世界可能被割裂为大数据时代、小数据时代和无数据时代。
  处于发展中国家前列的中国,目前正面临着一个重大的历史抉择关口。应该说,在过去的三十余年时间里,中国在快速走向工业化、信息化、网络化方面交出了一份不错的成绩单。如今适逢世界走向数据化,迈入大数据时代的时刻,无论对个人、企业还是对社会和国家,都有认真理解、严肃决策的必要性和紧迫性。哪怕仅从这一点考虑,读一读这本书也是很值得的。
  田溯宁:拥抱大数据时代
  从硅谷到北京,大数据的话题正在被传播。随着智能手机以及“可佩带”计算设备的出现,我们的行为、位置,甚至身体生理数据等每一点变化都成为了可被记录和分析的数据。以此为基础,“反馈经济”等新经济、新商业模式也正在开始形成。维克托迈尔-舍恩伯格教授这本《大数据时代》,是我看到的最好的大数据著作,不管对于产业实践者,还是对于政府和公众机构,都是非常具有价值的。
  如今,一个大规模生产、分享和应用数据的时代正在开启。正如维克托教授所说,大数据的真实价值就像漂浮在海洋中的冰山,第一眼只能看到冰山的一角,绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋的“动力”就是云计算。互联网时代,尤其是社交网络、电子商务与移动通信把人类社会带入了一个以“PB”(1024TB)为单位的结构与非结构数据信息的新时代。在云计算出现之前,传统的计算机是无法处理如此量大、并且不规则的“非结构数据”的。
  以云计算为基础的信息存储、分享和挖掘手段,可以便宜、有效地将这些大量、高速、多变化的终端数据存储下来,并随时进行分析与计算。大数据与云计算是一个问题的两面:一个是问题,一个是解决问题的方法。通过云计算对大数据进行分析、预测,会使得决策更为精准,释放出更多数据的隐藏价值。数据,这个21世纪人类探索的新边疆,正在被云计算发现、征服。
  《大数据时代》列举了众多在公共卫生、商业服务领域大数据变革的例子。一旦“不再追求精确度,不再追求因果关系,而是承认混杂性,探索相关关系”,“思维转变过来,数据就能被巧妙地用来激发新产品和新型服务”。数据正成为巨大的经济资产,成为新世纪的矿产与石油,将带来全新的创业方向、商业模式和投资机会。
  庞大的人群和应用市场,复杂性高、充满变化,使得中国成为世界上最复杂的大数据国家。解决这种由大规模数据引发的问题,探索以大数据为基础的解决方案,是中国产业升级、效率提高的重要手段。数据挖掘不仅能够成为公司竞争力的来源,也将成为国家竞争力的一部分。联系到我国现代化所面临的种种问题以及教育、交通、医疗保健等各方面挑战,通过大数据这种创新方式来解决问题,创建新的产业群,实现“中国制造到中国创造”的改变,意义就更大。
  “大数据”发展的障碍,在于数据的“流动性”和“可获取性”。美国政府创建了Data.gov网站,为大数据敞开了大门;英国、印度也有“数据公开”运动。中国要赶上这样一场大数据变革,各界应该首先开始尝试公开数据、方式与方法。如同工业革命要开放物质交易、流通一样,开放、流通的数据是时代趋势的要求。《大数据时代》一书也提到了数据拥有权、隐私性保护等问题,但相比较来看,新科技可能带来的改变要远远大于其存在的问题。
  本书的译者周涛教授是我国最年轻有为的大数据专家。这位27岁的天才型教授,数年来一直带领我国学术界在大数据研究上向国际一流看齐。更可贵的是,他不仅做研究,也关注着研究成果的商业化及传播。这部译著就是他这种努力的一个成果。
  现代历史上的历次技术革命,中国均是学习者。而在这次云计算与大数据的新变革中,中国与世界的距离最小,在很多领域甚至还有着创新与领先的可能。只要我们以开放的心态、创新的勇气拥抱“大数据时代”,就一定会抓住历史赋予中国创新的机会。
  文摘:大数据,变革商业
  大数据不仅改变了公共卫生领域,整个商业领域都因为大数据而重新洗牌。购买飞机票就是一个很好的例子。
  2003年,奥伦埃齐奥尼准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼。他知道飞机票越早预订越便宜,于是他在这个大喜日子来临之前的几个月,就在网上预订了一张去洛杉矶的机票。在飞机上,埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚,但是票价却比他便宜得多时,他感到非常气愤。于是,他又询问了另外几个乘客,结果发现大家买的票居然都比他的便宜。对大多数人来说,这种被敲竹杠的感觉也许会随着他们走下飞机而消失。然而,埃齐奥尼是美国最有名的计算机专家之一,从他担任华盛顿大学人工智能项目的负责人开始,他创立了许多在今天看来非常典型的大数据公司,而那时候还没有人提出“大数据”这个概念。
  1994年,埃齐奥尼帮助创建了最早的互联网搜索引擎MetaCrawler,该引擎后来被InfoSpace公司收购。他联合创立了第一个大型比价网站Netbot,后来把它卖给了Excite公司。他创立的从文本中挖掘信息的公司ClearForest则被路透社收购了。在他眼中,世界就是一系列的大数据问题,而且他认为他有能力解决这些问题。作为哈佛大学首届计算机科学专业的本科毕业生,自1986年毕业以来,他也一直致力于解决这些问题。
  飞机着陆之后,埃齐奥尼下定决心要帮助人们开发一个系统,用来推测当前网页上的机票价格是否合理。作为一种商品,同一架飞机上每个座位的价格本来不应该有差别。但实际上,价格却千差万别,其中缘由只有航空公司自己清楚。
  埃齐奥尼表示,他不需要去解开机票价格差异的奥秘。他要做的仅仅是预测当前的机票价格在未来一段时间内会上涨还是下降。这个想法是可行的,但操作起来并不是那么简单。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。
  如果一张机票的平均价格呈下降趋势,系统就会帮助用户做出稍后再购票的明智选择。反过来,如果一张机票的平均价格呈上涨趋势,系统就会提醒用户立刻购买该机票。换言之,这是埃齐奥尼针对9000米高空开发的一个加强版的信息预测系统。这确实是一个浩大的计算机科学项目。不过,这个项目是可行的。于是,埃齐奥尼开始着手启动这个项目。埃齐奥尼创立了一个预测系统,它帮助虚拟的乘客节省了很多钱。这个预测系统建立在41天内价格波动产生的12000个价格样本基础之上,而这些信息都是从一个旅游网站上搜集来的。这个预测系统并不能说明原因,只能推测会发生什么。也就是说,它不知道是哪些因素导致了机票价格的波动。机票降价是因为很多没卖掉的座位、季节性原因,还是所谓的周六晚上不出门,它都不知道。这个系统只知道利用其他航班的数据来预测未来机票价格的走势。“买还是不买,这是一个问题。”埃齐奥尼沉思着。他给这个研究项目取了一个非常贴切的名字,叫“哈姆雷特”。
  这个小项目逐渐发展成为一家得到了风险投资基金支持的科技创业公司,名为Farecast。通过预测机票价格的走势以及增降幅度,Farecast票价预测工具能帮助消费者抓住最佳购买时机,而在此之前还没有其他网站能让消费者获得这些信息。
  这个系统为了保障自身的透明度,会把对机票价格走势预测的可信度标示出来,供消费者参考。系统的运转需要海量数据的支持。为了提高预测的准确性,埃齐奥尼找到了一个行业机票预订数据库。有了这个数据库,系统进行预测时,预测的结果就可以基于美国商业航空产业中,每一条航线上每一架飞机内的每一个座位一年内的综合票价记录而得出。如今,Farecast已经拥有惊人的约2000亿条飞行数据记录。利用这种方法,Farecast为消费者节省了一大笔钱。
  棕色的头发,露齿的笑容,无邪的面孔,这就是奥伦埃齐奥尼。他看上去完全不像是一个会让航空业损失数百万潜在收入的人。但事实上,他的目光放得更长远。2008年,埃齐奥尼计划将这项技术应用到其他领域,比如宾馆预订、二手车购买等。只要这些领域内的产品差异不大,同时存在大幅度的价格差和大量可运用的数据,就都可以应用这项技术。但是在他实现计划之前,微软公司找上了他并以1.1亿美元的价格收购了Farecast公司。而后,这个系统被并入必应搜索引擎。
  到2012年为止,Farecast系统用了将近十万亿条价格记录来帮助预测美国国内航班的票价。Farecast票价预测的准确度已经高达75%,使用Farecast票价预测工具购买机票的旅客,平均每张机票可节省50美元。
  Farecast是大数据公司的一个缩影,也代表了当今世界发展的趋势。五年或者十年之前,奥伦埃齐奥尼是无法成立这样的公司的。他说:“这是不可能的。”那时候他所需要的计算机处理能力和存储能力太昂贵了!虽说技术上的突破是这一切得以发生的主要原因,但也有一些细微而重要的改变正在发生,特别是人们关于如何使用数据的理念。
=====================================
最早提出“大数据”时代到来的是全球知名咨询公司,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
“大数据”在、、等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。
进入2012年,(big
data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《》《》的专栏封面,进入官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的、、等写进了投资推荐报告。
数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。
正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。
哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
随着云时代的来临,大数据也吸引了越来越多的关注。的分析师团队认为,大数据通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。[6]
“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量。
大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……
截止到2012年,数据量已经从(1024GB=1TB)级别跃升到(1024TB=1PB)、(1024PB=1EB)乃至(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍
《大数据时代》是国外大数据研究的先河之作,本书作者维克托·迈尔·舍恩伯格被誉为“大数据商业应用第一人”,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历,早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。
维克托·迈尔·舍恩伯格在书中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。
维克托最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这就颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。
本书认为大数据的核心就是预测。大数据将为人类的生活创造前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉,而更多的改变正蓄势待发。书中展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋们最具价值的应用案例。
【作者简介】维克托·迈尔·舍恩伯格(
他是十余年潜心研究数据科学的技术权威,他是最早洞见大数据时代发展趋势的数据科学家之一,也是最受人尊敬的权威发言人之一。他曾先后任教于世界最著名的几大互联网研究学府。现任牛津大学网络学院互联网治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人,哈佛国家电子商务研究中网络监管项目负责人;曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。
他的学术成果斐然,有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上,他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。
他是备受众多世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业;而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO,由他的公司开发的病毒通用程序,成为当时奥地利最畅销的软件产品。1991年跻身奥地利软件企业家前5名之列,2000年
被评为奥地利萨尔斯堡州的年度人物。
他也是众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究,是欧盟专家之一,也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问,同时他以大数据的全球视野,熟悉亚洲信息产业的发展与战略布局,先后担任新加坡商务部高层、文莱国防部高层、科威特商务部高层、迪拜及中东政府高层的咨询顾问。
所著《大数据》一书是开国外大数据系统研究的先河之作,而在这之前,他已经在《经济学人》上和数据编辑肯尼斯.尼尔-库克耶一起,发表了长达14页的大数据专题文章,成为最早洞见大数据时代趋势的数据科学家之一。而他的《删除》一书,同样被认为是关于数据的开创性作品,并且创造了“被遗忘的权利”的概念而在媒体圈和法律圈得到广泛运用。该书获得美国政治科学协会颁发的唐·K·普赖斯奖,以及媒介环境学会颁发的马歇尔·麦克卢汉奖。同时受到《连线》、《自然》《华尔街日报》《纽约时报》等各大权威媒体广泛好评。[7]
引言 正在发生的生活、工作与思维的大变革
第一部分 大数据时代的思维变革
第1章 更多:不是随机样本,而是所有数据
第2章 更杂:不是精确性,而是混杂性
第3章 更好:不是因果关系,而是相关关系
第二部分 大数据时代的商业变革
第4章 数据化:一切皆可“量化”
第5章 价值:“取之不尽,用之不竭”的数据创新
第6章 角色定位: 数据、技术与思维的三足鼎立
第三部分 大数据时代的管理变革
第7章 风险:让数据主宰一切的隐忧
第8章 掌控:自由与责任并举的数据管理
结语 已经发生的未来
《删除》讲述了遗忘的美德,为读者展现了大数据时代的取舍之道。
《删除》从大数据时代信息取舍的目的和方法分别诠释了“被遗忘的权利”。维克托首先回溯了人类追寻记忆的过程,之后提出数字技术与全球网络正在瓦解我们天生的遗忘能力。对此,他考察了促进遗忘终止4大驱动力——数字化,廉价的存储器,易于提取,全球性访问。之后,他提出了当前数字化记忆的两大威胁——信息权力与时间,并给出了应对威胁的6大对策——数字化节制、保护信息隐私权、建设数字隐私权基础设施、调整人类的现有认知、打造良性的信息生态、完全语境化。最后,他提出了一种应对数字化记忆与信息安全的极有可能的关键对策——给信息设定存储期限。
《删除》开启了一场
“互联网遗忘运动”,让我们始终记得遗忘的美德。这本书告诉我们,在大数据时代,面对海量信息人类该如何取舍,怎样才能构建一个积极而安全的未来。
《删除》讲述了遗忘的美德,为读者展现了大数据时代的取舍之道。数字技术赋予了我们前所未有的权利,它也产生了意想不到的可怕后果。facebook上照片会被网络永远铭记,甚至会影响到一个人的职业发展;Google记得所有我们搜索过的信息和时间。数字王国记住了那些有时最好被遗忘的信息。
删除,大数据取舍之道,就是把有意义的留下来,把无意义的去掉。只有理解了在大数据中,需要的是什么,以及如何判断这种需要,才能举一反三地明白到底为什么要去掉那些不需要的。
中国社科院信息化研究中心秘书长姜奇平作序倾情推荐。北京大学新闻与传播学院副教授胡泳、中国科学院理论物理研究所研究员李淼、麻省理工学院教授大卫·克拉克、国际著名信息隐私权专家保罗·施瓦茨、斯坦福大学互联网与社会中心创办人劳伦斯·莱斯格、波士顿咨询公司高级副总裁菲利普·埃文斯联袂推荐。
《删除》一经出版,即获得美国政治科学协会颁发的“唐·普赖斯奖”,以及媒介环境学会的最高荣誉“马歇尔·麦克卢汉奖”,同时受到《连线》《自然》《华尔街日报》《纽约时报》等各大权威媒体广泛好评。
《删除》洞见了“被遗忘的权利”,探索了大数据时代人类该如何构建积极而安全的未来
中文版序 大数据取舍之道
推荐序 因意义而智慧 姜奇平
第一部分 大数据时代为什么要进行信息的取舍
第1章当遗忘变成例外,而记忆成了常态:大数据时代的隐忧
对于人类而言,遗忘一直是常态,而记忆才是例外。然而,由于数字技术与全球网络的发展,这种平衡已经被打破了。如今,过去正像刺青一样被刻在我们的数字皮肤上,遗忘已经变成了例外,而记忆却成了常态……
喝醉的海盗
一个没有遗忘的时代
抹不掉的致幻剂阴影
Google记得你的一切
大数据的信息力量
人类住进了数字圆形监狱
让我们学会遗忘
第2章 遗忘,人类的天性:人类记忆的作用与演进
遗忘,是人类的天性。从古至今,人们不断尝试用本能、语言、绘画、文本、媒体、介质,来记住我们的知识。千年以来,遗忘始终比记忆更简单,成本也更低。数字时代颠覆了这一切,而我们却惊愕地发现,如果真的记住一切,不仅令人发狂,而且让人孤独绝望……
人类的本能记忆
外部记忆:绘画与文本
介质记忆:摄影、磁带与胶片
第二部分 大数据时代如何进行信息的取舍
第3章 世界已经被设置成记忆模式:数字化记忆发展的4大驱动力
人类对完整记忆的需求一直在持续上升,这让如今的世界已经被设置为记忆模式。海量的数字化记忆不仅触手可得,甚至比选择性删除所耗费的时间成本更低。这是一个几乎失去了遗忘动机的时代……
小黑盒子与麦克斯存储扩展器
驱动力1:数字化
驱动力2:廉价的存储器
驱动力3:易于提取
驱动力4:全球性覆盖
第4章一个没有安全与时间的未来:数字化记忆的两大威胁
在信息权力与时间的交汇处,永久的记忆创造了空间和时间圆形监狱的幽灵。广泛的数字记忆摧毁了历史,损害了我们的判断和我们及时行为的能力,让我们无助地徘徊在两个同样让人不安的选择之间:是选择永久的过去,还是忽略现在……
信息富民VS信息贫民:信息控制权的威胁
永恒的过去VS 被忽视的现在:时间的威胁
第5章 来一场“互联网遗忘”运动:应对数字化记忆与信息安全的6大对策
数字化记忆仿佛是一个诅咒,人类对它愈发强烈的依赖阻碍了我们从中学习、成长和发展的能力。而信息隐私权的维护不仅应在当下,还应在未来。如果有一天隐私权被废除,信息处理者们坐在堆积如山的个人信息中对为所欲为,那么信息隐私权还有什么意义?
对策1:数字化节制
对策2:保护信息隐私权
对策3:建设数字隐私权基础设施
对策4:调整人类的现有认知
对策5:打造良性的信息生态
对策6:完全语境化
第6章给信息一个存储期限:应对数字化记忆与信息安全的关键对策
存储期限并不是强制性的遗忘,不是让我们被迫去选择,而是通过存储期限让我们能对信息的寿命做出应对。它将成为我们日常生活的一部分,让我们深刻意识到一个人类已经无意识地默认了上千年的道理:数量不等于质量,“好”信息不等于“滥”信息。
cookie的警告
信息的存储期限
设定关于信息寿命的元信息
9个月,不断缩短的存储期限
设定存储期限的技术措施
不是用技术删除,而是让遗忘复活
谁来掌控存储期限
我们需要“能衰退”的存储系统
第7章让遗忘回归常态:大数据时代数字化记忆的未来
数字化使得存储成本的垂直下降,简便的信息提取,以及全球性访问数字记忆成为可能。在人类历史上,这是第一次我们能够使记住比遗忘更便宜更容易,也是第一次逆转了遗忘由来已久的默认状态
一分钟内,微博推特上新发的数据量超过10万;社交网络“脸谱”的浏览量超过600万……
这些庞大数字,意味着什么?
它意味着,一种全新的致富手段也许就摆在面前,它的价值堪比石油和黄金。
事实上,当你仍然在把微博等社交平台当作抒情或者发议论的工具时,华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”,先人一步用其预判市场走势,而且取得了不俗的收益。
现在就让我们一起来看看——他们是怎么做的。
这些数据都能干啥
●华尔街根据民众情绪抛售股票;
●对冲基金依据购物网站的顾客评论,分析企业产品销售状况;
●银行根据求职网站的岗位数量,推断就业率;
●投资机构搜集并分析上市企业声明,从中寻找破产的蛛丝马迹;
●美国疾病控制和预防中心依据网民搜索,分析全球范围内流感等病疫的传播状况;
●美国总统奥巴马的竞选团队依据选民的微博,实时分析选民对总统竞选人的喜好。[5]
你开心他就买你焦虑他就抛
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一,就是利用电脑程序分析全球3.4亿微博账户的留言,进而判断民众情绪,再以“1”到“50”进行打分。根据打分结果,霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单:如果所有人似乎都高兴,那就买入;如果大家的焦虑情绪上升,那就抛售。
这一招收效显著——今年第一季度,霍廷的公司获得了7%的收益率。
国际商用机器公司(IBM)估测,这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街,这一时效至关重要。5年前,华尔街2%的企业搜集微博等平台的“非正式”数据;如今,接近半数企业采用了这种手段。
●“社会流动”创业公司在“大数据”行业生机勃勃,和微博推特是合作伙伴。它分析数据,告诉广告商什么是正确的时间,谁是正确的用户,什么是应该发表正确内容,备受广告商热爱。
●通过乔希·詹姆斯的Omniture(著名的网页流量分析工具)公司,你可以知道有多少人访问你的网站,以及他们呆了多长时间——这些数据对于任何企业来说都至关重要。詹姆斯去年把公司卖掉,进账18亿美元。
●微软专家吉拉德喜欢把这些“大数据”结果可视化:他把客户请到办公室,将包含这些公司的数据图谱展现出来——有些是普通的时间轴,有些像蒲公英,有些则是铺满整个画面的泡泡,泡泡中显示这些客户的粉丝正在谈论什么话题。
●“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型,弄清楚用户点击广告动机和方式。
“数据是新的石油。”前任首席科学家Andreas
Weigend说。Instagram以10亿美元出售之时,成立于1881年的世界最大影像产品及服务商正申请破产。
大数据是如此重要,以至于其获取、储存、搜索、共享、分析,乃至可视化地呈现,都成为了当前重要的研究课题。
“当时时变幻的、海量的数据出现在眼前,是怎样一幅壮观的景象?在后台注视着这一切,会不会接近上帝俯视人间星火的感觉?”
这个问题我曾请教过刘建国,中国著名的搜索引擎专家。刘曾主持开发过国内第一个大规模中英文搜索引擎系统“”。
要知道,曾任至的首席技术官,在这样一家每天需应对网民各种搜索请求1.7亿次(现在约为8.77亿次)的网站中,如果只是在后台静静端坐,可能片刻都不能安心吧。百度果然在提供搜索服务之外,逐渐增添了,后又建立了基于网民搜索数据的重要产品“贴吧”及百度统计产品等。
刘建国没有直接回答这个问题,他想了很久,似乎陷入了回忆,嘴角的笑容含着诡秘。
倒是有公司已经在大数据中有接近上帝俯视的感觉,美国洛杉矶就有企业宣称,他们将全球夜景的历史数据建立模型,在过滤掉波动之后,做出了投资房地产和消费的研究报告。
在数据可视化呈现方面,我最新接收到的故事是,一位在美国思科物流部门工作的朋友,很聪明的印度裔小伙子,近期被Facebook高价挖角,进入其数据研究小组。他后来惊讶地发现,里面全是来自物流企业、供应链方面的技术人员和专家,“Facebook想知道,能不能用物流的角度和流程的方式,分析用户的路径和行为。”
数据量大(Volume)
第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。
类型繁多(Variety)
第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。
价值密度低(Value)
第三个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。
速度快时效高(Velocity):第四个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
既有的技术架构和路线,已经无法高效处理如此海量的数据,而对于相关组织来说,如果投入巨大采集的信息无法通过及时处理反馈有效信息,那将是得不偿失的。可以说,大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。
越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产,数据分析能力正在成为组织的核心竞争力。
今年3月22日,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”,并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,未来,对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。
联合国也在2012年发布了大数据政务白皮书,指出大数据对于联合国和各国政府来说是一个历史性的机遇,人们如今可以使用极为丰富的数据资源,来对社会经济进行前所未有的实时分析,帮助政府更好地响应社会和经济运行。
而最为积极的还是众多的IT企业。麦肯锡在一份名为《大数据,是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出,“对于企业来说,海量数据的运用将成为未来竞争和增长的基础”,该报告在业界引起广泛反响。
IBM则提出,上一个十年,他们抛弃了PC,成功转向了软件和服务,而这次将远离服务与咨询,更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”
在国内,百度已经致力于开发自己的大数据处理和存储系统;腾讯也提出目前已经到了数据化运营的黄金时期,如何整合这些数据成为未来的关键任务。
事实上,自2009年以来,有关“大数据”
主题的并购案层出不穷,且并购数量和规模呈逐步上升的态势。其中,Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元,大数据的产业价值由此可见一斑。
大数据是信息通信技术发展积累至今,按照自身技术发展逻辑,从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据,而以云计算为代表的计算技术的不断进步,为我们提供了强大的计算能力,这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界。
大数据虽然孕育于信息通信技术的日渐普遍和成熟,但它对社会经济生活产生的影响绝不限于技术层面,更本质上,它是为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。
事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。
最让人吃惊的例子是,社交媒体监测平台DataSift监测了Facebook(脸谱)
IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面,25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时,Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时,10分钟后Facebook的股价又开始下跌。最终的结论是:Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。
这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一,此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面,大数据在社会建设方面的作为同样令人惊叹,、、、等的蓬勃兴起,都与大数据技术与应用的发展息息相关。
“大数据”可能带来的巨大价值正渐渐被人们认可,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策,这样的思维方式,可以预见,将推动一些习惯于靠“差不多”运行的社会发生巨大变革。
应对:一个好的企业应该未雨绸缪,从现在开始就应该着手准备,为企业的后期的数据收集和分析做好准备,企业可以从下面五个方面着手,这样当面临铺天盖地的大数据的时候,以确保企业能够快速发展,具体为下面五点。
目标:几乎每个组织都可能有源源不断的数据需要收集,无论是社交网络还是车间传感器设备,而且每个组织都有大量的数据需要处理,IT人员需要了解自己企业运营过程中都产生了什么数据,以自己的数据为基准,确定数据的范围。
准则:虽然每个企业都会产生大量数据,而且互不相同、多种多样的,这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的,找到最能反映企业业务情况的数据。
重新评估:大数据需要在服务器和存储设施中进行收集,并且大多数的企业信息管理体系结构将会发生重要大变化,IT经理则需要准备扩大他们的系统,以解决数据的不断扩大,IT经理要了解公司现有IT设施的情况,以组建处理大数据的设施为导向,避免一些不必要的设备的购买。
重视大数据技术
大数据是最近几年才兴起的词语,而并不是所有的IT人员对大数据都非常了解,例如如今的,,等技术都是近年刚兴起的技术,企业IT人员要多关注这方面的技术和工具,以确保将来能够面对大数据的时候做出正确的决定。
培训企业的员工
大多数企业最缺乏的是人才,而当大数据到临的时候,企业将会缺少这方面的采集收集分析方面的人才,对于一些公司,特别是那种人比较少的公司,工作人员面临大数据将是一种挑战,企业要在平时的时候多对员工进行这方面的培训,以确保在大数据到来时,员工也能适应相关的工作。
培养三种能力
随着大数据时代的到来,企业应该在内部培养三种能力。第一,整合企业数据的能力;第二,探索数据背后价值和制定精确行动纲领的能力;第三,进行精确快速实时行动的能力。
做到上面的几点,当大数据时代来临的时候,面临大量数据将不是束手无策,而是成竹在胸,而从数据中得到的好处也将促进企业快速发展。
大数据蓝海
自古至今,从未有一个时代出现过如此大规模的数据爆炸。如今的商业世界,已经变成了飘浮在数据海洋上的巨轮,而那些通过大数据能力驶入蓝海的企业,将会赢得丰厚的回报。
还记得10年之前风靡一时的美国情景喜剧《六人行》(又名《老友记》)吗?在这部美国NBC电视台从1994年开播到2004年落幕的经典之作中,6位主人公从姓名、职业到个人喜好至今都还能被粉丝们津津乐道。
这部美剧中有一个颇受观注的传奇谜团,那就是钱德勒到底是干什么的?——虽然他解释过很多次自己的工作,但是从来没有人真正弄明白过他所做的那个全称叫做“an
executive specializing in statistical analysis and data
reconfiguration”是个什么东西。
在该剧热播的10多年前,想要跟一个陌生人讲清楚这样一个与数据统计分析有关的岗位确实不是一件容易的事情,以至于到了《老友记》的最后两季,“生不逢时”的钱德勒不得不转行干起了广告。不过到了今天,钱德勒们的职业却正变得炙手可热。
如今,在数字方面拿手,对于数据分析着迷不仅不会让一个人再成为社会的另类,相反这意味着无数条件优厚的工作机会正在招手。
根据麦肯锡旗下研究部门麦肯锡全球学会(McKinsey Global
Institute)2011年发布的一份报告显示,预计美国需要14万-19万名拥有“深度分析”专长的工作者,以及150万名更加精通数据的经理人,无论是已退休人士还是已受聘人士。
造成数据人才供不应求的一个显著的背景就是如今“大数据”的爆发正在得到从企业界到政府层面越来越多的重视。
今年2月,《纽约时报》撰文称,“大数据”正在对每个领域都造成影响,在商业、经济和其他领域中,决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉。而在公共卫生、经济预测等领域,“大数据”的预见能力已经开始崭露头角。
一个最新的例子就是Facebook在5月18日的IPO。在5月18日之前,几乎没有人敢说自己有把握去预测Facebook上市当天股价的走势,但是Twitter却神奇般地做到了。
社交媒体监测平台DataSift监测了Facebook
IPO当天Twitter上的情感倾向与Facebook股价波动的关联。例如,在Facebook开盘前Twitter上的情感逐渐转向负面,25分钟之后,Facebook的股价便开始下跌。而当Twitter上的情感转向正面时,Facebook股价在8分钟之后也开始了回弹。最终,当股市接近收盘时,Twitter上的情感转向负面,10分钟后Facebook的股价又开始下跌。最终的结论是:Twitter上每一次情感倾向的转向都会影响Facebook股价的波动,延迟情况只有几分钟到20多分钟。
这仅仅只是基于社交网络产生的大数据进行“预见未来”的众多案例之一,事实上“大数据”所能带来的巨大商业价值已经被人认为将引领一场足以匹敌20世纪计算机革命的巨大变革。
2012年2月,《华尔街日报》发表文章《科技变革即将引领新的经济繁荣》,文中罕见地做出大胆预见:“我们再次处于三场宏大技术变革的开端,他们可能足以匹敌20世纪的那场变革,这三场变革的震中都在美国,他们分别是大数据、智能制造和无线网络革命。”
《华尔街日报》的断言并非无的放矢。在今年年初的瑞士达沃斯论坛上,一份题为《大数据,大影响》(Big
Data, Big Impact)的报告宣称,数据已经成为一种新的经济资产类别,就像货币或黄金一样。
更加值得关注的则是,奥巴马政府已经把“大数据”上升到了国家战略的层面。根据美国白宫今年3月29日新闻,奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”。希望增强收集海量数据、分析萃取信息的能力。
上一次白宫亲自参与推动信息技术产业的大手笔还是2010年希拉里提出的“国家宽带战略”,“大数据研究和发展计划”也被认为是1993年时任美国副总统戈尔宣布的“信息高速公路”计划后美国政府政策层面的一次“狂飙突进”,将“大数据”上升到国家意志将在下一个10年带来深远影响。
在互联网和通信技术飞速发展20年后,一个属于“大数据”的时代,真的来了。
数据海洋中的商业
商业的发展天生依赖数据来作出决策,但是自古至今,从未有一个时代出现过如此大规模的数据爆炸,如今的整个商业世界,已经变成了飘浮在数据海洋上的巨轮。
全球市值最大的连锁餐饮企业麦当劳、零售业中的巨无霸沃尔玛、在线零售的巨头亚马逊,这3家这个时代炙手可热的企业,如果说他们之间存在着什么相关性的话,会是什么呢?
数据?没错。麦当劳的强大在于它卖的不仅仅是汉堡而是在从事一个精准选址,对数据深入挖掘的“房地产生意”;沃尔玛的可怕在于其早在20世纪70年代末就开始通过挖掘数据来改善自己的供应链,时至今日,在其连锁超市的表象之下早已成为一家巨大的数据公司;亚马逊就更不用说了,贝索斯从不掩饰他对于数据中心的看重,对于这家电商巨头来说,数据就意味着一切。
以沃尔玛为例。早在1969年沃尔玛就开始使用计算机来跟踪存货,1974年就将其分销中心与各家商场运用计算机进行库存控制。1983年,沃尔玛所有门店都开始采用条形码扫描系统。1987年,沃尔玛完成了公司内部的卫星系统的安装,该系统使得总部,分销中心和各个商场之间可以实现实时,双向的数据和声音传输。
采用这些在当时还是小众和超前的信息技术来搜集运营数据为沃尔玛最近20年的崛起打下了坚实的地基。如今,沃尔玛拥有着全世界最大的数据仓库,在数据仓库中存储着沃尔玛数千家连锁店在65周内每一笔销售的详细记录,这使得业务人员可以通过分析购买行为更加了解他们的客户。
国外零售巨头对于数据资产的重视也在近年来影响着国内的电商企业。凡客诚品CEO陈年对《商业价值》杂志记者表示,“现在的凡客是一家数据公司。”
2011年凡客内部最大且最重要的一次调整就是想要实现互联网的系统化和数字化的管理,为了让任何“数字”变得可预测和可控,凡客成立了数据中心。
一开始,大家对数据中心的需求就是得到一些简单的数据,比如库存的数量。但是他们慢慢发现,得到数据之后就会面临一些相关的问题,如怎么配合进货等,于是数据中心就开始根据不同的问题,不断寻找数据与数据之间关联,并最终把各种关系搭建起来。出现库存周转慢的问题怎么办呢?数据中心就又得分析与库存相关的数据关系。除此之外,数据中心还会去研究新产品的上架与新用户增长的关系,每上线一个新品与它能够带来的用户二次购买的关系等。
电商行业的现金收入源自数据,而婚恋网站的商业模型更是根植于对数据的研究。
比如,作为一家婚恋网站,百合网不仅需要经常做一些研究报告,分析注册用户的年龄、地域、学历、经济收入等数据,即便是每名注册用户小小的头像照片,这背后也大有挖掘的价值。
百合网研究规划部李琦曾经对百合网上海量注册用户的头像信息进行分析,发现那些受欢迎头像照片不仅与照片主人的长相有关,同时照片上人物的表情、脸部比例、清晰度等因素也在很大程度上决定了照片主人受欢迎的程度。
例如,对于女性会员,微笑的表情、直视前方的眼神和淡淡的妆容能增加自己受欢迎的概率,而那些脸部比例占照片1/2、穿着正式、眼神直视没有多余pose的男性则更可能成为婚恋网站上的宠儿。
当然,视数据为生命的不仅限于这些每天产生海量数据的零售和互联网行业,即便是在看上去不那么“理性”的运动产业,数据依然是至关重要的宝藏。
好的运动鞋最关键要做到的是什么?更好的材料?更轻便的鞋身?更酷的款式?都不是,衡量一双运动鞋好坏的重要标准就是在于它是否更了解消费者的双脚。正因如此,早在20世纪七八十年代耐克和阿迪达斯就纷纷建立了自己的运动实验室,用来搜集并研究用户的双脚。其中最有名的就是Nike的“运动厨房”(Nike
Kitchen),Nike现在所有知名的技术产品都出自于这里。
Nike近两年十分火爆的Nike ID业务就是充分挖掘数据潜力的例子。Nike
ID业务是允许消费者基于耐克的一些已有产品进行个性化的改造,消费者可以在线上对产品进行改造,选择自己喜欢的颜色搭配、面料,甚至绣上自己的名字缩写等,完成自己的设计后,Nike就能为消费者量身打造一款独一无二的运动鞋。通过Nike
ID业务,Nike公司不仅能够了解到用户的喜好,同时这些宝贵的数据对于Nike将来研发新品都是非常重要的参考。
从数据到大数据
人类自从诞生以来就在源源不断地创造着数据,商业文明的发展自始至终都离不开对于数据宝藏的挖掘,在商业世界中,数据一直都不是什么新鲜的东西,但是当海量的数据积累所造就的“大数据”时代到来,经济的新的增量已经逐渐露出了面纱。
尽管数据挖掘的工作人类已经做了几十年,但是“大数据”与我们通常所说的“数据”还是有显著的不同。
1997年,一台名叫“深蓝”的计算机击败了当时的国际象棋冠军Garry
Kasparov。2011年,另一台计算机Watson在广受欢迎的美国电视智力竞赛节目《Jeopardy!》再次战胜前几届的冠军。
这两件事很好地诠释了数据与大数据这两个不同的商业时代。诞生于数据时代的深蓝,通过将象棋的游戏规则转化为以0和1形式存在的算法,借助全新并行处理技术,计算可能的走棋结果,如今,几乎任何一台计算机都能够通过扫描数据库而将结构化查询与答案匹配起来。而在大数据相关技术的帮助下,Watson则能够回答那些以人类说话方式提出的不可预测的问题,Watson
能够“读取”大量人类知识载体,包括百科全书、报告、报纸、书籍等。它以分析形式评估证据,假设应答结果,并计算每种可能性的可信度。它在数秒内提供一个最有可能正确的答案。另外,它在做这些工作时,速度和准确性都超过世界一流的人类对手。
大数据的迅速增长及相关技术的发展正在带来全新的商业机遇。据《麻省理工学院斯隆管理评论》和IBM商业价值研究院联合举行的2011年新智能企业全球高管调查和研究项目指出,绝大多数企业都已抓住了这些机遇。2011年,58%的企业已经将分析技术用于在市场或行业内创造竞争优势,而2010年这一比例仅为37%。值得注意的是,采用分析技术的企业持续超越同行的可能性要高两倍。
对于任何企业来说,数据都是其商业皇冠上最为耀眼夺目的那颗宝石。伴随着传统的商业智能系统向纵深应用的拓展,商业决策已经越来越依赖于数据。然而,传统的商业智能系统中用以分析的数据,大都是企业自身信息系统中产生的运营数据,这些数据大都是标准化、结构化的。事实上,这些数据只占到了企业所能获取的数据中很小的一部分——不到15%。
通常情况下,企业的数据可以分为3种类型:结构化数据、半结构化数据和非结构化数据。其中,85%的数据属于广泛存在于社交网络、物联网、电子商务等之中的非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。企业用以分析的数据越全面,分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力,并将其与已知业务的各个细节相融合。
在沃尔沃集团,通过在卡车产品中安装传感器和嵌入式CPU,从刹车到中央门锁系统等形形色色的车辆使用信息,正源源不断地传输到沃尔沃集团总部。“对这些数据进行分析,不仅可以帮助我们制造更好的汽车,还可以帮助客户们获取更好体验。”沃尔沃集团CIO
Rich Strader说。
现在,这些数据正在被用来优化生产流程,以提升客户体验和提升安全性。将来自不同客户的使用数据进行分析,可以让产品部门提早发现产品潜在的问题,并在这些问题发生之前提前向客户预警。“产品设计方面的缺陷,此前可能需要有50万台销量的时候才能暴露出来,而现在只需要1000台,我们就能发现潜在的缺陷。”
Rich Strader说。
在美国最大的医药贸易商McKesson公司,对大数据的应用也已经远远领先于大多数企业,将先进的分析能力融合到每天处理200万个订单的供应链业务中,并且监督超过80亿美元的存货。
对于在途存货的管理,McKesson开发了一种供应链模型,它根据产品线、运输费用甚至碳排放量而提供了极为准确的维护成本视图。据公司流程改造副总裁Robert
Gooby说,这些详细信息使公司能够更加真实地了解任意时间点的运营情况。
Gooby解释说:“但是,大多数模型旨在简化物理世界,而这个模型极为复杂,并且包含我们的现实世界的全部数据。它允许我们量化业务运作的根本性变化所产生的影响的细节。这个模型并不是一种简化版。”
McKesson利用先进分析技术的另一个领域是对配送中心内的物理存货配置进行模拟和自动化处理。评估政策和供应链变化的能力帮助公司增强了对客户的响应能力,同时减少了流动资金。总体来讲,McKesson的供应链转型使公司节省了超过1亿美元的流动资金。
同样对大数据情有独钟的,还有中国移动集团山西有限公司,通过大数据分析,对企业运营的全业务进行针对性的监控、预警、跟踪。系统在第一时间自动捕捉市场变化,再以最快捷的方式推送给指定负责人,使他在最短时间内获知市场行情。
“全面获取业务信息非常重要,有时候甚至能颠覆常规分析思路下做出的结论。”
中国移动集团山西有限公司业务支撑系统部经理王峰说。比如,一个客户使用最新款的诺基亚手机,每月准时缴费、平均一年致电客服3次,使用WEP和彩信业务。如果按照传统的数据分析,可能这是一位客户满意度非常高、流失概率非常低的客户。事实上,当搜集了包括微博、社交网络等新型来源的客户数据之后,这位客户的真实情况可能是这样的:客户在国外购买的这款手机,手机中的部分功能在国内无法使用,在某个固定地点手机经常断线,彩信无法使用——他的使用体验极差,正在面临流失风险。
“我们正在打破传统数据源的边界,更加注重社交媒体等新型数据来源。通过各种渠道获取尽可能多的客户反馈信息,并从这些数据中挖掘更多的价值。”王峰说。
社交网络、移动互联网、企业信息化在最近这几年中都得到了迅猛的发展,不断产生的海量数据将越来越影响企业从战术到战略制定的各个方面,这是一个巨大的挑战,当然更是机遇,因为在大数据的背后,将是IT厂商跨越到商业智能的绝佳机会。
IBM当年之所以完成从PC厂商开始向商业智能服务商的成功转型,一个重要的原因就是其较早预见到了大数据的商业机遇并果断布局。纵观IBM近5年10亿美元以上级别的大手笔收购多与如何有效处理大数据有关。2007年,IBM花费20亿美元收购了商务智能软件供应商Congnos;2009年7月,IBM斥资12亿美元收购SPSS软件,这是一家集数据整理、分析功能于一身的统计分析软件;2010年9月,IBM以17亿美元的代价将数据库分析供应商Netezza收之麾下——自2005年以来,IBM投资160亿美元进行了30次与大数据有关的收购。这一系列布局,为IBM业绩带来了稳定高速的增长。2012年,IBM股价突破200美元大关,累计涨幅超过9%,3年之内股价翻了3倍。
同样在抢占大数据蛋糕份额时占据先机的还有甲骨文。面对越来越多的海量数据所带来的商业潜力,甲骨文的策略是在2011年的OpenWorld大会上推出了Oracle大数据机和Exalytics商务智能服务器,构建自己的大数据平台解决方案。除此之外,早在2008年,甲骨文就花费33亿美元收购商业智能解决方案提供商海波龙(Hyperion),2009年以74亿美元巨资鲸吞另一家IT巨头SUN公司。
而在大数据实时分析的领域中,SAP也不甘人后。2011年SAP推出了HANA平台以应对大数据实时分析的挑战。和IBM、甲骨文这些对手一样,SAP也一直没有停止通过大手笔的收购在大数据领域进行战略布局。2007年,SAP花费68亿美元收购全球商业智能软件霸主Business
Object,2010年5月,SAP以58亿美元的代价并购数据库厂商Sybase。围绕着大数据的这些大手笔的战略布局也让SAP收到了回报,2011年,SAP全年利润翻番,达到34亿欧元,造就了该公司40年历史上最好的业绩。
此外,EMC、Informatica、Taredata等公司,也都是大数据领域不可忽略的势力。
正在异化的核心竞争力
大数据时代,一些传统的商业思想正在被颠覆。这其中最为重要的,就是必须将数据作为企业的核心资产。
在进入大数据时代之前的漫长的商业社会进化过程中,企业脱离于人才而单独存在的智商基本是零,也正因为如此,人才变得异常重要,并一度被视为企业的核心竞争力——
一方面,企业的智商被分布存储在这些人才的大脑中;另一方面,企业需要借助人才的商业智商,提升自身的企业智商。一定程度上,企业智商的高低,完全取决于人才的商业智商。
与此同时,由于企业智商被分布存储于人才的大脑中,信息的分享与价值挖掘受到极大制约,很难完全发挥。
在大数据时代,人才固然重要,却并非企业智商最重要的载体——数据才是企业智商真正的核心载体。这些能够被企业随时获取的数据,可以帮助和指导企业全业务流程的任何一个环节进行有效运营和优化,并帮助企业做出最明智的决策。在大数据时代的企业智商,才是真正被企业全部掌控的智商,而这一切的基础就是形形色色的数据。
IDC在其关于大数据的报告中指出,领军企业与其他企业之间最大的差别在于新数据类型的引入。那些没有引入新的分析技术和新的数据类型的企业,不太可能成为其行业的领军者。
在大数据时代,商业世界就如同飘浮在数据海洋上的巨轮,作为商业世界中的个体,企业要想做到游刃有余就必须如熟悉水性一般熟悉和用好海量的数据。大数据在重新定义企业智商的同时,对企业核心资产也进行了重塑。在过去,衡量企业最重要的资产无外乎土地、流动资金和人才等几个要素,如今,数据作为企业一项更加重要的资产将直接关系到企业的发展潜力。
在完成对企业智商和核心资产的重塑之后,数据资产正在当仁不让地成为现代商业社会的核心竞争力。与其他行业相比,互联网行业已经提早感受到了大数据对商业带来的深切变化。当很多企业还在因为大数据对商业世界的变革无所适从时,一些互联网企业已经完成了核心竞争力的重新定义,正在这些互联网企业身上发生的变化,一定程度上恰恰是其他企业在大数据时代的未来。
“5年前我们就建立了大数据分析平台。在这个平台上,可以将结构化数据和非结构化数据结合在一起,通过分析促进eBay的业务创新和利润增长。”eBay分析平台高级总监Oliver
Ratzesberger告诉《商业价值》记者。
现在,eBay的分析平台每天处理的数据量高达100PB,超过了纳斯达克交易所每天的数据处理量。为了准确分析用户的购物行为,eBay定义了超过500种类型的数据,对顾客的行为进行跟踪分析。
在早期,eBay网页上的每一个功能的更改,通常由对该功能非常了解的产品经理决定,判断的依据主要是产品经理的个人经验。而通过对用户行为数据的分析,网页上任何功能的修改都交由用户去决定。“每当有一个不错的创意或者点子,我们都会在网站上选定一定范围的用户进行测试。通过对这些用户的行为分析,来看这个创意是否带来了预期的效果。”
Oliver Ratzesberger说。
更显著的变化反应在广告费上。eBay对互联网广告的投入一直很大,通过购买一些网页搜索的关键字,将潜在客户引入eBay网站。为了对这些关键字广告的投入产出进行衡量,eBay建立了一个完全封闭式的优化系统。通过这个系统,可以精确计算出每一个关键字为eBay带来的投资回报。通过对广告投放的优化,自2007年以来,eBay产品销售的广告费降低了99%,顶级卖家占总销售额的百分比却上升至32%。
另一家电子商务巨头亚马逊也提早进入了大数据时代,亚马逊CTO Werner
Vogels在Cebit上关于大数据的演讲,向与会者描述了亚马逊在大数据时代的商业蓝图。长期以来,亚马逊一直通过大}

我要回帖

更多关于 对策措施 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信