大数据应用的现状与展望_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
大数据应用的现状与展望
上传于||暂无简介
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
下载文档到电脑，查找使用更方便
还剩15页未读，继续阅读
你可能喜欢请注意：本文不是要搞什么排名；相反，项目按类别加以介绍。欢迎留言交流。一、Hadoop相关工具1. HadoopApache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。支持的操作系统：Windows、Linux和OS X。相关链接：http://hadoop.apache.org2. Ambari作为Hadoop生态系统的一部分，这个Apache项目提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。有些开发人员想把Ambari的功能整合到自己的应用程序当中，Ambari也为他们提供了充分利用REST（代表性状态传输协议）的API。支持的操作系统：Windows、Linux和OS X。相关链接：http://ambari.apache.org3. Avro这个Apache项目提供了数据序列化系统，拥有丰富的数据结构和紧凑格式。模式用JSON来定义，它很容易与动态语言整合起来。支持的操作系统：与操作系统无关。相关链接：http://avro.apache.org4. CascadingCascading是一款基于Hadoop的应用程序开发平台。提供商业支持和培训服务。支持的操作系统：与操作系统无关。相关链接：http://www.cascading.org/projects/cascading/5. ChukwaChukwa基于Hadoop，可以收集来自大型分布式系统的数据，用于监控。它还含有用于分析和显示数据的工具。支持的操作系统：Linux和OS X。相关链接：http://chukwa.apache.org6. FlumeFlume可以从其他应用程序收集日志数据，然后将这些数据送入到Hadoop。官方网站声称：“它功能强大、具有容错性，还拥有可以调整优化的可靠性机制和许多故障切换及恢复机制。”支持的操作系统：Linux和OS X。相关链接：https://cwiki.apache.org/confluence/display/FLUME/Home7. HBaseHBase是为有数十亿行和数百万列的超大表设计的，这是一种分布式数据库，可以对大数据进行随机性的实时读取/写入访问。它有点类似谷歌的Bigtable，不过基于Hadoop和Hadoop分布式文件系统（HDFS）而建。支持的操作系统：与操作系统无关。相关链接：http://hbase.apache.org8. Hadoop分布式文件系统（HDFS）HDFS是面向Hadoop的文件系统，不过它也可以用作一种独立的分布式文件系统。它基于Java，具有容错性、高度扩展性和高度配置性。支持的操作系统：Windows、Linux和OS X。相关链接：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html9. HiveApache Hive是面向Hadoop生态系统的数据仓库。它让用户可以使用HiveQL查询和管理大数据，这是一种类似SQL的语言。支持的操作系统：与操作系统无关。相关链接：http://hive.apache.org10. HivemallHivemall结合了面向Hive的多种机器学习算法。它包括诸多高度扩展性算法，可用于数据分类、递归、推荐、k最近邻、异常检测和特征哈希。支持的操作系统：与操作系统无关。相关链接：/myui/hivemall11. Mahout据官方网站声称，Mahout项目的目的是“为迅速构建可扩展、高性能的机器学习应用程序打造一个环境。”它包括用于在Hadoop MapReduce上进行数据挖掘的众多算法，还包括一些面向Scala和Spark环境的新颖算法。支持的操作系统：与操作系统无关。相关链接：http://mahout.apache.org12. MapReduce作为Hadoop一个不可或缺的部分，MapReduce这种编程模型为处理大型分布式数据集提供了一种方法。它最初是由谷歌开发的，但现在也被本文介绍的另外几个大数据工具所使用，包括CouchDB、MongoDB和Riak。支持的操作系统：与操作系统无关。相关链接：http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html13. Oozie这种工作流程调度工具是为了管理Hadoop任务而专门设计的。它能够按照时间或按照数据可用情况触发任务，并与MapReduce、Pig、Hive、Sqoop及其他许多相关工具整合起来。支持的操作系统：Linux和OS X。相关链接：http://oozie.apache.org14. PigApache Pig是一种面向分布式大数据分析的平台。它依赖一种名为Pig Latin的编程语言，拥有简化的并行编程、优化和可扩展性等优点。支持的操作系统：与操作系统无关。相关链接：http://pig.apache.org15. Sqoop企业经常需要在关系数据库与Hadoop之间传输数据，而Sqoop就是能完成这项任务的一款工具。它可以将数据导入到Hive或HBase，并从Hadoop导出到关系数据库管理系统（RDBMS）。支持的操作系统：与操作系统无关。相关链接：http://sqoop.apache.org16. Spark作为MapReduce之外的一种选择，Spark是一种数据处理引擎。它声称，用在内存中时，其速度比MapReduce最多快100倍；用在磁盘上时，其速度比MapReduce最多快10倍。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。支持的操作系统：Windows、Linux和OS X。相关链接：http://spark.apache.org17. TezTez建立在Apache Hadoop YARN的基础上，这是“一种应用程序框架，允许为任务构建一种复杂的有向无环图，以便处理数据。”它让Hive和Pig可以简化复杂的任务，而这些任务原本需要多个步骤才能完成。支持的操作系统：Windows、Linux和OS X。相关链接：http://tez.apache.org18. Zookeeper这种大数据管理工具自称是“一项集中式服务，可用于维护配置信息、命名、提供分布式同步以及提供群组服务。”它让Hadoop集群里面的节点可以彼此协调。支持的操作系统：Linux、Windows（只适合开发环境）和OS X（只适合开发环境）。相关链接：http://zookeeper.apache.org二、大数据分析平台和工具19. DiscoDisco最初由诺基亚开发，这是一种分布式计算框架，与Hadoop一样，它也基于MapReduce。它包括一种分布式文件系统以及支持数十亿个键和值的数据库。支持的操作系统：Linux和OS X。相关链接：http://discoproject.org20. HPCC作为Hadoop之外的一种选择，HPCC这种大数据平台承诺速度非常快，扩展性超强。除了免费社区版外，HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。支持的操作系统：Linux。相关链接：21. LumifyLumify归Altamira科技公司（以国家安全技术而闻名）所有，这是一种开源大数据整合、分析和可视化平台。你只要在Try.Lumify.io试一下演示版，就能看看它的实际效果。支持的操作系统：Linux。相关链接：http://www.jboss.org/infinispan.html22. PandasPandas项目包括基于Python编程语言的数据结构和数据分析工具。它让企业组织可以将Python用作R之外的一种选择，用于大数据分析项目。支持的操作系统：Windows、Linux和OS X。相关链接：http://pandas.pydata.org23. StormStorm现在是一个Apache项目，它提供了实时处理大数据的功能（不像Hadoop只提供批任务处理）。其用户包括推特、美国天气频道、WebMD、阿里巴巴、Yelp、雅虎日本、Spotify、Group、Flipboard及其他许多公司。支持的操作系统：Linux。相关链接：https://storm.apache.org三、数据库/数据仓库24. BlazegraphBlazegraph之前名为“Bigdata”，这是一种高度扩展、高性能的数据库。它既有使用开源许可证的版本，也有使用商业许可证的版本。支持的操作系统：与操作系统无关。相关链接：/bigdata25. Cassandra这种NoSQL数据库最初由Facebook开发，现已被1500多家企业组织使用，包括苹果、欧洲原子核研究组织（CERN）、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit及其他机构。它能支持超大规模集群；比如说，苹果部署的Cassandra系统就包括75000多个节点，拥有的数据量超过10 PB。支持的操作系统：与操作系统无关。相关链接：http://cassandra.apache.org26. CouchDBCouchDB号称是“一款完全拥抱互联网的数据库”，它将数据存储在JSON文档中，这种文档可以通过Web浏览器来查询，并且用JavaScript来处理。它易于使用，在分布式上网络上具有高可用性和高扩展性。支持的操作系统：Windows、Linux、OS X和安卓。相关链接：http://couchdb.apache.org27. FlockDB由推特开发的FlockDB是一种非常快、扩展性非常好的图形数据库，擅长存储社交网络数据。虽然它仍可用于下载，但是这个项目的开源版已有一段时间没有更新了。支持的操作系统：与操作系统无关。相关链接：/twitter/flockdb28. Hibari这个基于Erlang的项目自称是“一种分布式有序键值存储系统，保证拥有很强的一致性”。它最初是由Gemini Mobile Technologies开发的，现在已被欧洲和亚洲的几家电信运营商所使用。支持的操作系统：与操作系统无关。相关链接：http://hibari.github.io/hibari-doc/29. HypertableHypertable是一种与Hadoop兼容的大数据数据库，承诺性能超高，其用户包括电子港湾、百度、高朋、Yelp及另外许多互联网公司。提供商业支持服务。支持的操作系统：Linux和OS X。相关链接：http://hypertable.org30. ImpalaCloudera声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。支持的操作系统：Linux和OS X。相关链接：/content/cloudera/en/products-and-services/cdh/impala.html31. InfoBright社区版InfoBright为数据分析而设计，这是一种面向列的数据库，具有很高的压缩比。提供基于同一代码的收费产品，提供支持服务。支持的操作系统：Windows和Linux。相关链接：bright.org32. MongoDBmongoDB的下载量已超过1000万人次，这是一种极其受欢迎的NoSQL数据库。上提供了企业版、支持、培训及相关产品和服务。支持的操作系统：Windows、Linux、OS X和Solaris。相关链接：http://www.mongodb.org33. Neo4jNeo4j自称是“速度最快、扩展性最佳的原生图形数据库”，它承诺具有大规模扩展性、快速的密码查询性能和经过改进的开发效率。用户包括电子港湾、必能宝（Pitney Bowes）、沃尔玛、德国汉莎航空公司和CrunchBase。支持的操作系统：Windows和Linux。相关链接：http://neo4j.org34. OrientDB这款多模型数据库结合了图形数据库的一些功能和文档数据库的一些功能。提供收费支持、培训和咨询等服务。支持的操作系统：与操作系统无关。相关链接：http://www.orientdb.org/index.htm35. Pivotal Greenplum DatabasePivotal声称，Greenplum是“同类中最佳的企业级分析数据库”，能够非常快速地对庞大的海量数据进行功能强大的分析。它是Pivotal大数据库套件的一部分。支持的操作系统：Windows、Linux和OS X。相关链接：http://pivotal.io/big-data/pivotal-greenplum-database36. RiakRiak“功能完备”，有两个版本：KV是分布式NoSQL数据库，S2提供了面向云环境的对象存储。它既有开源版，也有商业版，还有支持Spark、Redis和Solr的附件。支持的操作系统：Linux和OS X。相关链接：/riak-0-10-is-full-of-great-stuff/37. RedisRedis现在由Pivotal赞助，这是一种键值缓存和存储系统。提供收费支持。要注意：虽然该项目并不正式支持Windows，不过微软在GitHub上有一个Windows派生版。支持的操作系统：Linux。相关链接：http://redis.io四、商业智能38. Talend Open StudioTalend的下载量已超过200万人次，其开源软件提供了数据整合功能。该公司还开发收费的大数据、云、数据整合、应用程序整合和主数据管理等工具。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。支持的操作系统：Windows、Linux和OS X。相关链接：/index.php39. JaspersoftJaspersoft提供了灵活、可嵌入的商业智能工具，用户包括众多企业组织：高朋、冠群科技、美国农业部、爱立信、时代华纳有线电视、奥林匹克钢铁、内斯拉斯加大学和通用动力公司。除了开源社区版外，它还提供收费的报表版、亚马逊网络服务（AWS）版、专业版和企业版。支持的操作系统：与操作系统无关。相关链接：40. PentahoPentaho归日立数据系统公司所有，它提供了一系列数据整合和业务分析工具。官方网站上提供了三个社区版；访问，即可了解收费支持版方面的信息。支持的操作系统：Windows、Linux和OS X。相关链接：41. SpagoBISpago被市场分析师们称为“开源领袖”，它提供商业智能、中间件和质量保证软件，另外还提供Java EE应用程序开发框架。该软件百分之分免费、开源，不过也提供收费的支持、咨询、培训及其他服务。支持的操作系统：与操作系统无关。相关链接：http://www.spagoworld.org/xwiki/bin/view/SpagoWorld/42. KNIMEKNIME的全称是“康斯坦茨信息挖掘工具”（Konstanz Information Miner），这是一种开源分析和报表平台。提供了几个商业和开源扩展件，以增强其功能。支持的操作系统：Windows、Linux和OS X。相关链接：http://www.knime.org43. BIRTBIRT的全称是“商业智能和报表工具”。它提供的一种平台可用于制作可以嵌入到应用程序和网站中的可视化元素及报表。它是Eclipse社区的一部分，得到了Actuate、IBM和Innovent Solutions的支持。支持的操作系统：与操作系统无关。相关链接：http://www.eclipse.org/birt/五、数据挖掘44.DataMelt作为jHepWork的后续者，DataMelt可以处理数学运算、数据挖掘、统计分析和数据可视化等任务。它支持Java及相关的编程语言，包括Jython、Groovy、JRuby和Beanshell。支持的操作系统：与操作系统无关。相关链接：http://jwork.org/dmelt/45. KEELKEEL的全称是“基于进化学习的知识提取”，这是一种基于Java的机器学习工具，为一系列大数据任务提供了算法。它还有助于评估算法在处理递归、分类、集群、模式挖掘及类似任务时的效果。支持的操作系统：与操作系统无关。相关链接：http://keel.es46. OrangeOrange认为数据挖掘应该是“硕果累累、妙趣横生”，无论你是有多年的丰富经验，还是刚开始接触这个领域。它提供了可视化编程和Python脚本工具，可用于数据可视化和分析。支持的操作系统：Windows、Linux和OS X。相关链接：http://orange.biolab.si47. RapidMinerRapidMiner声称拥有250000多个用户，包括贝宝、德勤、电子港湾、思科和大众。它提供一系列广泛的开源版和收费版，不过要注意：免费的开源版只支持CSV格式或Excel格式的数据。支持的操作系统：与操作系统无关。相关链接：48. RattleRattle的全称是“易学易用的R分析工具”。它为R编程语言提供了一种图形化界面，简化了这些过程：构建数据的统计或可视化摘要、构建模型以及执行数据转换。支持的操作系统：Windows、Linux和OS X。相关链接：49. SPMFSPMF现在包括93种算法，可用于顺序模式挖掘、关联规则挖掘、项集挖掘、顺序规则挖掘和集群。它可以独立使用，也可以整合到其他基于Java的程序中。支持的操作系统：与操作系统无关。相关链接：http://www.philippe-/spmf/50. Weka怀卡托知识分析环境（Weka）是一组基于Java的机器学习算法，面向数据挖掘。它可以执行数据预处理、分类、递归、集群、关联规则和可视化。支持的操作系统：Windows、Linux和OS X。<p style="max-width: 100%; min-height: 1 white-space: pre- color: rgb(62, 62, 62); background-color: rgb(255, 255, 255); box-sizing: border-box ! word-wrap: break-w数据分析与数据可视化(sjbigdata)　
　文章为作者独立观点，不代表微头条立场
的最新文章
近日，企业服务大会“中国的企业服务为什么没有独角兽?”在上海召开。易观副总裁受邀出席并发表了《洞察：中国大数在大数据分析流行的当下，国内外各类BI工具软件层出不穷。如何在参差不齐的BI工具中找出一款功能强大、适合自己作为数据的应用者，有必要树立一套数据伦理观，也就是如何对待数据的态度。我经常被人问起的两个问题是你的数据源从信息可视化包括了信息图形、知识、科学、数据等的可视化表现形式，以及视觉可视化设计方面的进步与发展。地图、表格在对互联网产品进行的用户研究中,通过在线问卷收集数据是一个非常普遍的方式。via：腾讯科技 感谢！如今整个商业世界都面临着新的难题，即如何处理来自各客户接触点、交易以及互动对象的大量数据。但与此同时，我们也看到了解决问题的曙光——实时数据流技术，其能够存储大量数值及历史数据，以备日后随时调用。增强现实技术(Augmented Reality，简称AR)，网易云阅读发布了《2016网络文学原创作者生存报告》调查报告，探寻网络原创文学行业蓬勃发展环境下。不知道在大家眼里“留守儿童”是怎样的？我们或许有很多词浮现在脑海中”爱玩”，”打闹“，”不爱说话“等等，现在我们通过各方面收集的数据，来一起看看留守儿童的生活！手机处理器相当于人类的大脑，它负责处理、运算手机内部的所有数据，是手机性能最核心的决定性芯片。一款智能手机的在大范围存在计数过大的问题，而在小范围内还有另外一种情况，就是数据可视化过程中数据延迟的问题。许多公司选择对他们的运营模式做一个战略性的转变来应对如网络安全这样侵略性的问题。同时，作为一个日益凸显的问题，数据分析人才的缺乏也成为公司发展的一大障碍。从2012年前后才迈入人们视线的“互联网金融”行业，甫一兴起就打起了激烈的人才争夺战。数年来，进入“互联网金什么是多属性排序可视化在我们的日常生活中经常会遇到各种各样的排序列表，排序是将无序的数据项集合重组的普遍方式数据分析报告中经常会看见各种各样的条形图，如简单条形图、水平交错条形图、堆叠条形图、堆叠百分比条形图等，本文摘要：数据可视化的热度有增无减，而关于它的讨论也逐渐从技术层面发展到了学术层面。最新学术研究就提出了这六大技【编者注】熟悉本站的朋友可能阅读过之前推荐的刘万祥老师的《表格图表化》一文，在这个崇尚美的时代，很多不同的职数据可视化，特别是基于Web的数据可视化的时代已经到来了。 类似JavaScript的可视化库如D3.js,“数据可视化”可以帮助用户理解数据，一直是热门方向。图表是”数据可视化”的常用手段，其中又以基本图表—-柱状几年前，大家的热点还放在追星身上，某个明星装作不经意地在娱乐节目中说一句“我在用某某产品”，就有大批粉丝跑去经过几年的积累，大部分中大型的企事业单位已经建立了比较完善的CRM、ERP、OA等基础信息化大数据正在改变我们的生活，影响我们思考和解决问题的方式，为了适应时代的潮流，组织必须学会用数据说话，如果坐拥想让数据变得更好看？不必成为经验丰富的数据科学家，也不必成为平面设计师。有一些能让数据从简单的表格变成多种多国际权威的学术组织the IEEE International Conference on Data Min随着经济的发展，国民的婚姻家庭问题也越来越多样化，收入、地域、学历、年龄等因素都直接或间接的影响着国民婚姻情“中国游客”已经成为世界旅游业的风向标，2015年中国是出境旅游人数和消费额的双料世界冠军。2016年哪些国订阅号明显比服务号更受欢迎而在互联网时代，商家们紧跟时代步伐已经学会了用大数据看“风水”。简单说来就是基于搜索数据来推断出来哪个地方的用户对服务和商品有需求，相当于是根据需求的密集程度来选址——这大概是开店选址最关键的一步，也是百度大数据最独特的地方。数据小伙伴们，交流找小编哦，随时在线~据统计，一线城市北上广深餐厅增量均超过5万家，增幅均超过50%。QQ的“金粉世家”主要聚集在哪些地方?“大数据”一词最近被各大媒体炒的火热，促使每个企业都期望构建自己具有互联网属性的大数据中心或DMP（用户画像库），那么如果企业想要构建一个真正具有互联网价值的大数据中心那么他必须具有以下三种数据2015年是充满了改变和分水岭式变革的一年，而随着2016年的到来，我们将迎来一些新的趋势。当今社会所独有的一种新型能力：以一种前所未有的方式，通过对海量数据进行分析，获得巨大价值的产品和服务，或深刻的洞见。面对大堆杂乱的数据，如何进行信息提取与数据加工，获取自己想要的信息？每次微信朋友圈的投放广告几乎都会引来一片“赞”。电影《杨贵妃》通过朋友圈广告使电影片花获得19%的高点击率，7%的用户参与了讨论互动，范冰冰公众号增加了50万粉丝……搜索巨头谷歌本周公布了包括中国香港、台湾地区等在内的亚洲多地“2015年度十大搜索热词排行榜”。而由于众所周知原因，谷歌未能发布针对中国大陆市场的年度热词搜索排行。民航岗位众多，你知道哪些领域和岗位的人才，是今年以及未来几年最得宠的吗？80后是创业主力军，但学历越高越不敢创业。社媒是个大染缸，顽主比烂，僵尸横行，水军泛滥，大数据挖掘又有什么意义？每次微信朋友圈的投放广告几乎都会引来一片“赞”。电影《杨贵妃》通过朋友圈广告使电影片花获得19%的高点击率，7%的用户参与了讨论互动，范冰冰公众号增加了50万粉丝……目前最主流的统计软件有R、SAS、SPSS，R是一个免费的开源软件。在科技行业创新机器永远不会停止转动，但也不可避免地会发出很多噪音。现在就去伪存真，过滤掉这些噪音，展望2016年，本文列出4大值得关注的科技话题。随着智能手机、社交媒体的普及以及影响力渐渐扩大，越来越多零售业将企业的营销重点移转到手机上的应用程序（App）。为了更高的邮件点击率，市场营销人员一定不会让邮件内容与邮件主题背离。但却容易忽视对邮件摘要以及主题行内容的优化，甚至错发收件人。殊不知，这三个要素看似不起眼，却也有点睛之用。搜索巨头谷歌本周公布了包括中国香港、台湾地区等在内的亚洲多地“2015年度十大搜索热词排行榜”。而由于众所周知原因，谷歌未能发布针对中国大陆市场的年度热词搜索排行。可视化有许多“规则”。有的是实际的规则，有的则是帮助你做出选择的建议。如果是出于数据的要求，而且你也知道该怎么做，那么许多实际的规则也不必遵守。
但是，的确有一些规则不应该违背。这些规则通常是用于一些特定种类、几乎只能用特定方式阅读的图表。一张图看懂BAT的O2O博弈如果有人讲，我的产品使用的是大数据blablabla，我都会觉得他在装*。因为麦肯锡告诉我们，数据量超过传统数据库软件能力范围的数据集合才叫大。数。据。sjbigdata分享大数据分析、电子商务、互联网、移动互联网行业的新闻、观点、八卦、文章和干货，以及各类可视化的数据展现形式。热门文章最新文章sjbigdata分享大数据分析、电子商务、互联网、移动互联网行业的新闻、观点、八卦、文章和干货，以及各类可视化的数据展现形式。}