计科优势特色专业开展大数据课程培训
计科优势特色专业开展大数据课程培训
作者：信息工程学院
创建时间： 20:58
11月27日红象云腾宗宏庆，艾欧特集团技术总监，智造云平台事业部主管张有磊等3位工程师，对计算机科学与技术特色专业3610数据挖掘与应用实验室进行了安装调试，信息工程学院院长梁宏涛，实验室主任刘伟及本专业教师亲临现场，进行指导、观摩与学习。11月28日、29日厂家对计科专业的老师进行了大数据方向的课程培训，主要内容包括对集群管理工具Hadoop及相关组件配置安装，集群搭建等。Hadoop及组件安装：演示了Hadoop结构，Hadoop与虚拟化的差异，以及Hadoop的关键技术移动计算。集群管理工具Hadoop采用RedHadoop Enterprise CRH3.5运行环境，并通过集群监控工具Apache Ambari软件进行安装。通过10.10.88.151：8080进入集群安装界面，使用多条Linux命令对HostName、本地DNS、无密钥登陆页面等进行配置，并对Hadoop组件：如Hive、Hbase等进行了配置安装。通过集群访问大数据库中的数据，实现了大数据的视觉效果，讲解多条Linux中的命令：例如：scp –r 10.10.81.171:/opt/databank（复制databank文件操作）、chmod –R 0777 databank（设置databank文件的权限操作）等。集群搭建：展示了红象腾云大数据平台的各模块及功能，介绍了hadoop多节点集群搭建过程中所需要的环境配置、软件并演示了详细搭建过程。Hadoop集群，可以分成两大类角色：Master和Salve，一个HDFS集群由一个NameNode和若干DataNode组成。搭建环境在三台机器中配置，Hadoop集群中包括3个节点：1个Master，2个Salve，节点之间局域网相连。安装JDK和hadoop软件，采用ssh无密码验证配置，配置Master无密码登陆所有Slaver。&参加培训人员：梁宏涛、葛苏慧、房正华、郭玉芝、刘伟、徐伶伶、张欣、万泉、李蒙、张淑莲、张德民、王晓研、张蕾妮、陈晓君（通讯员：计科教研室& 张蕾妮、张淑莲）Copyright .
All Rights Reserved. SCHOLAT 学者网 版权所有 粤ICP备号-1
联系我们：88被浏览29,784分享邀请回答4添加评论分享收藏感谢收起博客访问： 917
博文数量： 2
注册时间：
鏆傛棤浠嬬粛
ITPUB论坛APP
ITPUB论坛APP
APP发帖 享双倍积分
IT168企业级官微
微信号：IT168qiye
系统架构师大会
微信号：SACC2013
分类： 大数据
&& 脑科学研究互联网、物联网、云计算、大数据是一种必然趋势。但是，目前国内外业内的研究侧重于脑神经与上述新事物的关系。所谓脑科学仅仅停留在脑神经科学类领域，解剖学大脑研究是一个方向性的错误。
目前新出现的大数据需要的是思维科学在传统意义的升级，目的是对传统思维处理不了的海量的信息，换一个思维，用新的算法，新的运算方式处理信息，更好的为社会服务。对大脑研究解剖分析，去研究这些东西和大脑在外形的相似或者相近，有何价值呢？能否解决海量信息的处理和有效分析？显然这是误区，毫无价值。
上述四种信息手段主要解决信息采集、传输、储存和分析，其中，大数据核心问题就是解决信息采集传输储存发生新变化的情况下，如何有效分析问题。西方脑科学研究简直就是南辕北辙，美国包括中国有一大批科学界吃这碗饭。
呜呼，本人要看你们吃多久？
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
&23:23:58&&
建议好好看看下文：
从脑科学的角度分析物联网、&云计算、&大数据和互联网的关系&精选
12:17:13)&&
23:10 作者 &刘锋
& 脑科学与互联网
　　本世纪初，随着互联网的发展，不断有新的应用和概念诞生，其中物联网，云计算和大数据得到了研究者的重点关注，并引起广泛的研究热潮。
　　研究者已经从不同方面对物联网，云计算，大数据进行了深入研究并取得诸多成果。但还存在一些问题等待解决，例如，物联网，云计算，大数据与互联网是怎样的关系,它们之间又是如何区分和关联的。本世纪初开始的互联网与脑科学的交叉对比研究，为分析物联网，云计算，大数据与互联网的关系奠定了基础。
　　如果我们观察近20年来互联网出现的新应用和新功能，可以直观的发现互联网与大脑结构具有越来越多的相似性。这些现象包括：打印机，复印机的远程操控，医生通过远程网络进行手术;中国水利部门在土壤，河流，空气中安放传感器，及时将气温，湿度，风速等数据通过互联网传输到信息处理中心，形成报告供防汛抗旱决策使用;
Google推出了“街景“服务，在城市中安装安装多镜头摄像机，互联网用户可以实时观看丹佛、拉斯维加斯、迈阿密、纽约和旧金山等城市的风貌等。
　　　这些新互联网现象分别具备了运动神经系统，躯体感觉神经系统，视觉神经系统的萌芽，基于以上互联网新现象，2008年9月我们发表论文“互联网进化规律的发现与分析
”,从神经学的角度分析互联网的成熟结构，将其抽象为一个与人类大脑高度相似的组织结构-互联网虚拟大脑。寻找并定位互联网的虚拟听觉，视觉，感觉，运动神经系统，虚拟中枢神经系统等。绘制出互联网的类大脑结构图（图1）。
　　　　　<img TITLE="从脑科学的角度分析物联网、&云计算、&大数据和互联网的关系&精选" ALT="从脑科学的角度分析物联网、&云计算、&大数据和互联网的关系&精选" src="/attachment//4811445JmIa.jpg" ACTION-TYPE="show-slide" ACTION-DATA="http://image.sciencenet.cn/album//amihv8mtb7hrgh.jpg" />　　　　　
互联网虚拟大脑结构图
　　此后科学领域的进展也不断印证互联网与神经学具有交叉对比的可能性，2010年
6月10日美国南加州大学神经系统科学家拉里·斯旺森和理查德·汤普森在美国《国家科学院院刊》（PNAS）发表论文“Hypothesis-driven
structural connectivity analysis supports network over hierarchical
model of brain architecture“
指出老鼠大脑一小块区域中的神经系统类似互联网结构。拉里·斯旺森的研究表明大脑中互联网式结构的存在可以解释大脑能克服局部损伤的现象，如同互联网任何一个单独部分都可以去掉，但网络其他部分照常工作一样，神经系统也并不是某一部分绝对不可或缺。这个研究从神经学领域证明互联网与神经学具有相关性。
　　日，加州大学圣迭戈分校Dmitri
Krioukov在 《Scientific Report》 ，发表论文“Network
Cosmology”，也提出互联网与脑神经网络的发展与构造具有高度的相似性。研究组利用计算机模拟并结合多种其他计算，证明在复杂网络的动态发展和控制中，描述大尺度时空结构的因果关系网络的曲线图，是一个具有显著聚类特征的幂函数曲线，和许多复杂网络如互联网、社交网、脑神经网络等有高度的相似性[3]。Dmitri
Krioukov的研究对于互联网虚拟大脑的设想给予了有力的数据支持。
　　　　　　　　　　　　　
　　互联网虚拟大脑的提出和绘制，一方面可以帮助我们预测互联网的未来发展趋势和成熟结构，用神经学的视角研究互联网的运行机理，另一方面希望能够将物联网，云计算，大数据，移动互联网等应用有机的集合起来，通过互联网的类脑结构研究它们之间的区别和联系。
2.物联网与互联网虚拟大脑的关系
　　2005年11月国际电信联盟（ITU）发布了题为《 ITU
Internet reports 2005-the Internet of things 》的报告，正式提出了物联网（Internet
things,IOT）一词，这一报告虽然没有对物联网做出明确的定义，但从功能角度，ITU认为“世界上所有的物体都可以通过因特网主动进行信息交换，实现任何时刻、任何地点、任何物体之间的互联、无所不在的网络和无所不在的计算”；从技术角度，ITU认为“物联网涉及射频识别技术（RFID）、传感器技术、纳米技术和智能技术等“。
在世界范围内，物联网还没有统一的定义和结构，比较著名的有欧盟第七框架计划（
Frameworkprogram7，简称FP7）提出的sensei物联网架构，其目标是通过Intnet将分布在全球的传感器与执行器网络（WS&AN）连接起来，组成一个真正的世界互联网（Real
World Internet
RWI），并定义开放的服务访问接口与相应的语义规范来提供统一的网络与信息管理服务.
　　此外，由美国麻省理工学院和英国剑桥大学等７个高校组成AUTO
ID实验室,日本东京大学UID中心,韩国电子与通信技术研究所（ＥＴＲＩ），美国弗吉尼亚大学,欧洲电信标准组织（ＥＴＳＩ），法国巴黎第六大学都从不同方面对物联网的架构进行了设计和探讨[7]。
　　总体上看，物联网重点突出了传感器感知的概念，同时它也具备网络线路传输，信息存储和处理，行业应用接口等功能。而且也往往与互联网共用服务器，网络线路和应用接口，使人与人（Human
ti Human ,H2H），人与物（Human to thing，H2T）、物与物（ Thing to
Thing,T2T）之间的交流变成可能，最终将使人类社会、信息空间和物理世界（人机槠）融为一体．根据物联网和互联网的区别和关联，我们在互联网虚拟大脑结构图进行了如图2所示的标示，以描述物联网与传统互联网，物联网与互联网虚拟大脑的关系。
& & <img TITLE="从脑科学的角度分析物联网、&云计算、&大数据和互联网的关系&精选" ALT="从脑科学的角度分析物联网、&云计算、&大数据和互联网的关系&精选" src="/attachment//.jpg" />
物联网与互联网虚拟大脑关系示意图
云计算与互联网虚拟大脑的关系
　　　2007年 10月IBM和 Google宣布在云计算领域的合作后,
云计算迅速成为产业界和学术界研究的热点。。IBM
技术白皮书中关于云计算的定义是：“云计算一词用来描述一个系统平台或者一种类型的应用程序。一个云计算平台可按需进行动态部署、配置、重新配置以及取消服务。云计算平台中的服务器既可以是物理的，也可是虚拟的。
“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务.任何一个用户可以通过合适的互联网接入设备以及一个标准的浏览器就能够访问一个云计算应用程序.”。
　　云计算的诞生有其历史根源，随着互联网的发展，互联网新兴的应用的数据存储量越来越大，互联网业务增长也越来越快。因此互联网企业的软硬件维护成本不断增加，成为很多企业的沉重负担。与此同时，互联网超大型企业如Google，IBM,
亚马逊的软硬件资源有大量空余，得不到充分利用，在这种情况下，互联网从企业各自为战的软硬件建设向集中式的云计算转换也就成为互联网发展的必然。
　　纵观云计算的概念和实际应用，我们可以看到云计算有两个特点，第一，互联网的基础服务资源如服务器的硬件，软件，数据和应用服务开始于集中和统一。第二，互联网用户不用再重复消耗大量资源，建立独立的软硬件设施和维护人员队伍。通过互联网接受云计算提供商的服务，就可以实现自己需要的功能。
　　我们知道大脑的中枢神经系统（central nervous
system）在动物的神经系统集中化的过程中，作为其形态上的中心和在机能上的中枢而被分化出来的部位。中枢神经系统有控制和调节整个机体活动的功能。
　　在互联网虚拟大脑的架构中，，互联网虚拟大脑的中枢神经系统是将互联网的核心硬件层，核心软件层和互联网信息层统一起来为互联网各虚拟神经系统提供支持和服务，从定义上看，云计算与互联网虚拟大脑中枢神经系统的特征非常吻合。在理想状态下，物联网的传感器和互联网的使用者通过网络线路和计算机终端与云计算进行交互，向云计算提供数据，接受云计算提供的服务。基于以上分析，我们在图3中标注云计算的位置如下。
　　<img TITLE="从脑科学的角度分析物联网、&云计算、&大数据和互联网的关系&精选" ALT="从脑科学的角度分析物联网、&云计算、&大数据和互联网的关系&精选" src="/attachment//4811449gsgZ.jpg" ACTION-TYPE="show-slide" ACTION-DATA="http://image.sciencenet.cn/album//230919vjjl2sbaz99lnn9s.jpg" />
&云计算与互联网虚拟大脑关系示意图
　　　　　　
大数据与互联网虚拟大脑的关系
　　Nature 早在2008 年就推出了Big Data
专刊。Science 在2011 年2 月推出专刊《Dealing with
Data》，主要围绕着科学研究中大数据问题展开讨论，说明大数据对于科学研究的重要性。全球知名的咨询公司麦肯锡(McKinsey)在2011年6
月份发布了一份关于大数据的详尽报告《Big data: The next frontier for innovation,
competition, and
productivity》，对大数据的影响、关键技术和应用领域等都进行了详尽的分析。
　　2012年3 月份美国奥巴马政府发布了《大数据研究和发展倡议》
(Big Data Research and Development Initiative) ，投资2
亿以上美元，正式启动“大数据发展计划”。计划在科学研究、环境、生物医学等领域利用大数据技术进行突破。
　　大数据目前尚没有统一的定义，比较有代表性的是3V
定义，即认为大数据需满足3 个特点：规模性(Volume)、多样性(Variety)和高速性(Velocity)。除此之外， IDC
认为大数据还应当具有价值性(Value)，大数据的价值往往呈现出稀疏性的特点。而IBM
认为大数据应该具有真实性(Veracity)
　　随着博客、社交网络、以及云计算、物联网等技术的兴起，互联网上的数据正以前所未有的速度在不断的增长和累积，学术界、工业界甚至于政府机构都已经开始密切关注大数据问题，应该说大数据是互联网发展到一定阶段的必然产物，互联网用户的互动，企业和政府的信息发布，物联网传感器感应的实时信息每时每刻都在产生大量的结构化和非结构化数据，这些数据分散在整个网络体系内，体量极其巨大。这些数据中蕴含了对经济，科技，教育等等领域非常宝贵的信息，大数据的研究就是通过数据挖掘，知识发现和深度学习等方式将这些数据整理出来，形成有价值的数据产品。提供给政府，行业企业和互联网个人用户使用和消费。
　　我们在论文“互联网与神经学的交叉对比研究”中对互联网虚拟大脑的信息层定义时，曾经这样描述““互联网的信息成爆炸式增长，这些信息的形式包括文字，二维图片，文档，视频，声音，三维图像等，分布在互联网的服务器，路由器，交换机，用户终端和互联网虚拟神经系统里。我们将这些分布在互联网中的信息统称为互联网虚拟大脑的信息层或数据海洋。”
　　我们在前文阐述过，以云计算为代表的互联网新应用的兴起，表明互联网基础服务无论从硬件，软件还是数据信息都在向集中和统一的方向发展。也就是说，未来的大数据还将具备一个新的特性-统一性（Unity）。可以预见，当大数据的容量进一步增加，存储方式进一步趋向集中。大数据将逐步形成互联网虚拟大脑的信息层（数据海洋）。因此，我们在图4中对大数据进行标注如下。
<img TITLE="从脑科学的角度分析物联网、&云计算、&大数据和互联网的关系&精选" ALT="从脑科学的角度分析物联网、&云计算、&大数据和互联网的关系&精选" src="/attachment//c.jpg" />
&大数据与互联网虚拟大脑关系示意图
　　　　　 &
本文在互联网虚拟大脑结构图的基础上，分析了互联网与物联网，云计算和大数据的关系，标识出物联网，云计算，大数据和传统互联网在互联网虚拟大脑结构图的位置。说明基于神经学建立的互联网虚拟大脑架构可以有效的统一互联网发展过程中产生的新应用和新概念。
&下一步我们可以使用更多神经学的知识分析互联网，物联网，云计算和大数据的运行模式和发展趋势。值得研究的方向包括：能否使用神经反射弧的原理分析物联网和云计算之间的交互方式，能否用神经元的结构分析社交网络与物联网的结合趋势，能否通过“互联网虚拟大脑智商“的测试设计分析大数据研究的进展情况。这些方向的研究我们将在以后的讨论中阐述。
后记：半年前所发布的第一版示意图中，将物联网，大数据，云计算与互联网描绘的过于割裂,地址，也受到不少专家的批评指正，经过进一步研究，发现其实这些应用之间并不是分割而是有交叉区域。这是半年以来的进步。
阅读(16) | 评论(0) | 转发(0) |
下一篇：没有了
相关热门文章
给主人留下些什么吧！~~
请登录后评论。88被浏览29,784分享邀请回答6添加评论分享收藏感谢收起}