【北京hadoop学习班哪里好】
市场价：￥详询
班制：周末班
上课(咨询)地址：
北京海淀中关村958楼中科天博大厦
中国科学院计算技术研究所是国家专门的计算技术研究机构，同时也是中国信息化建设的重要支撑单位。中科院计算所培训中心致力于高端IT类人才培养，凭借科学院强大师资力量，在总结多年大型软件开发和组织经验的基础上，自主研发出一整套符合现代企业要求的课程体系，其目的是希望能切实帮助中国软件企业培养高级软件技术人才，提升企业整体研发与创新能力。迄今为止已先后为国家培养了数万名计算机专业人员，并先后为数千家大型国内外企业进行过专门的定制培训与咨询服务。
从1987年成立之初至今，培训中心一如既往的秉承“科学、高效、权威、品质”的教学宗旨，以“追求卓越服务，与企业共发展”为努力目标，课程体系紧紧围绕“云计算、大数据、软件工程、互联网”的中心思想来设置，在关注企业员工发展的基础上，聚焦于企业体系建设、过程改进，致力于为企事业单位培养更多高端管理、创新人才。携手广大企事业单位，共同为我国软件事业的发展而努力！ 2016年一季度，我们设立了以下课程，诚邀各企事业单位及有志之士积极参与。
一季度课程安排：
【高级系统架构师】
12月16日-12月18日
【大数据实时处理-Spark及BDAS技术应用】
12月17日-12月19日
12月23日-12月25日
【高级软件需求分析师】
1月6日-1月8日
【大数据处理技术-基于Hadoop 的实战(含Spark和Storm应用介绍 )】
1月6日-1月8日
1月14日-16日
【安卓架构及开发技术】
1月15日-1月17日
【云计算技术纵览】
1月22日-1月23日
【产品设计之道】
3月9日-3月11日
【高质量软件设计】
3月15日-3月16日
【大数据分析-基于Hadoop /Mahout的大数据挖掘(含Spark和Storm应用介绍 )】
3月16日-3月18日
【云计算与大数据处理技术】
3月24日-3月26日
【OpenStack部署和管理】
3月23日-3月26日
【数据仓库与数据挖掘】
3月30日-4月1日
【Java技术精讲】
3月30日-4月2日
咨询热线：010-
授课专家：
以上课程邀请了业界著名专家学者亲临授课。主流及前沿的技术背景，新颖和实用的授课内容，一定会使您受益匪浅。
谢老师：教授，培训中心副校长，大型电子对抗项目负责人、首席系统架构师，高级咨询顾问，国内软件工程知名专家，组织过多个大型软件项目，对软件工程管理与过程具有深邃的理论见解和实践知识。
杨老师：研究网络信息分析以及云计算相关技术，从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作，主持和参与了多个国家和省部级基金项目，具有丰富的工程实践及软件研发经验。
李老师：中国科学院专项课题组长，IEEE云计算与信号处理国际研讨会发起人，多个国际期刊审稿人。在高水平国际会议和SCI期刊上上发表论文十多篇，并拥有多项专利。带领团队完成多个云计算方面的工程项目。
姜老师：国家“863项目”专家，首席架构师，敏捷开发资深实践者，具有多年在**线成功管理大型软件项目的经验，对软件项目组织具有深刻见解和实践知识。雷老师：国内知名企业云平台技术总监，中国云亲身实践者。
袁老师：CMMI高级咨询顾问，曾负责多项CMMI相关咨询/评估、工程工具咨询及中间件产品咨询服务并主持中科院管理学院MBA班“项目管理”和“甲方项目管理”主题演讲。
温馨提示：
1、培训期间协助安排住宿，费用自理，午餐由培训中心统一安排。
2、确定报名请与刘林林联系为您提供报名回执表，我们依此为您做课前准备。
3、收到报名回执后，我们将及时告知具体授课地点、日程安排等。
关于举办“大数据处理技术 - 基于Hadoop 的实战”培训的通知
各有关单位：
中国科学院计算技术研究所是国家专门的计算技术研究机构，同时也是中国信息化建设的重要支撑单位，中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训机构。中心凭借科学院的强大师资力量，在总结多年大型软件开发和组织经验的基础上，自主研发出一整套课程体系，其目的是希望能够切实帮助中国软件企业培养高级软件技术人才，提升整体研发能力，迄今为止已先后为国家培养了数万名计算机专业人员，并先后为数千家大型国内外企业进行过专门的定制培训服务。
随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具，首选的是Hadoop 平台。Hadoop 在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。为解决广大系统设计人员深入研究与开发大数据技术的需要，培训中心特举办“大数据处理技术-基于Hadoop 的实战”培训班，具体事宜通知如下：
一、培训对象
1，系统架构师、系统分析师、高级程序员、资深开发人员。
2，牵涉到大数据处理的数据中心运行、规划、设计负责人。
3，政府机关，金融保险、移动和互联网等大数据来源单位的负责人。
4，高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。
二、学员基础
1，对IT系统设计有一定的理论与实践经验。
2，有一定的数据仓库与大数据处理的基础知识。
由业界知名云计算专家亲自授课：
杨老师&& 主要研究网络信息分析以及云计算相关技术，长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作，主持和参与了多个国家和省部级基金项目，具有丰富的工程实践及软件研发经验。
四、培训要点
互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候，我们在内部交易系统的历史信息之外，需要一种基于大数据分析的决策模型和技术支持。
大数据通常具有：数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。如何有效管理和高效处理这些大数据已成为当前亟待解决的问题。大数据处理意味着更严峻的挑战，更好地管理和处理这些数据也将会获得意想不到的收获。
Google发布的GFS和MapReduce等高可扩展、高性能的分布式大数据处理框架，证明了在处理海量网页数据时该框架的优越性。GFS/MapReduce框架实现了更高应用层次的抽象，使用户无需关注复杂的内部工作机制，无需具备丰富的分布式系统知识及开发经验，即可实现大规模分布式系统的部署与大数据的并行处理。
Apache Hadoop 开源项目开发团队。他们克隆了GFS/MapReduce框架，推出了Hadoop 系统。该系统已受到学术界和工业界的广泛认可和采纳，并孵化出众多子项目(如Pig，Zookeeper和Hive等)，日益形成一个易部署、易开发、功能齐全、性能优良的系统。
本课程从大数据技术以及Hadoop 实战的角度，结合理论和实践，全方位地介绍Hadoop 这一高性能处理大数据工具的开发技巧。本课程涉及的主题包括：Hadoop 分布式文件系统及Hadoop 的I/O；MapReduce的的工作机制、类型和格式；如何构建和管理Hadoop 集群；Pig Latin语言的使用技巧；Hive数据仓库工具介绍；HBase和Zookeeper工具的使用和管理；开源数据采集工具sqoop。
教学过程中还提供了案例分析来帮助学员了解如何用Hadoop 系列工具来解决具体的问题，并介绍了从大数据中挖掘出有价值的信息的关键。本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。
五、培训内容
**讲 云计算及大数据处理技术介绍
第二讲 Google中的关键技术
第三讲 Hadoop 文件系统HDFS及其文件结构
第四讲 MapReduce编程模型及其应用开发
第五讲 Pig Latin及其使用
第六讲 数据仓库Hive使用
第七讲 HBase和ZooKeeper使用
第八讲 数据抽取工具Sqoop使用
第九讲 当前数据中心的改造和转换分析
第十讲各厂商*新的大数据产品介绍
六、培训目标
1, 全面了解大数据处理技术的相关知识。
2，学习Hadoop 的核心技术方法以及应用特征。
3，深入使用Hadoop 相关工具在大数据中的使用。
4，掌握传统数据中心向云计算中心转换的关键技术。
七、培训时间、地点
时间：请咨询&&&&& 地点：北京 上海
培训结束，颁发中科院计算所职业培训中心“大数据处理技术-基于Hadoop 的实战”。
培训费：5500元/人（含教材、**、午餐、学习用具），食宿统一安排，费用自理。
& & & 中科院计算所培训中心（北京市海淀区中科院计算所职业技能培训学校）成立于1987年，是计算所根据国家普及计算机知识，培养专业计算机人才而创建的。培训中心依托中国科学院强大的技术背景，历经二十年的发展，为全国各企事业单位、部队、院校等累计培养了近十七万人次的计算机专业人才，并为多家企业提供了高质量的咨询服务，现已形成企业内训、高端公开课、GJB5000A/CMMI培训与咨询、企业全方位咨询服务四大业务模块，在业界具有良好信誉。
& & & “科学、高效、权威、品质”是北京市海淀区中科院计算所职业技能培训学校的经营宗旨，面向企业人是其明确的市场定位。中科院计算所针对企业的信息化建设具有悠久的历史，其IT技术培训是一个长期积累、与时俱进的过程。1987年，我国的信息化建设十分滞后，计算机相关设备仅见于政府、部队和部分大型国内企业，专业技术急待普及，中科院计算所适时创建了培训中心，从计算机的基本概念、原理和维护到Windows、unix、linux应用到Oracle、DB2、数据仓库、J2EE、.net，再到现在高端企业级需求分析、架构设计、系统设计及咨询、云计算、海量数据，始终与国际*前沿的IT技术接轨。25年，培训中心的服务广泛应用于全国各地电信、通信、电力、石化、金融、教育、部队、交通、医药、服务等各行各业，为我国的信息化建设做出了卓越的贡献，成为中国IT精英权威培训咨询机构。
& & & &北京市海淀区中科院计算所职业技能培训学校拥有一批具有多年丰富实际开发与教学经验兼备的优秀专职教师队伍、咨询专家，有一支活跃于软件行业的研发团队。中心凭借强大的师资力量，把握当今世界*前沿的开发技术，在总结多年大型软件开发和组织经验的基础上，自主研发出百门课程体系，满足企业各层次的培训需求，其目的是希望**有经验高水平教师的讲授来真正解决企业信息化建设中的问题，切实帮助中国软件企业培养高级软件技术人才，提升企业的整体研发能力。授课教师从思想、方法和技术三个层面系统讨论企业信息化建设及大型软件设计理论和方法，并且**一些精心选择的案例，揉合教师的大型项目经验，以项目过程中的问题带动原理的描述，理论和实际相结合，重点讲清问题，从而使学员在企业信息化建设项目中发挥更大的作用。
& & & &面对千变万化的IT技术，北京市海淀区中科院计算所职业技能培训学校不仅传授给学员当今IT潮流*核心的前沿技术和解决问题的方法，同时也为学员提供后续技术支持，更指导学员如何把握技术动态的方法和考虑问题、潜心学习的思维方式，旨在为国内外各企事业单位培养实用型、潜力型IT高端管理、创新人才，实现“与企业共发展，同携手开创未来”的美好愿景。
& & & 我们承诺：充分的资源共享、完善的管理模式和立足潮头的前沿技术，必将使您在更广的领域享受到更佳的培训服务！为了明天，我们一起努力！
北京数据库工程师培训最新开班
北京数据库工程师培训最新资讯
北京数据库工程师培训最新问答& | &十年树人& | &
改变中国IT教育，我们正在行动 &&&&全国咨询热线：1
全国校区 
错过2009年Android强势崛起，与高薪失之交臂
误判2012年iOS大火，与高薪迎面不相逢
2015年云计算大潮席卷全球IT行业，云计算人才千金难求
如果再次错失尚学堂云计算班，活该你拿不到高薪
201320142015
621亿元1098亿元1404亿元
已达可达将达
作为中国官方重点扶持的战略性新兴产业，云计算产业已逐步从
概念走向落地，“大数据，虚拟化，高并发”三大热门领域得到
了广泛关注和重视，90%企业都在用云计算。
内容覆盖最广要学-就要学全！别的培训机构学习大数据只是单纯的去学习Hadoop,而在尚学堂，你不但要深入学习Hadoop，你还要学习高并发，storm,spark,openstack,nosql等高新技术
真实实战项目要学-就要会用！课程设计贴近企业使用需求，采用真实企业项目案例，在架构案例中，真正学会怎么去使用这些技术。
老师真实演练要学-就要学会！全套课程授课方式采用真实实战演练讲解，代码手把手传授，不是照着ppt念。保证学员打下坚实基础，进入企业迅速上手工作。
学员未毕业就拿到多份月薪过万offer，我们的学员就是这么任性！
本系列课程适合有一点编程基础的人员学习（比如java,python,c/c++），最好是java编程人员，特别是从事过j2ee开发的人员。因为本套课程属于高端课程，所以报名过程中我们会有对报名人员进行简单技术评估，希望大家不要嫌麻烦。因为这样是对您最好的负责，也能更好保障您能学会并消化我们的课程（有一定难度和深度）内容，另外我们也可以给你一些比较好的复习和学习建议。学习完本套课程，可以帮助你成为大型项目架构师，特别是数据量大，并发量高的大型项目架构师，当然也能很大程度上提高你的薪资待遇。
http://www.zhaopin.com
http://www.zhaopin.com
http://www.zhaopin.com
http://www.liepin.com
http://www.liepin.com
http://www.liepin.com
姓名就业单位月薪地点就业时间
张同学北京**思惟科技发展有限公司12800北京
李同学北京华夏**软件科技有限公司12000北京
李同学即**科技有限责任公司11000北京
张同学中恒**科技15650北京
张同学北京**润科技10000北京
范同学蓝汛**科技有限公司13500北京
蔡同学北京**奥聚合17000北京
赵同学天云**数据12500北京
张同学百度**网络技术17000北京
陈同学华为**有限公司20000北京
陈同学恒安**(北京)科技有限公司15000北京
胡同学东方**科技股份有限公司16000北京
赫同学聚美**公司15000北京
张同学北京灵思**营销顾问有限公司15000北京
由于就业同学在公司担任要职，属于隐私，部分信息隐藏。
第一阶段linux+搜索+hadoop体系
Linux基础→
shell编程→
高并发架构→
lucene,solr搜索→
hadoop体系→
mapreduce→
zookeeper→
项目实战一
第二阶段机器学习
项目实战二
第三阶段storm流式计算
项目实战三
第四阶段spark内存计算
scala编程→
spark core→
spark sql→
spark streaming→
spark mllib→
spark graphx→
项目实战四→
python机器学习→
spark python编程→
项目实战五→
项目实战六
第五阶段云计算平台
openstack云计算→
第一阶段：linux+搜索+hadoop体系
这章是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,kvm,openstack等众多课程。因为企业中无一例外的是使用Linux来搭建或部署项目。
1) Linux的介绍，Linux的安装：VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程
2) 了解机架服务器，采用真实机架服务器部署linux
3) Linux的常用命令：常用命令的介绍、常用命令的使用和练习
4) Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用；
5) Linux启动流程，运行级别详解，chkconfig详解
6) VI、VIM编辑器：VI、VIM编辑器的介绍、VI、VIM扥使用和常用快捷键
7) Linux用户和组账户管理：用户的管理、组管理
8) Linux磁盘管理，lvm逻辑卷，nfs详解
9) Linux系统文件权限管理：文件权限介绍、文件权限的操作
10) Linux的RPM软件包管理：RPM包的介绍、RPM安装、卸载等操作
11) yum命令，yum源搭建
12) Linux网络：Linux网络的介绍、Linux网络的配置和维护
13) Shell编程：Shell的介绍、Shell脚本的编写
14) Linux上常见软件的安装：安装JDK、安装Tomcat、安装mysql,web项目部署
大型网站高并发处理
通过本章的学习大家将会了解大数据的源头，数据从何而来，继而更好的了解大数据。并且通过学习何果处理大型网站高并发问题反向更深入的学习了Linux，同时站在了更高的角度去触探了架构。
1) 第四层负载均衡
&&&&a) Lvs负载均衡
&&&&&&&&i. 负载算法，NAT模式，直接路由模式（DR），隧道模式（TUN）
&&&&b) F5负载均衡器介绍
2) 第七层负载均衡
&&&&a) Nginx
&&&&b) Apache
3) Tomcat、jvm优化提高并发量
4) 缓存优化
&&&&a) Java缓存框架
&&&&&&&&i. Oscache，ehcache
&&&&b) 缓存数据库
&&&&&&&&i. Redis，Memcached
5) Lvs+nginx+tomcat+redis|memcache构建二层负载均衡千万并发处理
6) Haproxy
7) Fastdfs小文件独立存储管理
8) Redis缓存系统
&&&&a) Redis基本使用
&&&&b) Redis sentinel高可用
&&&&c) Redis好友推荐算法
Lucene课程
在大数据里面文本数据的搜索是很重要的一块，特别是里面的分词技术，是后面机器学习里面文本挖掘的基石，我们需要深入学习java领域里面的搜索核心技术lucene，同时也可以了解到百度 google这样的搜索系统是怎么架构实现的。
1) Lucene介绍
2) Lucene 倒排索引原理>
3) 建索引 IndexWriter
4) 搜索 IndexSearcher
6) Sort和 过滤 （filter）
7) 索引优化和高亮
接着前面lucene技术搜索，如果把lucene技术比如为发动机，那solr就是一两成型的汽车了。学习完solr可以帮助你在企业里面快速的架构搜索系统。首先Solr是基于Lucene做的，Lucene是一套信息检索工具包，但并不包含搜索引擎系统，它包含了索引结构、读写索引工具、相关性工具、排序等功能，因此在使用Lucene时你仍需要关注搜索引擎系统，例如数据获取、解析、分词等方面的东西。而Solr的目标是打造一款企业级的搜索引擎系统，因此它更接近于我们认识到的搜索引擎系统，它是一个搜索引擎服务，通过各种API可以让你的应用使用搜索服务，而不需要将搜索逻辑耦合在应用中。而且Solr可以根据配置文件定义数据解析的方式，更像是一个搜索框架，它也支持主从、热换库等操作。还添加了飘红、facet等搜索引擎常见功能的支持。
1) 什么是solr
2) 为什么工程中要使用solr
3) Solr的原理
4) 如何在tomcat中运行solr
5) 如何利用solr进行索引与搜索
6) solr的各种查询
7) solr的Filter
8) solr的排序
9) solr的高亮
10) solr的某个域统计
11) solr的范围统计
12) solrcloud集群搭建
Hadoop离线计算大纲
一、初识hadoop
听过大数据，必听过hadoop，此部分带领大家了解hadoop的用途，在大数据中的用途，以及快速搭建一个hadoop的实验环境，在本过程中不仅将用到前面的Linux知识，而且会对hadoop的架构有深入的理解，并为你以后架构大数据项目打下坚实基础。
1) Hadoop生态环境介绍
2) Hadoop云计算中的位置和关系
3) 国内外Hadoop应用案例介绍
4) Hadoop 概念、版本、历史
5) Hadoop 核心组成介绍及hdfs、mapreduce 体系结构
6) Hadoop 的集群结构
7) Hadoop 伪分布的详细安装步骤
8) 通过命令行和浏览器观察hadoop
二、 HDFS体系结构和shell以及java操作
详细剖析HDFS，从知晓原理到开发网盘的项目让大家打好学习大数据的基础，大数据之于分布式，分布式学习从学习分布式文件系统（HDFS）开始。
1) HDFS底层工作原理
2) HDFS datanode,namenode详解
3) Hdfs shell
4) Hdfs java api
三、 详细讲解Mapreduce
Mapreduce可以说是任何一家大数据公司都会用到的计算框架，也是每个大数据工程师应该熟练掌握的，此处的学习除了老师详细的讲解理论外，会通过大量的案例让大家彻底掌握。
1) Mapreduce四个阶段介绍
2) Writable
3) InputSplit和OutputSplit
4) Maptask
5) Shuffle：Sort，Partitioner，Group,Combiner
6) Reducer
四、 Mapreduce案例案例
1) 二次排序
2) 倒排序索引
3) 最优路径
4) 电信数据挖掘之-----移动轨迹预测分析（中国棱镜计划）
5) 社交好友推荐算法
6) 互联网精准广告推送 算法
7) 阿里巴巴天池大数据竞赛 《天猫推荐算法》案例
8) Mapreduce实战pagerank算法
五、 Hadoop2.x集群搭建
前面带领大家开发了大量的MapReduce程序，此部分将带来大家让开发的程序运行在分布式集群中，并且运行在健壮高可用的集群中。
1) Hadoop2.x集群结构体系介绍
2) Hadoop2.x集群搭建
3) NameNode的高可用性（HA）
4) HDFS Federation
5) ResourceManager 的高可用性（HA）
6) Hadoop集群常见问题和解决方法
7) Hadoop集群管理
分布式数据库Hbase
大数据中使用Hbase的案例多的举不胜举，也可凸显大家学习的必要性。即使工作多年的大数据工程师Hbase的优化也是需要好好学习的重点。
1) HBase定义
2) HBase与RDBMS的对比
3) 数据模型
4) 系统架构
5) HBase上的MapReduce
6) 表的设计
7) 集群的搭建过程讲解
8) 集群的监控
9) 集群的管理
10) HBase Shell以及演示
11) Hbase 树形表设计
12) Hbase 一对多 和 多对多 表设计
13) Hbase 微博 案例
14) Hbase 订单案例
15) Hbase表级优化
16) Hbase 写数据优化
17) Hbase 读数据优化
数据仓库Hive
Hive是使用sql进行计算的hadoop框架，工作中最常用到的部分，也是面试的重点，此部分大家将从方方面面来学习Hive的应用，任何细节都将给大家涉及到。
1) 数据仓库基础知识
2) Hive定义
3) Hive体系结构简介
4) Hive集群
5) 客户端简介
6) HiveQL定义
7) HiveQL与SQL的比较
8) 数据类型
9) 外部表和分区表
10) ddl与CLI客户端演示
11) dml与CLI客户端演示
12) select与CLI客户端演示
13) Operators 和 functions与CLI客户端演示
14) Hive server2 与jdbc
15) 用户自定义函数（UDF 和 UDAF）的开发与演示
16) Hive 优化
数据迁移工具Sqoop
sqoop适用于关系型数据库和HDFS分布式数据系统之间进行数据转换，在企业中，是构建数据仓库的一大工具。
1) 介绍 和 配置Sqoop
2) Sqoop shell使用
3) Sqoop-import
&&&&a) DBMS-hdfs
&&&&b) DBMS-hive
&&&&c) DBMS-hbase
4) Sqoop-export
Flume分布式日志框架
Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。大家学习完此节后不但可以掌握Flume的使用，而且可以进行对于Flume的开发。
1) flume简介-基础知识
2) flume安装与测试
3) flume部署方式
4) flume source相关配置及测试
5) flume sink相关配置及测试
6) flume selector 相关配置与案例分析
7) flume Sink Processors相关配置和案例分析
8) flume Interceptors相关配置和案例分析
9) flume AVRO Client开发
10) flume 和kafka 的整合
Zookeeper开发
Zookeeper在分布式集群（Hadoop生态圈）中的地位越来越突出，对分布式应用的开发也提供了极大便利，这也是这里我们带领大家深入学习 Zookeeper的原因。本课程主要内容包括Zookeeper深入、客户端开发（Java编程，案例开发）、日常运维、Web界面监控。大家这里学好Zookeeper，对后面学习其他技术至关重要。
1) Zookeeper
java api开发
2) Zookeeper rmi高可用分布式集群开发
3) Zookeeper
redis高可用监控实现
4) Netty 异步io通信框架
5) Zookeeper实现netty分布式架构的高可用
某大型电商日志分析和订单管理
在实战中学习，技术点非常多，怎么样实际运用这些点是我们在自学过程中体验不到的。电商日志分析包括：pv、uv，跳出率，二跳率、广告转化率、搜索引擎优化等，订单模块有：产品推荐，商家排名，历史订单查询，订单报表统计等。
项目技术架构体系：
a) Web项目和云计算项目的整合
b) Flume通过avro实时收集web项目中的日志
c) 数据的ETL
d) Hive 批量 sql执行
e) Hive 自定义函数
f) Hive和hbase整合。
g) Hbase 数据支持 sql查询分析
h) Mapreduce数据挖掘
i) Hbase dao处理
j) Sqoop 在项目中的使用。
k) Mapreduce 定时调用和监控
第二阶段：机器学习
R语言机器学习
R本身是一款十分优秀的数据分析和数据可视化软件，同时作为第一代机器学习的工具，其中包括大量用于机器学习的添加包。此部分带领大家学习R语言更是带领大家进入机器学习的领域，机器学习算法为主线的同时，通过案例学习将会让大家对内容脉络掌握的更加清晰。
1) R语言介绍，基本函数，数据类型
2) 线性回归
3) 朴素贝叶斯聚类
4) 决策树分类
5) k均值聚类&&&&a) 离群点检测
6) 关联规则探索
7) 神经网络
Mahout机器学习
Mahout提供一些可扩展的机器学习领域经典算法的实现，很多公司会使用Mahout方便快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。Mahout通过使用 Apache Hadoop，可以有效地扩展到云中。被业界奉为第二代机器学习工具。此部分过后大家不仅会学习到mahout的组件而且会有项目让大家真正把它应用到工作中。
1) 介绍为什么使用它,它的前景
&&&&a) 简单介绍Mahout
&&&&b) 简单介绍机器学习
&&&&c) 实例演示Mahout单机推荐程序
2) 配置安装（hadoop2.x版本的）编译安装步骤说明
&&&&a) 命令行中测试运行协同过滤概念
&&&&a) 讲解基于用户的协同过滤
&&&&b) 讲解基于物品的协同过滤
&&&&a) 分类概念
&&&&b) 分类的应用及Mahout分类优势
&&&&c) 分类和聚类、推荐的区别
&&&&d) 分类工作原理
&&&&e) 分类中概念术语
&&&&f) 分类项目工作流
&&&&g) 如何定义预测变量
&&&&h) 线性分类器的介绍，及贝叶斯分类器
&&&&i) 决策树分类器的介绍，及随机森林分类器
&&&&j) 如何使用贝叶斯分类器和随机森林分类器的代码展示
&&&&a) 聚类概念
&&&&b) 聚类步骤流程
&&&&c) 聚类中的距离测度
&&&&d) 讲解K-means聚类
&&&&e) K-means聚类算法展示
&&&&f) 聚类其他算法
&&&&g) 介绍TF-IDF
&&&&h) 归一化
&&&&i) 微博聚类案例
微博营销数据挖掘项目
使用数据来自微博平台，项目目标通过机器学习所学知识挖掘目标客户群体，找到代言人进行微博营销广告投放。
项目技术架构体系：a) 分布式平台 Hadoop，MapReduce
b) 数据采集
c) 数据清洗
Hbase，Redis
e) 机器学习
第三阶段：storm流式计算
redis缓存系统课程大纲
1) redis特点、与其他数据库的比较
2) 如何安装redis
3) 如何使用命令行客户端
4) redis的字符串类型
5) redis的散列类型
6) redis的列表类型
7) redis的集合类型
8) 如何使用java访问redis【a.python访问redis,scala访问redis】
9) redis的事务(transaction)
10) redis的管道(pipeline)
11) redis持久化(AOF+RDB)
12) redis优化
13) redis的主从复制
14) redis的sentinel高可用
15) twemproxy,codis实战
16) redis3.x集群安装配置
Kafka是当下流行的队列，可以说是从数据采集到大数据计算承上启下的重要环节，大家在此部分将会详细学习它的架构，kafka在大家大数据的项目中几乎都会涉及到。
1) kafka是什么
2) kafka体系结构
3) kafka配置详解
4) kafka的安装
5) kafka的存储策略
6) kafka分区特点
7) kafka的发布与订阅
8) zookeeper协调管理
9) java编程操作kafka
10) scala编程操作kafka
11) flume 和kafka 的整合
12) Kafka 和storm 的整合
Storm实时数据处理
本部分学习过后，大家将全面掌握Storm内部机制和原理，通过大量项目实战，让大家拥有完整项目开发思路和架构设计，掌握从数据采集到实时计算到数据存储再到前台展示，所有工作一个人搞定！譬如可以一个人搞定淘宝双11大屏幕项目！不光从项目的开发的层次去实现，并可以从架构的层次站在架构师的角度去完成一个项目。
项目技术架构体系：1) Storm的基本概念
2) Storm的应用场景
3) Storm和Hadoop的对比
4) Storm集群的安装的linux环境准备
5) zookeeper集群搭建
6) Storm集群搭建
7) Storm配置文件配置项讲解
8) 集群搭建常见问题解决
9) Storm常用组件和编程API：Topology、 Spout、Bolt
10) Storm分组策略(stream groupings)
11) 使用Strom开发一个WordCount例子
12) Storm程序本地模式debug、Storm程序远程debug
13) Storm事物处理
14) Storm消息可靠性及容错原理
15) Storm结合消息队列Kafka：消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程API
16) Storm Trident概念
17) Trident state 原理
18) Trident开发实例
19) Storm DRPC(分布式远程调用)介绍
20) Storm DRPC实战讲解
21) Storm和Hadoop 2.x的整合：Storm on Yarn
Storm开发实战： Kafka+Storm+Hbase+redis项目实战，以及多个案例
中国移动基站保障平台
一个市级移动公司，每天的产生海量话务数据（一线城市更高），通过大数实时分析，监控每个基站的掉话率，基站通话总数，基站掉话总数，基站告警，3g/4g上网流量实时监控。对以上维度进行实时分析以达到对基站工作情况的监控。
项目技术架构体系：Storm+hbase+kafka+flume+echarts
a) flume实时采集日志
b) kafka缓冲队列
c) storm实时处理
d) Hbase dao存储处理结果
e) 前端Web实时展示报表
第四阶段：spark内存计算
Python课程
Python语言的部分大家在学习后可以完全掌握Python的精髓，并通过这部分的学习给大家打好一个基础，在其他计算框架中多语言的使用上都会涉及到Python这门流行的语言。同时课程里会通过机器学习的案例让大家学习Python的同时去更好的理解机器学习。
1) 介绍Python以及特点
2) Python的安装
3) Python基本操作（注释、逻辑、字符串使用等）
4) Python数据结构（元组、列表、字典）
5) 使用Python进行批量重命名小例子
6) Python常见内建函数
7) 更多Python函数及使用常见技巧
9) Python函数的参数讲解
10) Python模块的导入
11) Python中的类与继承
12) 网络爬虫案例
13) 数据库连接，以及pip安装模块
14) Mongodb基础入门
15) 讲解如何连接mongodb
16) Python的机器学习案例
在此部分内，将更注重scala的各种语言规则与简单直接的应用，而不在于其是如何具体实现，通过学习本课程能具备初步的Scala语言实际编程能力。本部分课程也可以视为大家下面学习Spark课程的铺垫，供大家扫盲熟悉Scala，提前进行热身运动。
1) scala解释器、变量、常用数据类型等
2) scala的条件表达式、输入输出、循环等控制结构
3) scala的函数、默认参数、变长参数等
4) scala的数组、变长数组、多维数组等
5) scala的映射、元组等操作
6) scala的类，包括bean属性、辅助构造器、主构造器等
7) scala的对象、单例对象、伴生对象、扩展类、apply方法等
8) scala的包、引入、继承等概念
9) scala的特质
10) scala的操作符
11) scala的高阶函数
12) scala的集合
13) scala数据库连接
Spark大数据处理
本部分内容全面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，Spark on Yarn,Spark Streaming流式计算原理与实践，Spark SQL,Spark的多语言编程以及SparkR的原理和运行。不仅面向项目开发人员，甚至对于研究Spark的学员，此部分都是非常有学习指引意义的课程。
1) Spark介绍
2) Spark应用场景
3) Spark和Hadoop MR、Storm的比较和优势
5) Transformation
7) Spark计算PageRank
8) Lineage
9) Spark模型简介
10) Spark缓存策略和容错处理
11) 宽依赖与窄依赖
12) Spark配置讲解
13) Spark集群搭建
14) 集群搭建常见问题解决
15) Spark原理核心组件和常用RDD
16) 数据本地性
17) 任务调度
18) DAGScheduler
19) TaskScheduler
20) Spark源码解读
21) 性能调优
22) Spark和Hadoop2.x整合：Spark on Yarn原理
Spark Streaming实时计算
1) Spark Streaming：数据源和DStream
2) 无状态transformation与有状态transformation
3) Streaming Window的操作
4) sparksql 编程实战
5) spark的多语言操作
6) spark最新版本的新特性
Spark MLlib机器学习
前面课程大家已经掌握第一代机器学习工具R，而后又学习了第二代机器学习工具Mahout，这里大家将会学习第三代机器学习工具MLlib，大家不仅将会了解MLlib的组件及其调用，而且会通过Spark的项目深入了解MLlib的现实使用。通过此部分大家也可以看出课程不仅着眼于现在，更是着眼于大家的未来在行业中的发展。
&&&&a) Spark MLlib组件介绍
&&&&b) 基本数据类型
2) 回归算法
&&&&c) 广义线性模型
&&&&d) 逻辑回归
3) 分类算法
&&&&e) 朴素贝叶斯
&&&&f) 决策树
&&&&g) 随机森林
4) 第四章 推荐系统
5) 第五章 聚类
&&&&h) Kmeans
&&&&i) Sparse kmeans
&&&&j) Kmeans++
&&&&k) Kmeans II
&&&&l) Streaming kmeans
&&&&m) Gaussian Mixture Model
Sparkt GraphX 图计算
e) PageRank
智慧城市大数据分析项目
城市中每时每刻都会产生海量数据，应用数据挖掘、机器学习和可视化技术，分析出的数据可以改进城市规划，缓解交通拥堵，抓捕罪犯。项目会使用真实的数据。
涉及到所学知识如下：
项目技术架构体系：a) 实时流处理 Kafka，Spark Streaming
b) 分布式运算 Hadoop，Spark
Hbase，Redis
d) 机器学习 Spark Mllib
e) 前台web展示数据 Struts2，echart
手机软件推荐系统项目
使用数据来自某互联网平台手机助手，项目目标通过机器学习所学知识挖掘平台手机用户喜好，给用户准确推荐手机软件，类似360手机助手、华为手机助手、百度手机助手推荐功能。
项目技术架构体系：a) 分布式平台 Hadoop，Spark
b) 数据清洗
c) 数据分析
d) 推荐服务 Dubbox
e) 规则过滤
f) 机器学习 MLlib
网络流量异常检测项目
项目目标通过机器学习所学知识检测出异常，包括检测欺诈，网络攻击，服务器传感器故障灯（本项目用户现在热门的电商网站的流量分析检测，比如京东，天猫，淘宝等）。项目功能应用于各大互联网平台中，各大互联网平台均需要网络安全予以重视和预防以及检测。
项目技术架构体系：a) 数据存储 Hadoop
b) 数据准备
c) 数据分析 R
d) 机器学习 MLlib
e) 数据评价及调参
第五阶段：云计算平台
Docker 课程
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）。几乎没有性能开销,可以很容易地在机器和数据中心中运行。最重要的是,他们不依赖于任何语言、框架包括系统。
1) 基本介绍
2) vm docker 对比
3) docker基本架构介绍
4) unfs cgroup namespace
5) 进程虚拟化 轻量级虚拟化
6) docker 安装
7) docker 镜像制作
8) docker 常用命令
9) docker 镜像迁移
10) docker pipework【i.openvswitch】
11) docker weave
云计算算平台，比如openstack，cloudstack 底层采用的技术都是虚拟化方案，现在以kvm市场占有率最高，我们要深入的去学习这些原生的虚拟化，才能深入了解和架构openstack这样的云计算的平台，也才更有能力去开发自己的云计算平台。
1) 虚拟化介绍，虚拟化适用场景等等
2) Qemu Libvirt & KVM
3) 安装KVM, Qemu, Libvirt
4) QEMU-KVM: 安装第一个能上网的虚拟机
5) Kvm虚拟机 nat,网桥基本原理
6) kvm虚拟机克隆
7) kvm虚拟机vnc配置
8) kvm虚拟机扩展磁盘空间
9) Kvm快照
10) Kvm 迁移
11) Java,python,c语言编程控制kvm
12) 构建自己的虚拟云平台
云平台OpenStack
在实战中学习，课程绝不纸上谈兵，通过搭建和调试一个真实的openstack平台，深入浅出， 详细讲解openstack的各个组成模块：keystone, glance, nova, cinder, neutron, horizen。课程中遇到的各种实际问题，不仅演示了如何解决，更是要教会大家学会去找到解决问题的方法。难点问题全面讲解。在云计算的各种技术当中，网络部分是最难，也是最复杂多样的。课程中针对虚拟网络进行了详细的讲解，包括基本原理，以及实际环境搭建，问题的跟踪和解决。讲师拥有丰富的移动集团工作经验，负责云平台的各方面工作，讲课内容完全贴近企业需求，绝不纸上谈兵。
1) openstack介绍和模块基本原理分析
2) openstack多节点安装部署【a.采用centos6.x系统】
3) Keystone基本原理
7) Neutron
8) Openstack api 二次开发}