Zookeeper 学习笔记之配置启动 - Chinaxxren - ITeye技术网站
博客分类：
Zookeeper 的安装非常简单，下面将从单机模式和集群模式
单机模式配置：
Zookeeper 的启动脚本在 bin 目录下，Linux 下的启动脚本是 zkServer.sh
在你执行启动脚本之前，还有几个基本的配置项需要配置一下，Zookeeper 的配置文件在 conf 目录下，这个目录下有 zoo_sample.cfg 和 log4j.properties，你需要做的就是将 zoo_sample.cfg 改名为 zoo.cfg，因为 Zookeeper 在启动时会找这个文件作为默认配置文件。
tickTime=2000
dataDir=D:/devtools/zookeeper-3.2.2/build
clientPort=2181
tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
当这些配置项配置好后，你现在就可以启动 Zookeeper 了，启动后要检查 Zookeeper 是否已经在服务，可以通过 netstat – ano 命令查看是否有你配置的 clientPort 端口号在监听服务。
群集模式配置：
Zookeeper 还支持另外一种伪集群的方式，也就是可以在一台物理机上运行多个 Zookeeper 实例，下面将介绍集群模式的安装和配置。
Zookeeper 的集群模式的安装和配置也不是很复杂，所要做的就是增加几个配置项。集群模式除了上面的三个配置项还要增加下面几个配置项
initLimit=5
syncLimit=2
server.1=192.168.211.1:
server.2=192.168.211.2:
initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒
syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒
server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。
除了修改 zoo.cfg 配置文件，集群模式下还要配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面就有一个数据就是 A 的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。
数据模型：
Zookeeper 会维护一个具有层次关系的数据结构，它非常类似于一个标准的文件系统
Zookeeper 这种数据结构有如下这些特点：
每个子目录项如 NameService 都被称作为 znode，这个 znode 是被它所在的路径唯一标识，如 Server1 这个 znode 的标识为 /NameService/Server1
znode 可以有子节点目录，并且每个 znode 可以存储数据，注意 EPHEMERAL 类型的目录节点不能有子节点目录
znode 是有版本的，每个 znode 中存储的数据可以有多个版本，也就是一个访问路径中可以存储多份数据
znode 可以是临时节点，一旦创建这个 znode 的客户端与服务器失去联系，这个 znode 也将自动删除，Zookeeper 的客户端和服务器通信采用长连接方式，每个客户端和服务器通过心跳来保持连接，这个连接状态称为 session，如果 znode 是临时节点，这个 session 失效，znode 也就删除了
znode 的目录名可以自动编号，如 App1 已经存在，再创建的话，将会自动命名为 App2
znode 可以被监控，包括这个目录节点中存储的数据的修改，子节点目录的变化等，一旦变化可以通知设置监控的客户端，这个是 Zookeeper 的核心特性，Zookeeper 的很多功能都是基于这个特性实现的，后面在典型的应用场景中会有实例介绍
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理，后面将会详细介绍 Zookeeper 能够解决的一些典型问题，这里先介绍一下，Zookeeper 的操作接口和简单使用示例。
浏览 18587
浏览: 908747 次
来自: 成都
现在在搞这个，，，，，哎~头都大了，，，又freemarker ...
java quartz定时任务demo教程源代码下载，地址：h ...
[b][/b]&pre name=&code& ...暂没有新消息哦～
&ZooKeeper 环境搭建
ZooKeeper 环境搭建
视频太卡？试试切换线路
本课时讲解 ZooKeeper 的基本概念和典型的应用场景。
本课时讲解 ZooKeeper 的基本概念，包括：集群角色、会话、数据节点、版本、watcher、ACL 权限控制。
本课时讲解ZooKeeper 的运行环境搭建，包括：集群环境、单机环境、伪集群，ZooKeeper 服务的启动和停止及常见异常。
只有成为VIP会员才能提问&回复，快吧！如果你还没有账号你可以一个账号。
添加新技术问题
课程 [ZooKeeper 环境搭建]
中已存在问题
添加新技术问题
问题描述越详细，被解答的速度越快
有新回答时请邮件提醒我
着急，拜托快点
不急，慢慢解决
关联课程 [ZooKeeper 环境搭建]
服务热线:400-678-8266zookeeper环境搭建中的几个坑[Error contacting service. It is probably not running]的分析及解决 – PayMoon贝明实验室
插入或编辑链接
输入目标URL
在新标签页中打开链接
或链接到站点中的内容
未指定搜索条件。自动显示近期条目。
搜索或使用上下方向键来选择一项。ZooKeeper的部署以及简单使用
chencheng06
绑定的课程：
要想使用，首先就要把它部署在服务器上跑起来，就想，，等服务器一样。的部署方式主要有三种，单机模式、伪集群模式、集群模式。其实剩下的两种模式都是集群模式的特殊情况。&基本的环境变量配置&&& Java大型的项目中，环境变量的配置很重要，如果没有很好的配置环境变量的话，甚至项目连启动都是难事。export&ZOOKEEPER_HOME=/home/-3.3.3export&PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf&ZooKeeper的单机模式部署ZooKeeper的单机模式通常是用来快速测试客户端应用程序的，在实际过程中不可能是单机模式。单机模式的配置也比较简单。l&编写配置文件&&& zookeeper-3.3.3/conf文件夹下面就是要编写配置文件的位置了。在文件夹下面新建一个文件。的运行默认是读取文件里面的内容的。以下是一个最简单的配置文件的样例：tickTime=2000dataDir=/var/zookeeperclientPort=2181&&& 在这个文件中，我们需要指定&的值，它指向了一个目录，这个目录在开始的时候需要为空。下面是每个参数的含义：tickTime&：基本事件单元，以毫秒为单位。这个时间是作为&服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个&时间就会发送一个心跳。&dataDir&：存储内存中数据库快照的位置，顾名思义就是&保存数据的目录，默认情况下，将写数据的日志文件也保存在这个目录里。&clientPort&：这个端口就是客户端连接&服务器的端口，会监听这个端口，接受客户端的访问请求。&&& 使用单机模式时用户需要注意：这种配置方式下没有&副本，所以如果&服务器出现故障，&服务将会停止。l&执行运行脚本&&& 在文件夹下面运行即可，运行完毕之后则服务变启动起来。./zkServer.sh&start&&& 脚本默认调用里面的配置，因此程序正常启动。&ZooKeeper的集群模式部署&&& ZooKeeper的集群模式下，多个服务器在工作前会选举出一个，在接下来的工作中这个被选举出来的死了，而剩下的服务器会知道这个死掉了，在活着的集群中会继续选出一个，选举出的目的是为了可以在分布式的环境中保证数据的一致性。图集群模式图l&确认集群服务器的数量&&& 由于集群中，会有一个负责管理和协调其他集群服务器，因此服务器的数量通常都是单数，例如，，等，这样的数量的服务器就可以允许最多台服务器的失效。l&编写配置文件配置文件需要在每台服务器中都要编写，以下是一个配置文件的样本：#&Filename&zoo.cfgtickTime=2000dataDir=/var/zookeeper/clientPort=2181initLimit=5syncLimit=2server.1=202.115.36.251:server.2=202.115.36.241:server.3=202.115.36.242:Zookeeper&接受客户端（这里所说的客户端不是用户连接&Zookeeper&服务器的客户端，而是&Zookeeper&服务器集群中连接到&Leader&的&Follower&服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过&10&个心跳的时间（也就是&tickTime）长度后&Zookeeper&服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是&5*2000=10&秒。Leader&与&Follower&之间发送消息，请求和应答时间长度，最长不能超过多少个&tickTime&的时间长度，总的时间长度就是&2*2000=4&秒&C：D：其中&A&是一个数字，表示这个是第几号服务器；B&是这个服务器的&ip&地址；C&表示的是这个服务器与集群中的&Leader&服务器交换信息的端口；D&表示的是万一集群中的&Leader&服务器挂了，需要一个端口来重新进行选举，选出一个新的&Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于&B&都是一样，所以不同的&Zookeeper&实例通信端口号不能一样，所以要给它们分配不同的端口号。l&创建文件&&& 除了修改&配置文件，集群模式下还要配置一个文件&，这个文件在&目录下，这个文件里面就只有一个数据就是&的值，启动时会读取这个文件，拿到里面的数据与&里面的配置信息比较从而判断到底是那个&。l&执行运行脚本&&& 和单机模式下的运行方式基本相同，值得注意的地方就是要分别在不同服务器上执行一次，例如分别在，，上运行：./zkServer.sh&start这样才能使得整个集群启动起来。&ZooKeeper的集群伪分布&&& 其实在企业中式不会存在的，另外为了测试一个客户端程序也没有必要存在，只有在物质条件比较匮乏的条件下才会存在的模式。集群伪分布模式就是在单机下模拟集群的服务，在一台机器上面有多个的同时运行。l&确认集群伪服务器的数量&&& 2n+1，和之前的集群分布相同。l&编写配置文件&&& 在文件夹新建三个配置文件，，以及。配置文件分别如下编写：Zoo1.cfgtickTime=2000initLimit=10syncLimit=5dataDir=/root/hadoop-0.20.2/zookeeper-3.3.1/d_1clientPort=2181server.1=localhost:server.2=localhost:server.3=localhost:Zoo2.cfgtickTime=2000initLimit=10syncLimit=5dataDir=/root/hadoop-0.20.2/zookeeper-3.3.1/d_2clientPort=2182server.1=localhost:server.2=localhost:server.3=localhost:Zoo3.cfgtickTime=2000initLimit=10syncLimit=5dataDir=/root/hadoop-0.20.2/zookeeper-3.3.1/d_3clientPort=2183server.1=localhost:server.2=localhost:server.3=localhost:&&& 由于三个服务都在同一台电脑上，因此这里要保证地址的唯一性，因此要特别注意地址和端口号不要互相冲突，以免影响程序的正确执行。l&创建文件&&& 这个同集群模式部署，在各自的文件夹下面创建。l&执行运行脚本&&& 由于所有的配置文件都在文件夹下面，因此要执行三次，而且要加文件名的参数，不然会默认执行这个文件，如下：./zkServer.sh&start&zoo1.cfg./zkServer.sh&start&zoo2.cfg./zkServer.sh&start&zoo3.cfg执行完毕后，将完成的集群伪分布的启动。&通过命令行工具访问&&& ZooKeeper命令行工具类似于的环境，不过功能肯定不及啦，但是使用它我们可以简单的对进行访问，数据创建，数据修改等操作。当启动&服务成功之后，输入下述命令，连接到&服务：zkCli.sh&–server&202.115.36.251:2181连接成功后，系统会输出&的相关环境以及配置信息，并在屏幕输出“&”等信息。命令行工具的一些简单操作如下：1&）使用&ls&命令来查看当前&ZooKeeper&中所包含的内容：[zk:&202.115.36.251:2181(CONNECTED)&1]&ls&/2&）创建一个新的&znode&，使用&create&/zk&myData&。这个命令创建了一个新的&znode&节点“&zk&”以及与它关联的字符串：[zk:&202.115.36.251:2181(CONNECTED)&2]&create&/zk&&myData&3&）我们运行&get&命令来确认&znode&是否包含我们所创建的字符串：[zk:&202.115.36.251:2181(CONNECTED)&3]&get&/zk4&）下面我们通过&set&命令来对&zk&所关联的字符串进行设置：[zk:&202.115.36.251:2181(CONNECTED)&4]&set&/zk&&zsl&5&）下面我们将刚才创建的&znode&删除：[zk:&202.115.36.251:2181(CONNECTED)&5]&delete&/zk&使用来访问&&& API访问才是客户端主要的使用手段，通过在客户端编写丰富多彩的程序，来达到对的利用。这里给出一个简单的例子：（深入的还没能力给出啊，例子是从网上找的很清晰明了）1.&import&java.io.IOE2.3.&import&org.apache.zookeeper.CreateM4.&import&org.apache.zookeeper.KeeperE5.&import&org.apache.zookeeper.W6.&import&org.apache.zookeeper.ZooDefs.I7.&import&org.apache.zookeeper.ZooK8.9.&public&class&demo&{10.&&&&&//&会话超时时间，设置为与系统默认时间一致11.&&&&&private&static&final&int&SESSION_TIMEOUT=30000;12.&&&&13.&&&&&//&创建&ZooKeeper&实例14.&&&&&ZooKeeper&15.&&&&16.&&&&&//&创建&Watcher&实例17.&&&&&Watcher&wh=new&Watcher(){18.&&&&&&&&&&&&public&void&process(org.apache.zookeeper.WatchedEvent&event)19.&&&&&&&&&&&&{20.&&&&&&&&&&&&&&&&&&&&System.out.println(event.toString());21.&&&&&&&&&&&&}22.&&&&&};23.&&&&24.&&&&&//&初始化&ZooKeeper&实例25.&&&&&private&void&createZKInstance()&throws&IOException26.&&&&&{&&&&&&&&&&&&&27.&&&&&&&&&&&&zk=new&ZooKeeper(&localhost:2181&,demo.SESSION_TIMEOUT,this.wh);28.&&&&&&&&&&&29.&&&&&}30.&&&&31.&&&&&private&void&ZKOperations()&throws&IOException,InterruptedException,KeeperException32.&&&&&{33.&&&&&&&&&&&&System.out.println(&\n1.&创建&ZooKeeper&节点&(znode&：&zoo2,&数据：&myData2&，权限：&OPEN_ACL_UNSAFE&，节点类型：&Persistent&);34.&&&&&&&&&&&&zk.create(&/zoo2&,&myData2&.getBytes(),&Ids.OPEN_ACL_UNSAFE,&CreateMode.PERSISTENT);35.&&&&&&&&&&&36.&&&&&&&&&&&&System.out.println(&\n2.&查看是否创建成功：&&);37.&&&&&&&&&&&&System.out.println(new&String(zk.getData(&/zoo2&,false,null)));38.&&&&&&&&&&&&&&&&&&&&&&&&&&&39.&&&&&&&&&&&&System.out.println(&\n3.&修改节点数据&&);40.&&&&&&&&&&&&zk.setData(&/zoo2&,&&shenlan211314&.getBytes(),&-1);41.&&&&&&&&&&&42.&&&&&&&&&&&&System.out.println(&\n4.&查看是否修改成功：&&);43.&&&&&&&&&&&&System.out.println(new&String(zk.getData(&/zoo2&,&false,&null)));44.&&&&&&&&&&&&&&&&&&&&&&&&&&&45.&&&&&&&&&&&&System.out.println(&\n5.&删除节点&&);46.&&&&&&&&&&&&zk.delete(&/zoo2&,&-1);47.&&&&&&&&&&&48.&&&&&&&&&&&&System.out.println(&\n6.&查看节点是否被删除：&&);49.&&&&&&&&&&&&System.out.println(&&节点状态：&[&+zk.exists(&/zoo2&,&false)+&]&);50.&&&&&}51.&&&&52.&&&&&private&void&ZKClose()&throws&&InterruptedException53.&&&&&{54.&&&&&&&&&&&&zk.close();55.&&&&&}56.&&&&57.&&&&&public&static&void&main(String[]&args)&throws&IOException,InterruptedException,KeeperException&{58.&&&&&&&&&&&&demo&dm=new&demo();59.&&&&&&&&&&&&dm.createZKInstance(&);60.&&&&&&&&&&&&dm.ZKOperations();61.&&&&&&&&&&&&dm.ZKClose();62.&&&&&}63.}
已学习课程数：9
已发表笔记数：149
例子场景描述：将tomcat的日志收集到指定的目录，tomcat 安装在/opt/tomcat,日志存放在var/log/dataagent1.sources = source1agent1.sinks = sink1agent1.channels = channel1&#Describe/configuresource1agent1.sources.source1.type= execagent1.mand= tail -n +0 -F /opt/tomc
1）RPC&&&1、在flume中，Avro客户端使用AVRO RPC机制可以发送一个给定的文件&Avro&源：&&&2、$bin/flume-ngavro-client-H localhost -p&41414&-F /usr/logs/log.10&&&3、上面的命令将发送的/ usr/logs/log.10的内容到 &flume源监听端2）Executing c
1）它是FlumeOG的重构版本，apache来开发管理。2）它变的很简单，Master、zookeeper、collector和WebUI没有了3）简化成了&&& 1、source（avro：很简单使用；exec：使用shell命令）&&& 2、sink（hdfs、file）&&& 3、channel(Memory、disk)
1）collector的作用是将多个agent的数据汇总后，加载到storage中。2）它的source和sink与agent类似。3）自带的数据源（source）&&&1、collectorSource：Collector source，监听端口汇聚数据&&&2、autoCollectorSource：通过master协调物理节点自动汇聚数据&&&3、logicalSource：逻辑source，由master分配
1)console ：直接将将数据显示在consolr上2)text(“txtfile”)：将数据写到文件txtfile中3)dfs(“dfsfile”)：将数据写到HDFS上的dfsfile文件中4)syslogTcp(“host”,port)：将数据通过TCP传递给host节点5)agentSink)]：等价于agentE2ESink，如果省略，machine参数，默认使用flume.collector.event.host与flume.collector.event.port作为默认collecot
1）Agent用于采集数据2）agent是flume中产生数据流的地方3）agent会将产生的数据流传输到collector4）flume自带的数据源(source)&&&&1、text(“filename”)：将文件filename作为数据源，按行发送&&&&2、tail(“filename”)：探测filename新产生的数据，按行发送出去&&&&3、fsyslogTcp(5140)
&1） Flume采用了分层架构：分别为agent，collector和storage。&&2） agent和collector均由两部分组成：source和sink， &&3） source是数据来源，sink是数据去向。&&4） storage用来存储&
　大数据视频监控构架带来的价值　　大数据视频架构是革命性的技术，特别在实时智能分析和数据挖掘方面，让视频监控从人工抽检，进步到高效事前预警、事后分析，
在HADOOP中，主要有三种调度器为：FifoScheduler、CapacityScheduler、FairScheduler。前两个调度器相对比较简单，阿里巴巴选择的是FairScheduler，这里主要讲述下FairScheduler的详细情况。 Scheduler处理的大致流程如图所示： 处理6个事件，下表是他们什么时候发生及会产生什么样的效果的一个列表，在设计的时候，只要一个没有考虑到就会出现问题，最严重的就是系统不可用。 当APPMaster申请资源是按照一定的请求模型来申请，首先，按照优先级
JobHistoryEventHandler既是一个service也是一个EventHandler，处理大约30个左右的事件（这些事件会在MRAppMaster的一些关键点产生）。JobHistoryEventHandler接受到事件后就push到阻塞队列，eventHandlingThread线程会从阻塞队列中获取事件，调用handleEvent()处理，主要有四步骤： ? setupEventWriter初始化路径，向hdfs写jobFile.xml文件 ? 事件所带的信息写入到hdfs的xxx.jh
o什么是Zookeeper& ZK是一个高效的分布式协调服务，它暴露了一些公用服务，比如命名/配置管理/同步控制/群组服务等。我们可以使用ZK来实现比如达成共识/集团管理/leader选举等。oZookeeper server组成& ZK server根据其身份特性分为三种：leader，Follower，Observer，其中Follower和Observer又统称Learner（学习者）。&&& Leader：负责客户端的writer类型请求
zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的&The Chubby lock service for loosely-coupled distributed systems&论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。&
zookeeper安装和使用 zookeeper的安装基本上可以按照 http://hadoop.apache.
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文简单分析zookeeper的工作原理，对于如何使用zookeeper不是本文讨论的重
分布式环境中大多数服务是允许部分失败，也允许数据不一致，但有些最基础的服务是需要高可靠性，高一致性的，这些服务是其他分布式服务运转的基础，比如naming service、分布式lock等，这些分布式的基础服务有以下要求：高可用性高一致性高性能对于这种有些挑战CAP原则的服务该如何设计，是一个挑战，也是一个不错的研究课题，Apache的ZooKeeper也许给了我们一个不错的答案。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它暴露了一个简单的原语集，分布式应用程序可以基于它实现同步
1 概述 & --------------------------------------------------------------------------------Zookeeper分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在于通过分布式ZooKeeper集群（一个Lead
Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。
1.最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。2 .可靠性：具有简单、健壮、良好的性能，如果消息m被到一台服务器接受，那么它将被所有的服务器接受。3 .实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。4 .等待无关（wait-free）：慢的或者失
当leader崩溃或者leader失去大多数的follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的leader，让所有的Server都恢复到一个正确的状态。Zk的选举算法有两种：一种是基于basic paxos实现的，另外一种是基于fast paxos算法实现的。系统默认的选举算法为fast paxos。先介绍basic paxos流程：1 .选举线程由当前Server发起选举的线程担任，其主要功能是对投票结果进行统计，并选出推荐的Server；2 .选举线程首先向所有Server发起
1、index 创建的时候一定要计算好shard，因为主分片一经确认是不能修改的，每一个分片上面独立运行着一个lucene程序；因此设置主分片的时候尽量考虑未来发展需求，如果当前有1G数据，使用默认分片5个，每一个主分片数据相当于200M数据（hash(ID)%max_shards进行数据分片存储的），但是随着时间推移如果3个月后数据变成100G了，但是主分片还是5个，每一个上面就是20G的数据，会大大降低处理性能；（2.3.1版本增加了对index的动态迁移能力，也许可以快速的处理这一问题）。2、字段的
&&&&动力节点Java培训　　下面给出的Java开发中ClassLoader中的描述，哪些描述是正确的（C）&AClassLoader没有层次关系&B所有类中的ClassLoader都是AppClassLoader&C通过classforname(StringclassName)能够动态加载一个类&D不同的ClassLoader加载同一个Class文件，所得的类是相同的&　　拓展知识ClassLoader知识
动力节点Java培训　　面试题：Java是如何管理内存的？&　　答案：Java的内存管理就是对象的分配和释放问题。在Java中，Java程序员需要通过关键字new为每个对象申请内存空间，所有的对象在堆中分配空间。另外，对象的释放是有GC决定和执行的。在Java中，内存的分配是由程序完成的。而内存的释放室友GC完成的，这种收支两条线的方法确实简化了程序员的工作。但同时，它也加重了JVM的工作。这也是Java程序运行速度较慢的原因之一。因为GC为了能够正确释放对象，必须监控每一个对象的运行状态，包括
&&&&动力节点Java培训　　面试题&Whichofthefollowingwillcompilecorrectly?(D)&Ashortmyshort=99S&Bintt=”abc”.length()&Cfloatz=1.0&Dcharc=17c&　　解析：shortmyshort=99S这句要执行自动装箱，调用shortvalue方法，显然99S无法得到值。&　　将floatz=1.0；改为
&动力节点Java培训　　面试题：Java中的垃圾收集器相对于以前的语言优势是什么？&　　答案：过去的语言（如C语言）要求程序员显示的分配内存、释放内存。程序在需要时分配内存，不需要时释放内存。但是这种做法常常引起“内存泄露”，即由于某种原因使分配的内存始终没有得到释放。如果该任务不断重复，程序最终会耗尽内存并异常终止，至少无法继续运行。相比之下，Java开发不要求程序员显示的分配地分配内存和释放内存，避免了很多潜在问题。Java在创建对象时会自动分配内存，并当该对象的引用不存在时释放
动力节点Java培训&　　面试题：下面哪一项说法是正确的？&A：在一个子类中，一个方法不是public的就不能被重载&B：覆盖一个方法只需要满足相同的方法名和参数类型就可以了&C：覆盖一个必须要有相同的方法名参数和返回类型&D：一个覆盖的方法必须有相同的方法名、参数名和参数类型&　　答案：C&　　问题解析：对于在同一个访问区被声明的几个具有不同参数列的同名函数，程序会根据不同的参数列来确定具体调用哪个函数，这种机制叫重载，重载不关心函数
&——动力节点java&　　面试题：下面哪个选项的说法是正确的？&A：构造函数不能被重载&B：构造函数不能被覆盖&C：一个构造函数可以返回一个私有的或一个对象的引用&D：构造函数代码执行时是从当前的类层级到它祖先的类&　　答案：B&　　问题解析：重载构造函数是一个主要的技术，可以允许多种方式初始化一个类。通过定义，构造函数是没有返回值的。所以选项C是错误的，这种说法并没有任何意义。选项D中构造函数代码的执行是从它最老的祖先类开
&——动力节点java&　　面试题&　　什么是reflection？其他语言有这种特点吗？&　　答案：Java中的反射是一种强大的工具，它能够创建灵活的代码，这些代码可以在运行时装配，无需在组件之间进行链接。反射允许在编写与执行时，使程序代码能够接入装载到JVM中的类的内部信息，而不是源代码中选定的类协作的代码。这使反射成为构建灵活应用的主要工具。需要注意的是，如果使用不当，发射的成本会很高。&Java中的类发射reflection是Java程序开发语言的
动力节点Java培训　　现如今的计算机专业绝大多数的学生是零基础，毕业之际，有的成了大神，有的还是零基础，所以零基础的同学只有找对方向，才能成功，下面就动力节点的Java老师分享一下多年的教学经验，让你从零基础Java小白变成人人羡慕的Java大神。&1.学会写程序&　　程序就是，将自己的思考用程序表现出来。比如复杂的小工具、大数计算器等。这个过程中你逐渐了解数组、指针、内存布局、函数，了解递归、栈、链表，然后学习基本的数据结构。之后再写程序，你需要考虑代码的优雅、简单、时间空间效率高
Storm单机+zookeeper集群安装
1、安装zookeeper集群
2、准备机器
10.10.3.44 flumemaster1
10.10.3.129 flumemaster2
10.10.3.132 flumecollector1
10.10.3.115 flumeNg1
3、配置hosts文件(4台服务器上面都需要配置)
vi /etc/hosts
需求：将mysql中的表b05_age的数据导入hive中
yum install sqoop（sqoop必须安装在有hive client的服务器上面，如果没有执行yum install hive）
复制mysql的驱动jar到/usr/lib/sqoop/lib下面
2、异常处理
正确命令:（将关系型数据的表结构复制到hive中）
sudo -u hive sqoop create-hive-table --connect jdbc:my
准备机器：
192.168.1.241
192.168.1.242
192.168.1.243
1、查看ip地址是否为静态ip，如果不是进行配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none
IPADDR=192.168.1.241
1. 我用的Oracle 客户端最好的工具是PL/SQL Developer, 当然，如果用免费的Toad也不错，感觉现在用Toad的人还是挺多的。
2. Oracle SQL如果想提高速度有几个方式
1）创建索引，尽量建立唯一索引
2）当要创建的索引列的值取值比较小，建议创建Bitmap的索引而不是默认的Btree的。（比如性别，学历等）
3）在where条件后尽量采用数字类型的字段，比varchar的速度快
4）尽量不用用IN,Not In,union这样的条件查
1. 通过freemarker静态化
2. 通过jsp filter静态化
主要思路：请求servlet-&判断静态文件是否存在并且静态文件创建时间是否在阀值之内--&如果不是，则访问数据库生成静态文件-&否则直接跳转静态文件
然后通过urlReWrite直接将访问servlet的请求改为html,完成seo
最后通过SQUID缓存前台数据
一、从数据库中取相应数据并替换掉模板中的对应标签，下面是一个简单的示例
java.io.IOE
java.io.InputS
java.io.OutputS
java.io.OutputStreamW
java.io.PrintW
java.net.InetSocketA
java.util.L
java.util.M
服务器优化说明
WEB服务器优化
更换tomcat5为tomcat6
版本copy测试服务版本即可
加大tomcat内存
修改bin下的catalina.sh文件,增加青绿色部分
JAVA_OPTS='-Xms768m -Xmx1648m -XX:MaxPermSize=512m'
加大tomcat连接数
修改conf下的server.xml文件，修改青绿色部分参数值
s.username,
decode(l.type,'tm','table lock','tx','row lock',null) lock_level,
o.object_name,
o.object_type,
s.serial#,
s.terminal,
s.machine,
s.program,
from v$session s,v$lock l,dba_objects o
where l.sid = s.s
一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝的文章的，这里要谢谢罗宝兄弟，还有写这篇文章@晨色星空J2EE也给了我很大帮助，这里也谢谢@晨色星空J2EE之前在弄这个的时候，跟群里的一些人讨论过，有的人说，直接用storm不就可以做实时处理了，用不着那么麻烦；其实不然，做软件开发的都知道模块化
1. Storm介绍2. Storm环境配置3. Storm程序流程4. Storm总结及问题1. Storm介绍 1.1&实时流计算背景 随着互联网的更进一步发展，信息浏览、搜索、关系交互传递型，以及电子商务、互联网旅游生活产品等将生活中的流通环节在线化。对于实时性的要求进一步提升，而信息的交互和沟通正在从点对点往信息链甚至信息网的方向发展，这样必然带来数据在各个维度的交叉关联，数据爆炸已不可避免。因此流式处理和NoSQL产品应运而生，分别解决实时框架和数据大 规模存储计算的问题。 流式处理可}