hadoop节点类型支不支持long类型

在hadoop节点类型的HDFS启动的时候,不知道夶家有没有注意到一个细节,一般都是先启动NameNode,然后再启动DataNode,细想一下,原因就很简单了,因为NameNode要维护元数据信息,而这些信息都是要等待后续启动的DataNode嘚情况汇报才能逐步构建的.然后之后通过保持心跳的形式进行block块映射关系的维护与更新.而今天的文章就以此方面,对这块流程做全面的分析.

依旧需要介绍一下相关的涉及类,首先要有一个大概的了解.下面是主要的类:

//进行返回命令的处理如果没有成功不进行后续block块上报工作

首先先观察前部分代码,可以看到这是一个循环,而且是周期性的发送消息然后调用namenode的方法进行心跳信息发送,然后接收DatanodeCommand回复命令然后洅本节点执行。然后跟踪一下里面namenode的方法

//移除此节点的信息,此方法会调用headtbeat的移除nodeinfo操作

心跳故障处理检测完毕这种故障处理检测的思想或许对于我们日后自己动手设计大型分布式系统可能会有所启发。

全部代码的分析请点击链接,后续将会继续更新HDFS其他方面的代码分析

《hadoop节点类型技术内部–HDFS结构设计与实现原理》.蔡斌等


}

我要回帖

更多关于 hadoop节点类型 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信