hadoop集群设置的hadoop集群 heap size是根据集群中的每一台机子配置而在那台机子上设置适合它的值吗?

该环境变量是对hdfs所有守护进程都苼效的即datanode的内存也会被置为1024m

你对这个回答的评价是?

}

1. 下面哪个程序负责 HDFS 数据存储

3. 下列哪个程序通常与 NameNode 在一个节点启动?

6. 下列哪项通常是集群的最主要瓶颈

8. 下列哪项可以作为集群的管理工具

9. 配置机架感知的下面哪项正确

a)如果一个机架出问题不会影响数据读写
b)写入数据的时候会写到不同机架的 DataNode 中
c)MapReduce 会根据机架获取离自己比较近的网络数据

10. Client 端上传文件的时候下列哪项正确

13. Ganglia 不仅可以进行监控,也可以进行告警( )

23. hadoop集群 自身具有严格的权限管理和安全措施保障集群正常运行。( )

24. Slave 节点要存储数据所以它的磁盘越大越好。( )

27. 集群内每个节点都应该配 RAID这样避免单磁盘损坏,影响整个节点运行( )

28. 因为 HDFS 有多个副本,所以 NameNode 是不存茬单点问题的( )

29. 每个 map 槽就是一个线程。( )

别走开答案在后面哦!

3. 下列哪个程序通常与 NameNode 在一个节点启动?答案D

NameNode(运行在单独的物理機器上)和NameNode运行在不同的机器上

2、JobTracker是一个master服务,软件启动之后JobTracker接收Job负责调度Job的每一个子任务task运行于TaskTracker上,并监控它们如果发现有失败嘚task就重新运行它。一般情况应该把JobTracker部署在单独的机器上

(因为版本更换较快,这里答案只供参考)

6. 下列哪项通常是集群的最主要瓶颈:答案:C磁盘

首先集群的目的是为了节省成本用廉价的pc机,取代小型机及大型机小型机和大型机有什么特点?

所以集群的瓶颈不可能是a和d

3.网絡是一种稀缺资源但是并不是瓶颈。

4.由于大数据面临海量数据读写数据都需要io,然后还要冗余数据hadoop集群一般备3份数据,所以IO就会打折扣

8. 下列哪项可以作为集群的管理?答案:ABD

9. 配置机架感知的下面哪项正确:答案ABC

a)如果一个机架出问题不会影响数据读写

b)写入数据的时候会写到不同机架的 DataNode 中c)MapReduce 会根据机架获取离自己比较近的网络数据 10. Client 端上传文件的时候下列哪项正确?答案B

NameNode根据文件大小和文件块配置情况返回给Client它所管理部分DataNode的信息。

Client将文件划分为多个Block根据DataNode的地址信息,按顺序写入到每一个DataNode块中

13. Ganglia 不仅可以进行监控,也可以进行告警( 囸确)

分析:此题的目的是考Ganglia的了解。严格意义上来讲是正确ganglia作为一款最常用的Linux环境中的监控软件,它擅长的的是从节点中按照用户的需求以较低的代价采集数据但是ganglia在预警以及发生事件后通知用户上并不擅长。最新的ganglia已经有了部分这方面的功能但是更擅长做警告的還有Nagios。Nagios就是一款精于预警、通知的软件。通过将Ganglia和Nagios组合起来把Ganglia采集的数据作为Nagios的数据源,然后利用Nagios来发送预警通知可以完美的实现┅整套监控管理的系统。

分析:Nagios是集群监控工具而且是云计算三大利器之一

分析:SecondaryNameNode是帮助恢复,而不是替代如何恢复,可以查看

分析:rhadoop集群是用R语言开发的MapReduce是一个框架,可以理解是一种思想可以使用其他语言开发。

19. hadoop集群 支持数据的随机读写(错 )

分析:lucene是支持随機读写的,而hdfs只支持随机读但是HBase可以来补救。HBase提供随机读写来解决hadoop集群不能处理的问题。HBase自底层设计开始即聚焦于各种可伸缩性问题:表可以很“高”有数十亿个数据行;也可以很“宽”,有数百万个列;水平分区并在上千个普通商用机节点上自动复制表的模式是粅理存储的直接反映,使系统有可能提高高效的数据结构的序列化、存储和检索

NameNode 不需要从磁盘读取 metadata,所有数据都在内存中硬盘上的只昰序列化的结果,只有每次 namenode 启动的时候才会读取
NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息
Client将文件划分为多个Block,根據DataNode的地址信息按顺序写入到每一个DataNode块中。

21. NameNode 本地磁盘保存了 Block 的位置信息( 个人认为正确,欢迎提出其它意见)

分析:DataNode是文件存储的基本單元它将Block存储在本地文件系统中,保存了Block的Meta-data同时周期性地将所有存在的Block信息发送给NameNode。NameNode返回文件存储的DataNode的信息
Client读取文件信息。

这个有汾歧:具体正在找这方面的有利资料下面提供资料可参考。

Client方与Server方先建立通讯连接连接建立后不断开,然后再进行报文发送和接收這种方式下由于通讯连接一直存在,此种方式常用于点对点通讯

Client方与Server每进行一次报文收发交易时才进行通讯连接,交易完毕后立即断开連接此种方式常用于一点对多点通讯,比如多个Client连接一个Server.

23. hadoop集群 自身具有严格的权限管理和安全措施保障集群正常运行(错误 )

hadoop集群只能阻止好人犯错,但是不能阻止坏人干坏事

24. Slave 节点要存储数据所以它的磁盘越大越好。( 错误)

分析:一旦Slave节点宕机数据恢复是一个难題

27. 集群内每个节点都应该配 RAID,这样避免单磁盘损坏影响整个节点运行。(错误 )

分析:首先明白什么是RAID可以参考百科磁盘阵列。这句話错误的地方在于太绝对具体情况具体分析。题目不是重点知识才是最重要的。因为hadoop集群本身就具有冗余能力所以如果不是很严格鈈需要都配备RAID。具体参考第二题

28. 因为 HDFS 有多个副本,所以 NameNode 是不存在单点问题的(错误 )

29. 每个 map 槽就是一个线程。(错误 )

添加了一个新的標识符ClusterID用于标识集群中所有的节点当格式化一个Namenode,需要提供这个标识符或者自动生成这个ID可以被用来格式化加入集群的其他Namenode。

有的同學问题的重点不是上面分析内容:内容如下:


}

1.说说你对集群配置的认识2.集群配置的配置项你了解多少?3.下面内容让你对集群的配置有了什么新的认识


这个文档描述了如何安装配置hadoop集群集群,从几个节点到上千节點为了学习hadoop集群,你可能先从单节点入手 (查看 Single Node Setup).这里有中文版

这个文档不包括:hadoop集群在安全模式下配置和HA【高可用配置】后面在更新


我們看了很多集群配置文档,你是否静下心来想集群配置到底是怎么一回事。

安装安装hadoop集群集群包括:解压包配置hadoop集群,划分主节点和孓节点

配置hadoop集群【非安全模式】hadoop集群配置文件被分为两类:

1.只读默认配置,有下列配置文件

2.定制配置有下列配置文件

配置hadoop集群集群需偠配置环境变量,hadoop集群守护进程执行以及hadoop集群守护进程的配置参数如果没有配置过集群,可能对这个了解不多具体参考

如果运行MapReduce , MapReduce Job History Server也會运行前提需要配置并开启。对于比较大的集群安装他们分别运行在不同的客户端。


至少需要需要指定JAVA_HOME 每个节点都必须指定。

管理員可以配置单独的守护进程使用下面的选项。

其它可定义的有用参数包括

  • hadoop集群_LOG_DIR - 存储守护进程日志文件目录. 日志文件自动创建如果不存在


在大多数情况下,应该指定hadoop集群_PID_DIR 和 hadoop集群_LOG_DIR他们由用户运行hadoop集群守护进程所写,否则可能是潜在攻击

配置hadoop集群守护进程本节涉及在给定嘚配置文件中指定的重要参数:



本地文件系统存储着命令空间和操作日志

如果含有多个目录,是冗余的【多个目录以逗号隔开】

如何需要使用这一功能来控制datanode的访问

存储blocks的本地路径列表用逗号隔开

这是一个逗号分隔的目录列表, 数据将被存储在所有被命名的目录中,通常在鈈同的设备上

是否启用ACLs,默认为false不启用

admin.acl设置YARN的集群管理员,. 值为*表示任何人都可以. 仅指定的可以访问

ResourceManager 对管理员暴露的访问地址管理员通過该地址向RM发送管理命令等

单个container可申请的最小内存资源量。比如设置为1024则运行MapRedce作业时,每个Task最少可申请1024MB内存

单个container可申请的最大内存资源量比如设置为3072,则运行MapRedce作业时每个Task最多可申请3072MB内存。

NodeManager黑白名单如果发现若干个NodeManager存在问题,比如故障率很高任务运行失败率高,则鈳以将之加入黑名单中注意,这两个配置参数可以动态生效(调用一个refresh命令即可)

每使用1MB物理内存,最多可用的虚拟内存数

每个任務的虚拟内存的使用可能会超过其物理内存的限制,这个比例通过对nodemanager任务使用的虚拟内存总量可能超过物理内存使用的比率。

这个参数通常会配置多个目录分摊磁盘IO负载。

这个参数通常会配置多个目录分摊磁盘IO负载。

NodeManager上日志最多存放时间(不启用日志聚集功能时有效)

当应用程序运行结束后,日志被转移到的HDFS目录(启用日志聚集功能时有效)

远程日志目录子目录名称(启用日志聚集功能时有效)。

参数解释:在HDFS上聚集的日志最多保存多长时间

参数解释:多长时间检查一次日志,并将满足条件的删除如果是0或者负数,则为上一個值的1/10


说明:这两个参主要是为需要运行JVM程序(java、scala等)准备的,通过这两个设置可以向JVM中传递参数的与内存有关的是,-Xmx-Xms等选项。此數值大小应该在AM中的map.mb和reduce.mb之间。

任务内部排序缓冲区大小

排序文件的时候一次同时最多可并流的个数这里设置100。

MapReduce作业产生的日志存放位置

相关内容 hadoop集群2.X使用手册1:通过web端口查看主节点、slave1节点及集群运行状态


}

我要回帖

更多关于 hadoop集群 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信