impala基于CDH,提供针对HDFS,hbase的实时查询，查询语句类似于hive包括几个组件Clients:提供Hue, ODBC clients, JDBC clients, and the Impala 与impala交互查询Hive Metastore:保存数据的元数据，让impala知道数据的结构等信息Cloudera Impala：协调查询在每个datanode上，分发并行查询任务，并将查询返回HBase and HDFS：数据环境hadoop-2.0.0-cdh4.1.2hive-0.9.0-cdh4.1.2impala利用安装增加yum库[cloudera-impala]name=Impalabaseurl=/impala/redhat/5/x86_64/impala/1/gpgkey = /impala/redhat/5/x86_64/impala/RPM-GPG-KEY-clouderagpgcheck = 1加至/etc/yum.repos.d目录下注意cdh与hive及impala需要版本匹配，具体去impala官网去查一下需要内存比较大,需要64位机器（推荐有点忘了是否支持32位），支持的版本也有要求/content/cloudera-content/cloudera-docs/Impala/latest/PDF/Installing-and-Using-Impala.pdf安装CDH4/cdh4/cdh/4/cdh与hive都可以在这找到三台机器master安装 namenode,secondnamenode,ResourceManager, impala-state-store,impala-,hiveslave1安装 datanode,nodemanager,impala-server, impala-shellslave2安装 &datanode,nodemanager,impala-server, impala-shellhadoop在master机器上配置$HADOOP_HOME/etc/hadoop中的core-site.xml增加&property&&&name&io.native.lib.available&/name&&&value&true&/value&&/property&&property&&&name&fs.default.name&/name&&&value&hdfs://master:9000&/value&&&description&The name of the default file .Either theliteral string &local& or a host:port
NDFS.&/description&&&final&true&/final&&/property&$HADOOP_HOME/etc/hadoop中的hdfs-site.xml增加&property&&&name&dfs.namenode.name.dir&/name&&&value&file:/home/hadoop/cloudera/hadoop/dfs/name&/value&&&description&Determines where on the local filesystem the DFS namenode should store the name table.If this is a comma-delimited list ofdirectories,then name table is replicated in all of the directories,forredundancy.&/description&&&final&true&/final&&/property&&property&&&name&dfs.datanode.data.dir&/name&&&value&file:/home/hadoop/cloudera/hadoop/dfs/data&/value&&&description&Determines where on the local filesystem an DFS datanode should store its blocks.If this is a comma-delimited list ofdirectories,then data will be stored in all named directories,typically ondifferent devices.Directories that do not exist are ignored.& &/description&&&final&true&/final&&/property&&property&& & &name&dfs.http.address&/name&& & &value&fca-vm-arch-proxy1:50070&/value&&/property&&property&&&name&dfs.replication&/name&&&value&2&/value&&/property&&property&& &&name&dfs.secondary.http.address&/name&& &&value&fca-vm-arch-proxy1:50090&/value&&&/property&&property&&&name&dfs.permission&/name&&&value&false&/value&&/property&$HADOOP_HOME/etc/hadoop中的mapred-site.xml增加&property&&&name&mapreduce.framework.name&/name&&&value&yarn&/value&&/property&&property&&&name&mapreduce.job.tracker&/name&&&value&hdfs://fca-vm-arch-proxy1:9001&/value&&&final&true&/final&&/property&&property&&&name&mapreduce.map.memory.mb&/name&&&value&1536&/value&&/property&&property&&&name&mapreduce.map..opts&/name&&&value&-Xmx1024M&/value&&/property&&property&&&name&mapreduce.reduce.memory.mb&/name&&&value&3072&/value&&/property&&property&&&name&mapreduce.reduce.java.opts&/name&&&value&-Xmx2560M&/value&&/property&&property&&&name&mapreduce.task.io.sort.mb&/name&&&value&512&/value&&/property&&property&&&name&mapreduce.task.io.sort.factor&/name&&&value&100&/value&&/property&&property&&&name&mapreduce.reduce.shuffle.parallelcopies&/name&&&value&50&/value&&/property&$HADOOP_HOME/etc/hadoop/hadoop-env.sh增加export JAVA_HOME=/jdk1.6.0_22系统环境变量$HOME/._profile增加export JAVA_HOME=/jdk1.6.0_22export JAVA_BIN=${JAVA_HOME}/export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport HADOOP_HOME=/home/hadoop/cloudera/hadoop-2.0.0-cdh4.1.2export HADOOP_MAPRED_HOME=${HADOOP_HOME}export HADOOP_COMMON_HOME=${HADOOP_HOME}export HADOOP_HDFS_HOME=${HADOOP_HOME}export HADOOP_YARN_HOME=${HADOOP_HOME}export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/binexport JAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTSexport HADOOP_LIB=${HADOOP_HOME}/libexport HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoopsource $HOME/.bash_profile使变量生效yarn配置$HADOOP_HOME/etc/hadoop/yarn-site.xml中增加&property&&&name&yarn.resourcemanager.address&/name&&&value&fca-vm-arch-proxy1:9002&/value&&/property&&property&&&name&yarn.resourcemanager.scheduler.address&/name&&&value&fca-vm-arch-proxy1:9003&/value&&/property&&property&&&name&yarn.resourcemanager.resource-tracker.address&/name&&&value&fca-vm-arch-proxy1:9004&/value&&/property&&property&&&name&yarn.nodemanager.aux-services&/name&&&value&mapreduce.shuffle&/value&&/property&&property&&&name&yarn.nodemanager.aux-services.mapreduce.shuffle.class&/name&&&value&org..hadoop.mapred.ShuffleHandler&/value&&/property&$HADOOP_HOME/etc/hadoop/slaves增加slave1slave2将master上的CDH目录及.bash_profile拷贝到slave1,slave2，并配置环境变量，并且配置好ssh无密码登陆，网上很多不详细说了启动hdfs和yarn以上步骤都执行完成后，用hadoop用户登录到master机器依次执行：hdfs namenode -formatstart-dfs.shstart-yarn.sh通过jps命令查看：master成功启动了NameNode、ResourceManager、SecondaryNameNode进程；slave1,slave2成功启动了DataNode、NodeManager进程。hive安装hive只需要在master上安装因为impala-state-store需要hive读取元数据，hive又依赖于关系统型（)所以安装下载hive/cdh4/cdh/4/解压缩hive$HOME/.bash_profile增加export HIVE_HOME=/home/hadoop/hive-0.9.0-cdh4.1.2export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/binexport HIVE_CONF_DIR=$HIVE_HOME/confexport HIVE_LIB=$HIVE_HOME/libsource $HOME/.bash_profile使环境变量生效在hive/lib目录下加入mysql-connector-java-5.1.8.jar$HIVE_HOME/conf/hive.site.xml增加&property&& &name&hive.metastore.uris&/name&& &value&thrift://master:9083&/value&& &description&Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.&/description&&/property&&property&&name&hive.metastore.local&/name&&value&false&/value&&/property&&property&& &name&javax.jdo.option.ConnectionURL&/name&& &value&jdbc:mysql://master:3306/hive?createIfNoExist=true&/value&& &description&JDBC connect string for a JDBC metastore&/description&&/property&&property&& &name&javax.jdo.option.ConnectionDriverName&/name&& &value&com.mysql.jdbc.Driver&/value&& &description&Driver class name for a JDBC metastore&/description&&/property&&property&& &name&javax.jdo.option.ConnectionUserName&/name&& &value&&/value&& &description&username to use against metastore database&/description&&/property&&property&& &name&javax.jdo.option.ConnectionPassword&/name&& &value&password&/value&& &description&password to use against metastore database&/description&&/property&&property&& &name&hive.security.authorization.enabled&/name&& &value&false&/value&& &description&enable or disable the hive client authorization&/description&&/property&&property&& &name&hive.security.authorization.createtable.owner.grants&/name&& &value&ALL&/value&& &description&the privileges automatically granted to the owner whenever a table gets created.& &An example like &select,drop& will grant select and drop privilege to the owner of the table&/description&&/property&&property&&name&hive.querylog.location&/name&&value&${user.home}/hive-logs/querylog&/value&&/property&由于hive metstore我们是安装在远程节点上的所以hive.metastore.local是falsehive.metastore.uris设置远程连接metstore验证成功状态完成以上步骤之后，验证hive安装是否成功在master命令行执行hive，并输入””，出现以下提示，说明hive安装成功：&hivehive&okTime taken: 18.952 secondsimpala安装master上安装 impala-state-storesudo yum install impala-state-storemaster上安装 impala-shellsudo yum install impala-shell配置impala修改/etc/default/impalaIMPALA_STATE_STORE_HOST=192.168.200.114IMPALA_STATE_STORE_PORT=24000IMPALA_BACKEND_PORT=22000IMPALA_LOG_DIR=/var/log/impalaIMPALA_STATE_STORE_ARGS=& -log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPALA_STATE_STORE_PORT}&IMPALA_SERVER_ARGS=& \& & -log_dir=${IMPALA_LOG_DIR} \& & -state_store_port=${IMPALA_STATE_STORE_PORT} \& & -use_statestore \& & -state_store_host=${IMPALA_STATE_STORE_HOST} \& & -be_port=${IMPALA_BACKEND_PORT}&ENABLE_CORE_DUMPS=false&LIBHDFS_OPTS=-Djava.library.path=/usr/lib/impala/lib&MYSQL_CONNECTOR_JAR=/home/hadoop/cloudera/hive/hive-0.9.0-cdh4.1.2/lib/mysql-connector-java-5.1.8.jar&IMPALA_BIN=/usr/lib/impala/sbin&IMPALA_HOME=/usr/lib/impala&HIVE_HOME=/home/hadoop/cloudera/hive/hive-0.9.0-cdh4.1.2# HBASE_HOME=/usr/lib/hbase&IMPALA_CONF_DIR=/usr/lib/impala/conf&HADOOP_CONF_DIR=/usr/lib/impala/conf&HIVE_CONF_DIR=/usr/lib/impala/conf# HBASE_CONF_DIR=/etc/impala/conf拷贝hadoop的core-site.xml,hdfs-site.xml，hive的hive-site.xml到/usr/lib/impala/conf中core-site.xml增加&property&& &&name&dfs.client.read.shortcircuit&/name&& &&value&true&/value&&/property&&property&&name&dfs.client.read.shortcircuit.skip.checksum&/name&&value&false&/value&&/property&hdfs-site.xml增加,hadoop的hdfs-site.xml也增加&property&& &&name&dfs.datanode.hdfs-blocks-metadata.enabled&/name&& &&value&true&/value&&/property&&property&& &&name&dfs.datanode.data.dir.perm&/name&& &&value&750&/value&&/property&&property&& &&name&dfs.block.local-path-access.user&/name&& &&value&hadoop&/value&&/property&&property&& &name&dfs.client.read.shortcircuit&/name&& &value&true&/value&&/property&&property&& & &name&dfs.client.file-block-storage-locations.timeout&/name&& & &value&3000&/value&&/property&&property&&name&dfs.client.use.legacy.blockreader.local&/name&&value&true&/value&&/property&拷贝mysql-connector-java-5.1.8.jar到/usr/lib/impala/lib下拷贝mysql-connector-java-5.1.8.jar到/var/lib/impala下拷贝/usr/lib/impala/lib/*.so*到$HADOOP_HOME/lib/native/slave1,slave2上安装sudo yum install impalasudo yum install impala-serversudo yum install impala-shellmaster上的hive-site.xml,core-site.xml,hdfs-site.xml拷贝到slaver1,slaver2上，jar的拷贝与master一致启动hive metastore在master上执行hive --service metastore启动impala statestore在master上执行statestored -log_dir=/var/log/impala -state_store_port=24000在slave1,slave2上启动impaladsudo /etc/init.d/impala-server startimpala查看/var/log/是否成功 statestored.ERROR查看错误注意先要在master启动hive metastore,impala statesored,再在slave1,slave2启动impalad-server测试是否成功master上执行impala-shell[Not connected] &connect slave1;[slave1:21000] &Query: use hive[slave1:21000] &ok没有错误说成功如果在slave1上插入数据需要在slave2上refresh 表名才能同步数据，而不是网上说的refresh,后面必须加表名。如果不是shell执行操作，应该可以同步数据，没测试过。注意事项impala在插入数据时可以会出错hdfsOpenFile(hdfs://fmaster:9000/user/hive/warehouse/test/.7453036......是权限问题，因为我们是用sudo (root用户)启动的impala但是test表hadoop用户有增删改查的权限，但是root没有解决方法hdfs dfs -chmod -R 777 /user/hive/warehouse/test
无相关信息博客访问： 3864
博文数量： 1
注册时间：
ITPUB论坛APP
ITPUB论坛APP
APP发帖 享双倍积分
IT168企业级官微
微信号：IT168qiye
系统架构师大会
微信号：SACC2013
分类： Hadoop
Cloudera Manager
Hadoop CDH4Cloudera Managercloudera-manager-installer.binClouderaCloudera ManagerrpmCloudera Manager
ManagerCloudera HadoopWebCloudera Hadoop
Manager1.Cloudera Managerrpm
2.ClouderaIPCloudera
└─redhat
│& └─x86_64
│&&&&&&&&&
cloudera-manager.repo
│&&&&&&&&&
RPM-GPG-KEY-cloudera
│&&&&&&&&&
│&&&&&&&&&
│&&&&&&&&&&&&&
├─repodata
│&&&&&&&&&&&&&
│ &&&&&filelists.xml.gz
│&&&&&&&&&&&&&
other.xml.gz
│&&&&&&&&&&&&&
primary.xml.gz
│&&&&&&&&&&&&&
repomd.xml
│&&&&&&&&&&&&&
│&&&&&&&&&&&&&
│&&&&&&&&&&&&&&&&&
└─x86_64
│&&&&&&&&&&&&&&&&&&&&&&&&&
cloudera-manager-agent-4.7.2-1.cm472.p0.135.el5.x86_64.rpm
│&&&&&&&&&&&&&&&&&&&&&&&&&
cloudera-manager-daemons-4.7.2-1.cm472.p0.135.el5.x86_64.rpm
│&&&&&&&&&&&&&&&&&&&&&&&&&
cloudera-manager-server-4.7.2-1.cm472.p0.135.el5.x86_64.rpm
│&&&&&&&&
&&&&&&&&&&&&&&&&&cloudera-manager-server-db-4.7.2-1.cm472.p0.135.el5.x86_64.rpm
│&&&&&&&&&&&&&&&&&&&&&&&&&
enterprise-debuginfo-4.7.2-1.cm472.p0.135.el5.x86_64.rpm
│&&&&&&&&&&&&&&&&&&&&&&&&&
jdk-6u31-linux-amd64.rpm&&&
└─x86_64
& &&&&&&&&&&└─cm
&&&&&&&&&&&&│&
cloudera-manager.repo
&&&&&&&&&&&&│&
RPM-GPG-KEY-cloudera
&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&
├─repodata
&&&&&&&&&&&&&&&&&
filelists.xml.gz
&&&&&&&&&&&&&&&&&
filelists.xml.gz.asc
&&&&&&&&&&&&&&&&&
&&other.xml.gz
&&&&&&&&&&&&&&&&&
other.xml.gz.asc
&&&&&&&&&&&&&&&&&
primary.xml.gz
&&&&&&&&&&&&&&&&&
primary.xml.gz.asc
&&&&&&&&&&&&&&&&&
repomd.xml
&&&&&&&&&&&&&&&&&
repomd.xml.asc
&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&
├─noarch
&&&&&&&&&&&&&&&&&&&&&
└─x86_64
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
cloudera-manager-agent-4.7.1-1.cm471.p0.125.el6.x86_64.rpm
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
cloudera-manager-daemons-4.7.1-1.cm471.p0.125.el6.x86_64.rpm
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
cloudera-manager-server-4.7.1-1.cm471.p0.125.el6.x86_64.rpm
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
cloudera-manager-server-db-4.7.1-1.cm471.p0.125.el6.x86_64.rpm
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
enterprise-debuginfo-4.7.1-1.cm471.p0.125.el6.x86_64.rpm
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
jdk-6u31-linux-amd64.rpm
htttpapache httpdhttpapache httpd
/var/www/htmlhostsIPhosts&
192.168.1.101&&
cloudera-manager-installer.binCloudera ManagerCloudera Manager7180Cloudera Hadoop
CDH4Impala
CDH4rpmparcelsparcels
ClouderaCDH4Impalaparcels
└─parcels
└─latest
&&&&&&&&&&&
CDH-4.4.0-1.cdh4.4.0.p0.39-el5.parcel
&&&&&&&&&&&
CDH-4.4.0-1.cdh4.4.0.p0.39-el6.parcel
&&&&&&&&&&&
CDH-4.4.0-1.cdh4.4.0.p0.39-lucid.parcel
&&&&&&&&&&&
CDH-4.4.0-1.cdh4.4.0.p0.39-precise.parcel
&&&&&&&&&&&
CDH-4.4.0-1.cdh4.4.0.p0.39-sles11.parcel
&&&&&&&&&&&
CDH-4.4.0-1.cdh4.4.0.p0.39-squeeze.parcel
&&&&&&&&&&&
manifest.json
└─parcels
└─latest
&&&&&&&&&&&
IMPALA-1.1.1-1.p0.17-el5.parcel
&&&&&&&&&&&
IMPALA-1.1.1-1.p0.17-el6.parcel
&&&&&&&&&&&
IMPALA-1.1.1-1.p0.17-lucid.parcel
&&&&&&&&&&&
IMPALA-1.1.1-1.p0.17-precise.parcel
&&&&&&&&&&&
IMPALA-1.1.1-1.p0.17-sles11.parcel
&&&&&&&&&&&
IMPALA-1.1.1-1.p0.17-squeeze.parcel
&&&&&&&&&&&
manifest.json
httpCloudera HadoopHadoop
HDFS& HDFS
Impala& impala
hdfs—mapreduce—hive—zookeeper hdfsnamenodesecondary namenodemapreducejobtrackertasktracker
阅读(3003) | 评论(0) | 转发(0) |
上一篇：没有了
下一篇：没有了
相关热门文章
给主人留下些什么吧！~~
请登录后评论。> 博客详情
摘要: cloudera manager & CDH5 安装与升级
一、 准备工作
下载cdh的各种源:
1.下载cloudera manager installer：
2.因为这次要模拟升级安装,首先要先下载beta的源:
3.然后下载release的源:
4.然后下载parcel包,官方也推荐这种方式安装:
另外除了parcel包,还要下载json文件,没有那个json文件是无法正常安装的.
5.下载到本地后将rpm包的源,放到webserver目录下,写好yum的repo文件
[cloudera-manager]
name = Cloudera Manager, Version 5.0.0
baseurl = http://IP/yum-package/cm5/redhat/5/x86_64/cm/5.0.0/
gpgcheck = 0
6.parcel包添加验证文件
cat manifest.json 把sha那一段沾出来, 写到parcel包.sha文件里,然后为这三个文件授权755
(之前因为manifest.json文件改错,安装包一直失败,查看manager的log才发现问题)
至此准备工作完成!
二 、安装cloudera manager
./cloudera-manager-installer.bin 直接执行,这个还支持鼠标点击.
在最后一步前,准备好另一个终端,准备好手动拷贝刚才写的repo文件,因为安装时会被覆盖,所以只能手动反覆盖.......
完成manager机器的安装 就可以进web配置了,启动略慢
http://ip:7180
三、通过web安装cdh
1.添加完涉及的服务器后，手动指定parcel和agent的本地源
2.安装完成后选择服务,本次只选择了基本服务hdfs,yarn,zookeeper
3.指定角色,完成安装.
4.使用slave节点,测试上传文件ok
四、升级cloudera manager
升级cloudera manager
#&cd&/mnt/hadoop/hdfs/name
#&tar&-cvf&/root/nn_backup_data.tar&.
1.把当前跑的所有服务都停掉,包括服务.
2.停掉cloudera-scm-server和cloudera-scm-server-db
service&cloudera-scm-server&stop
service&cloudera-scm-server-db&stop
3.准备好新版本的manager的repo文件
执行yum clean all &&&yum upgrade 'cloudera-*'
rpm -qa &'cloudera-*' 查看版本
4.升级完成,启动server和db
5.进入web升级agent们,一进去就会有提示,然后手动指定url,升级就可以鸟.
五、升级CDH
注意先办法namenode数据,&
#&cd&/mnt/hadoop/hdfs/name
#&tar&-cvf&/root/nn_backup_data.tar&.
点搜索框左边小礼品盒子图标,添加新版本parcel的url,添加后下面会多出个小图,点激活就可以自动升级了
至此完成所有升级.
六、错误整理
升级过程出现namenode启动失败问题,
java.io.IOException:
File system image contains an old layout version -51.
An upgrade to version -55 is required.
Please restart NameNode with the "-rollingUpgrade started" option if a rolling upgrade or restart NameNode with the "UPGRADE" to start a new upgrade.
手动到master节点启动后,停掉,再通过web页面重启后正常
su - hdfs -c "hdfs --config /var/run/cloudera-scm-agent/process/XXX-hdfs-NAMENODE namenode -upgrade"
2.另一个可能出现的报错:
&Get corrupt file blocks returned error: Cannot run listCorruptFileBlocks because replication queues have not been initialized.
删掉namenode节点的previous/目录即可
3. 由于前一次安装socket文件(/var/run/hdfs-sockets)没有正常删除，造成datanode启动失败，手动修改其权限为root解决
参考链接及文档:
报错解决(可能要翻墙):
官方在线文档:
CDH官方升级文档:
人打赏支持
码字总数 12653
支付宝支付
微信扫码支付
打赏金额: ￥
已支付成功
打赏金额: ￥金钱鳘又称黄唇鱼，目前已经接近濒危灭绝的状态。
赴日游客越来越多，国内游客成为黑心商家的肥肉。
声明：本文由入驻搜狐公众平台的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
　　1.1目的
　　为辅助使用Cloudera CDH、Impala项目的快速实施。
　　1.2适用范围
　　适用于Clouder Manager 5.x 安装 CDH5 和 Impala 2.2.0版本。
　　1.3术语表
　　CMCloudera Manager 是Cloudera公司的Hadoop系统组件的安装管理工具
　　CDHCloudera's Distribution Hadoop，是Cloudera公司发布的Hadoop版本
　　1.4参考资料
　　《Installing-and-Using-Impala》v2.2.0Cloudera
　　2yum离线安装
　　安装前，需要执行“2.1运行环境安装”部分的操作，以便安装能顺利执行。
　　2.1运行环境安装
　　2.1.1基本环境准备
　　配置ip和主机名
　　禁用防火墙
　　禁用Selinux
　　vi /etc/selinux/config
　　内容改成如下：
　　# disabled - No SELinux policy is loaded.
　　SELINUX=disabled
　　SELINUXTYPE=targeted
　　然后保存，重启系统。
　　修改/etc/hosts
　　加上本机的IP
　　加上模拟这个域名的IP
　　例如加上如下内容：
　　134.64.208.132 hadoop1
　　134.64.208.132
　　下载cloudera-manager-installer.bin，这个必须要到上下载。
　　下载要用到的cloudera-manager的安装包
　　下载要用到的cdh的parcel格式的包
　　下载要用到的impala的parcel格式的包
　　说明：要在生产系统部署CDH，先要实现Cloudera Manager的离线安装，安装好Cloudera Manager后，还要通过Cloudera Manager执行CDH的离线安装两个步骤。由于生产环境的封闭性，这些离线包不能从Cloudera的官方网站下载，所以需要将Cloudera的官方网站下载地址映射到本地IP。
　　2.1.2Cloudera Manager的离线安装包下载
　　cloudera-manager-installer.bin程序会连接到Cloudera的官方网站下载Cloudera Manager需要的rpm包，完成Cloudera Manager的安装。
　　要实现Cloudera Manager的离线安装，需要1.下载Cloudera Manager需要的rpm包（/cm5/） 2.将Cloudera的官方网站下载地址映射到本地IP。第一步可以登录到Cloudera的官方网站将这些包下载到本地，目录类似于下面的结构：
　　└─redhat
　　│ └─x86_64
　　│ └─cm
　　│ │ cloudera-manager.repo
　　│ │ RPM-GPG-KEY-cloudera
　　│ └─4
　　│ ├─repodata
　　│ │ filelists.xml.gz
　　│ │ other.xml.gz
　　│ │ primary.xml.gz
　　│ │ repomd.xml
　　│ └─RPMS
　　│ └─x86_64
　　│ cloudera-manager-agent-5.4.7-1.cm472.p0.135.el5.x86_64.rpm
　　│ cloudera-manager-daemons-5.4.1-1.cm472.p0.135.el5.x86_64.rpm
　　│ cloudera-manager-server-5.4.7-1.cm472.p0.135.el5.x86_64.rpm
　　│ cloudera-manager-server-db-5.4.7-1.cm472.p0.135.el5.x86_64.rpm
　　│ enterprise-debuginfo-5.4.7-1.cm472.p0.135.el5.x86_64.rpm
　　│ jdk-6u31-linux-amd64.rpm
　　└─x86_64
　　└─cm
　　│ cloudera-manager.repo
　　│ RPM-GPG-KEY-cloudera
　　├─repodata
　　│ filelists.xml.gz
　　│ filelists.xml.gz.asc
　　│ other.xml.gz
　　│ other.xml.gz.asc
　　│ primary.xml.gz
　　│ primary.xml.gz.asc
　　│ repomd.xml
　　│ repomd.xml.asc
　　└─RPMS
　　├─noarch
　　└─x86_64
　　cloudera-manager-agent-5.4.7-1.cm471.p0.125.el6.x86_64.rpm
　　cloudera-manager-daemons-5.4.7-1.cm471.p0.125.el6.x86_64.rpm
　　cloudera-manager-server-5.4.7-1.cm471.p0.125.el6.x86_64.rpm
　　cloudera-manager-server-db-5.4.7-1.cm471.p0.125.el6.x86_64.rpm
　　enterprise-debuginfo-5.4.7-1.cm471.p0.125.el6.x86_64.rpm
　　jdk-6u31-linux-amd64.rpm
　　第二步，配置一个htttp服务，例如apache httpd服务，将上述目录树拷贝到这个http服务的根目录下，例如apache httpd服务缺省的根目录是 /var/www/html，然后在待安装机器上配置hosts文件，将上面的服务提供的IP映射到的域名上即可，一般是在hosts文件中增加一行，例如 134.64.208.132
　　完成上述两步后，执行cloudera-manager-installer.bin即可完成Cloudera Manager的离线安装，Cloudera Manager安装完成后，在被安装机器上会打开7180端口，这时在浏览器中访问这个地址，即可进入Cloudera Hadoop的管理界面。
　　注意：安装时，有时需要用到系统包，下面简单介绍一些系统包安装源的一些方法：
　　如果有安装盘，可以将安装盘mount到一个目录，然后引用file:///协议映射安装源，例如：在目录下新建一个 cdrom_media.repo的文件，内容为：
　　[cdrom_media]
　　name=cdrom_media
　　baseurl=file:///mnt/cdrom/
　　gpgcheck=0
　　或者把操作系统的安装源拷贝到上面的http服务的目录下，把源写入一个os.repo的文件中。例如一个os.repo的内容如下：
　　name = Linux OS Packages
　　baseurl = http:// 134.64.208.132/os
　　gpgcheck = 0
　　而os的目录结构为下面类似：
　　├─Packages
　　│ abrt-libs-2.0.8-6.el6.x86_64.rpm
　　│ abrt-tui-2.0.8-6.el6.x86_64.rpm
　　│ amanda-2.6.1p2-7.el6.x86_64.rpm
　　│ amanda-client-2.6.1p2-7.el6.x86_64.rpm
　　│ amanda-server-2.6.1p2-7.el6.x86_64.rpm
　　│ amtu-1.0.8-8.el6.x86_64.rpm
　　│ anaconda-13.21.176-1.el6_3.x86_64.rpm
　　│ anaconda-yum-plugins-1.0-5.1.el6.noarch.rpm
　　│ ant-1.7.1-13.el6.x86_64.rpm
　　│ anthy-.el6.x86_64.rpm
　　│ antlr-2.7.7-6.5.el6.x86_64.rpm
　　│ eclipse-callgraph-0.6.1-1.el6.x86_64.rpm
　　│ gmp-4.3.1-7.el6_2.2.i686.rpm
　　.........
　　│ yum-plugin-security-1.1.30-14.el6.noarch.rpm
　　│ yum-plugin-tmprepo-1.1.30-14.el6.noarch.rpm
　　│ zlib-devel-1.2.3-27.el6.i686.rpm
　　│ zlib-devel-1.2.3-27.el6.x86_64.rpm
　　│ zsh-4.3.10-5.el6.x86_64.rpm
　　└─repodata
　　filelists.xml.gz
　　other.xml.gz
　　primary.xml.gz
　　productid
　　productid.gz
　　repomd.xml
　　TRANS.TBL
　　上面关于系统包的安装源，未作深入讨论，如有问题，请参考其他建立系统离线安装源的材料。
　　2.1.3CDH和Impala的离线安装包下载
　　CDH5可以通过rpm安装，也可通过parcels安装，官方推荐使用parcels安装。
　　先到Cloudera的官方网站下载CDH5和Impala的parcels包。下面目录树结构映射了官方的下载地址。
　　└─parcels
　　└─latest
　　CDH-5.4.7-1.cdh4.4.0.p0.39-el5.parcel
　　CDH-5.4.7-1.cdh4.4.0.p0.39-el6.parcel
　　CDH-5.4.7-1.cdh4.4.0.p0.39-lucid.parcel
　　CDH-5.4.7-1.cdh4.4.0.p0.39-precise.parcel
　　CDH-5.4.7-1.cdh4.4.0.p0.39-sles11.parcel
　　CDH-5.4.7-1.cdh4.4.0.p0.39-squeeze.parcel
　　manifest.json
　　impala
　　└─parcels
　　└─latest
　　IMPALA-2.2.2-1.p0.17-el5.parcel
　　IMPALA-2.2.2-1.p0.17-el6.parcel
　　IMPALA-2.2.2-1.p0.17-lucid.parcel
　　IMPALA-2.2.2-1.p0.17-precise.parcel
　　IMPALA-2.2.2-1.p0.17-sles11.parcel
　　IMPALA-2.2.2-1.p0.17-squeeze.parcel
　　manifest.json
　　下载完成后，放到上面一样的http服务的根目录下。进入Cloudera Hadoop的管理界面，添加集群，添加服务器，添加服务等，就可自动从这些包中安装Hadoop依赖的软件。
　　例如HDFS的添加步骤是 服务DD下拉“操作”DD添加服务DD选择HDFS
　　例如Impala的添加步骤是 服务DD下拉“操作”DD添加服务DD选择impala
　　需要说明的是，服务是有依赖关系的，要添加impala服务，就要先顺序添加 hdfs―mapreduce―hive 这几个服务。添加服务时，一些关键的配置参数也要注意，例如hdfs的namenode目录、secondary namenode目录、mapreduce的jobtracker目录、tasktracker目录等。
　　2.2系统安装
　　运行已下载的cloudera-manager-installer.bin
　　一路选择Next，回车。
　　在确认License处，按右箭头?选择Yes回车。
　　当Cloudera的官方网站下载地址映射到本地IP已完成并且需要的rpm包也已下载好放到了本地IP的http服务器指定目录中后，安装顺利完成，等待服务启动，并且7180端口的开启。
　　[root@hadoop1 ~]# netstat Can | grep 7180
　　tcp 0 0 0.0.0.0:.0.0:* LISTEN
　　上面命令输出表示已完成启动，此时可以在浏览器上输入这个Cloudera Manager服务器的地址和端口，就可进入Cloudera Manager的安装和管理界面。
　　下面操作都从主菜单上链接开始：
　　1.添加集群
　　主页―右上角―添加集群
　　2.添加服务
　　服务―所有服务―
　　―添加服务
　　在下面的界面中选择你要添加的服务。
　　3.添加节点
　　主机―向集群添加主机
　　4.删除节点
　　然后选定一个主机（界面上的一行记录）
　　主机―已选定的动作―从集群中删除
　　主机―已选定的动作―删除
　　安装完成，相关服务启动后，在master节点输入 impala-shell就进入sql语句输入界面，可以利用sql查询hdfs的数据了。一般的，impala查询的速度可以达到hive的5～30倍。
　　3疑难解答
　　1.提示PostgreSQL版本过低
　　系统需要安装PostgreSQL数据库 8.4.11以上，先卸载低版本，然后安装8.4.11以上的版本。
　　2.提示RPM-GPG-KEY-cloudera文件找不到
　　在Cloudera找到RPM-GPG-KEY-cloudera文件，放到映射的本地IP的相对应的位置。这个文件一般在cm5/redhat/6/x86_64/cm的相对目录下。
　　3.5.4.7版本下某文件找不到
　　本版本的Cloudera Manager有时找cm5/redhat/6/x86_64/cm/5目录下的文件，有时找cm5/redhat/6/x86_64/cm/5.4.7目录下的文件，有时找cm5/redhat/6/x86_64/cm/5.4.7目录下的文件，出现此错误时，解决的办法是，将cm5/redhat/6/x86_64/cm/5.4.7目录下的文件下载完整，然后在同级建立符号链接，例如
　　ln Cs 5.4.7 5
　　ln Cs 5.4.7 5.5
　　这样，三种情形下的文件都可以找到了。
欢迎举报抄袭、转载、暴力色情及含有欺诈和虚假信息的不良文章。
请先登录再操作
请先登录再操作
微信扫一扫分享至朋友圈
搜狐公众平台官方账号
生活时尚&搭配博主 /生活时尚自媒体 /时尚类书籍作者
搜狐网教育频道官方账号
全球最大华文占星网站-专业研究星座命理及测算服务机构
传播IT技术，分享大数据领域最新技术。
主演：黄晓明/陈乔恩/乔任梁/谢君豪/吕佳容/戚迹
主演：陈晓/陈妍希/张馨予/杨明娜/毛晓彤/孙耀琦
主演：陈键锋/李依晓/张迪/郑亦桐/张明明/何彦霓
主演：尚格?云顿/乔?弗拉尼甘/Bianca Bree
主演：艾斯?库珀/ 查宁?塔图姆/ 乔纳?希尔
baby14岁写真曝光
李冰冰向成龙撒娇争宠
李湘遭闺蜜曝光旧爱
美女模特教老板走秀
曝搬砖男神奇葩择偶观
柳岩被迫成赚钱工具
大屁小P虐心恋
匆匆那年大结局
乔杉遭粉丝骚扰
男闺蜜的尴尬初夜
客服热线：86-10-
客服邮箱：}