如何修改hue的hue配置oozie

hue安装&运行(1)
======refer:http://blog.cheyo.net/81.html======
预安装好如下组件:
同时安装如软件:
yum install -y gcc libxml2-devel libxslt-devel cyrus-sasl-devel mysql-devel python-devel python-setuptools python-simplejson sqlite-devel ant gmp-devel
yum install -y cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi
下载源代码
git clone /cloudera/hue.git
安装指定的分支版本:
git clone /cloudera/hue.git branch-3.7.1
修改配置文件
修改maven/pom.xml文件
将Hadoop和Spark修改为相应的版本:
&hadoop-mr1.version&2.4.1&/hadoop-mr1.version&
&hadoop.version&2.4.1&/hadoop.version&
将hadoop-core修改为hadoop-common
&artifactId&hadoop-core&/artifactId&
&artifactId&hadoop-common&/artifactId&
将hadoop-test的版本改为1.2.1(原因未知):
&artifactId&hadoop-test&/artifactId&
&version&1.2.1&/version&
删除Hadoop v1的无关文件
rm desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/mapred/ThriftJobTrackerPlugin.java
这个过程时间较久,请耐心等待。
修改安装后的配置信息
vi desktop/conf/pseudo-distributed.ini
build/env/bin/hue runserver 0.0.0.0:8000
配置文件路径
/opt/hue/desktop/conf/pseudo-distributed.ini
在NameNode的hdfs-site.xml增加如下配置:
&property&
&name&dfs.webhdfs.enabled&/name&
&value&true&/value&
&/property&
在NameNode的core-site.xml增加如下配置:
&property&
&name&hadoop.proxyuser.hue.hosts&/name&
&value&*&/value&
&/property&
&property&
&name&hadoop.proxyuser.hue.groups&/name&
&value&*&/value&
&/property&
Hue中的配置:
如果Hue与NameNode在同一个节点上,保持默认配置即可。
[[hdfs_clusters]]
[[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://localhost:8020
# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
webhdfs_url=http://localhost:50070/webhdfs/v1
启动JobHistoryServer:
mapred-site.xml:
&property&
&name&mapreduce.jobhistory.webapp.address&/name&
&value&0.0.0.0:19888&/value&
&/property&
/opt/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
启动ProxyServer
yarn-site.xml:
&property&
&name&yarn.resourcemanager.webapp.address&/name&
&value&${yarn.resourcemanager.hostname}:8088&/value&
&/property&
&property&
&name&yarn.web-proxy.address&/name&
&value&${yarn.resourcemanager.hostname}:8888&/value&
&/property&
YARN启动WebAppProxyServer:
yarn-daemon.sh start proxyserver
启动完毕,通过jps命令可以看到WebAppProxyServer进程。
Hue中增加如下配置:
[[yarn_clusters]]
[[[default]]]
# Enter the host on which you are running the ResourceManager
resourcemanager_host=ctrl
# Whether to submit jobs to this cluster
submit_to=True
# URL of the ResourceManager API
resourcemanager_api_url=http://ctrl:8088
# URL of the ProxyServer API
proxy_api_url=http://ctrl:8888
# URL of the HistoryServer API
history_server_api_url=http://ctrl:19888
注意:如果Hue连接不上Yarn,检查一下Yarn监听的IP是0.0.0.0还是192.168.1.0。
将HiveServer2节点hive-site.xml中的hive.server2.authentication配置项修改为NOSASL :
&property&
&name&hive.server2.authentication&/name&
&value&NOSASL&/value&
&description&
Expects one of [nosasl, none, ldap, kerberos, pam, custom].
Client authentication types.
NONE: no authentication check
LDAP: LDAP/AD based authentication
KERBEROS: Kerberos/GSSAPI authentication
CUSTOM: Custom authentication provider
(Use with property hive.server2.custom.authentication.class)
PAM: Pluggable authentication module
Raw transport
&/description&
&/property&
Hue中配置:
# Host where HiveServer2 is running.
# If Kerberos security is enabled, use fully-qualified domain name (FQDN).
hive_server_host=localhost
# Port where HiveServer2 Thrift server runs on.
hive_server_port=10000
# Hive configuration directory, where hive-site.xml is located
hive_conf_dir=/opt/hive/conf
HBase启动Thrift Server:
hbase thrift start &
Hue中配置:
# Comma-separated list of HBase Thrift servers for clusters in the format of
# '(name|host:port)'.
# Use full hostname with security.
# If using Kerberos we assume GSSAPI SASL, not PLAIN.
hbase_clusters=(QingCloudHBase|localhost:9090)
# HBase configuration directory, where hbase-site.xml is located.
hbase_conf_dir=/opt/hbase/conf
Zookeeper需要启动REST服务:
ssh data01
#编译zookeeper
cd /opt/zookeeper
cd /opt/zookeeper/src/contrib/rest
默认Rest服务监听9888端口。 测试:访问http://data01:9998/znodes/v1/ 。
备注:如果是在其他目录中,则执行如下命令启动REST服务。
/usr/bin/ant -f /opt/zookeeper/src/contrib/rest/build.xml run
Hue中配置:
[zookeeper]
[[clusters]]
[[[default]]]
# Zookeeper ensemble. Comma separated list of Host/Port.
# e.g. localhost:2181,localhost:2182,localhost:2183
host_ports=data01:2181,data02:2181,data03:2181
# The URL of the REST contrib service (required for znode browsing).
rest_url=http://data01:9998,http://data02:9998,http://data03:9998
# Name of Kerberos principal when using security.
## principal_name=zookeeper
&&相关文章推荐
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
访问:399859次
积分:5381
积分:5381
排名:第4858名
原创:73篇
转载:457篇
译文:15篇
评论:29条预安装好如下组件:
同时安装如软件:
yum install -y gcc libxml2-devel libxslt-devel cyrus-sasl-devel mysql-devel python-devel python-setuptools python-simplejson sqlite-devel ant gmp-devel
yum install -y cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi
下载源代码
git clone /cloudera/hue.git
安装指定的分支版本:
git clone /cloudera/hue.git branch-3.7.1
修改配置文件
修改maven/pom.xml文件
将Hadoop和Spark修改为相应的版本:
2&hadoop-mr1.version&2.4.1&/hadoop-mr1.version&
&hadoop.version&2.4.1&/hadoop.version&
将hadoop-core修改为hadoop-common
1&artifactId&hadoop-core&/artifactId&
1&artifactId&hadoop-common&/artifactId&
将hadoop-test的版本改为1.2.1(原因未知):
2&artifactId&hadoop-test&/artifactId&
&version&1.2.1&/version&
删除Hadoop v1的无关文件
1rm desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/mapred/ThriftJobTrackerPlugin.java
这个过程时间较久,请耐心等待。
1make apps
修改安装后的配置信息
1vi desktop/conf/pseudo-distributed.ini
1build/env/bin/hue runserver 0.0.0.0:8000
配置文件路径
/opt/hue/desktop/conf/pseudo-distributed.ini
在NameNode的hdfs-site.xml增加如下配置:
4&property&
&name&dfs.webhdfs.enabled&/name&
&value&true&/value&
&/property&
在NameNode的core-site.xml增加如下配置:
8&property&
&name&hadoop.proxyuser.hue.hosts&/name&
&value&*&/value&
&/property&
&property&
&name&hadoop.proxyuser.hue.groups&/name&
&value&*&/value&
&/property&
Hue中的配置:
如果Hue与NameNode在同一个节点上,保持默认配置即可。
12[hadoop]
[[hdfs_clusters]]
[[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://localhost:8020
# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
webhdfs_url=http://localhost:50070/webhdfs/v1
启动JobHistoryServer:
mapred-site.xml:
4&property&
&name&mapreduce.jobhistory.webapp.address&/name&
&value&0.0.0.0:19888&/value&
&/property&
/opt/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
启动ProxyServer
yarn-site.xml:
8&property&
&name&yarn.resourcemanager.webapp.address&/name&
&value&${yarn.resourcemanager.hostname}:8088&/value&
&/property&
&property&
&name&yarn.web-proxy.address&/name&
&value&${yarn.resourcemanager.hostname}:8888&/value&
&/property&
YARN启动WebAppProxyServer:
yarn-daemon.sh start proxyserver
启动完毕,通过jps命令可以看到WebAppProxyServer进程。
Hue中增加如下配置:
20[hadoop]
[[yarn_clusters]]
[[[default]]]
# Enter the host on which you are running the ResourceManager
resourcemanager_host=ctrl
# Whether to submit jobs to this cluster
submit_to=True
# URL of the ResourceManager API
resourcemanager_api_url=http://ctrl:8088
# URL of the ProxyServer API
proxy_api_url=http://ctrl:8888
# URL of the HistoryServer API
history_server_api_url=http://ctrl:19888
注意:如果Hue连接不上Yarn,检查一下Yarn监听的IP是0.0.0.0还是192.168.1.0。
将HiveServer2节点hive-site.xml中的hive.server2.authentication配置项修改为NOSASL
15&property&
&name&hive.server2.authentication&/name&
&value&NOSASL&/value&
&description&
Expects one of [nosasl, none, ldap, kerberos, pam, custom].
Client authentication types.
NONE: no authentication check
LDAP: LDAP/AD based authentication
KERBEROS: Kerberos/GSSAPI authentication
CUSTOM: Custom authentication provider
(Use with property hive.server2.custom.authentication.class)
PAM: Pluggable authentication module
Raw transport
&/description&
&/property&
Hue中配置:
11[beeswax]
# Host where HiveServer2 is running.
# If Kerberos security is enabled, use fully-qualified domain name (FQDN).
hive_server_host=localhost
# Port where HiveServer2 Thrift server runs on.
hive_server_port=10000
# Hive configuration directory, where hive-site.xml is located
hive_conf_dir=/opt/hive/conf
HBase启动Thrift Server:
hbase thrift start &
Hue中配置:
# Comma-separated list of HBase Thrift servers for clusters in the format of
# '(name|host:port)'.
# Use full hostname with security.
# If using Kerberos we assume GSSAPI SASL, not PLAIN.
hbase_clusters=(QingCloudHBase|localhost:9090)
# HBase configuration directory, where hbase-site.xml is located.
hbase_conf_dir=/opt/hbase/conf
Zookeeper需要启动REST服务:
5ssh data01
#编译zookeeper
cd /opt/zookeeper
cd /opt/zookeeper/src/contrib/rest
默认Rest服务监听9888端口。 测试:访问http://data01:9998/znodes/v1/ 。
备注:如果是在其他目录中,则执行如下命令启动REST服务。
/usr/bin/ant -f /opt/zookeeper/src/contrib/rest/build.xml run
Hue中配置:
14[zookeeper]
[[clusters]]
[[[default]]]
# Zookeeper ensemble. Comma separated list of Host/Port.
# e.g. localhost:2181,localhost:2182,localhost:2183
host_ports=data01:2181,data02:2181,data03:2181
# The URL of the REST contrib service (required for znode browsing).
rest_url=http://data01:9998,http://data02:9998,http://data03:9998
# Name of Kerberos principal when using security.
## principal_name=zookeeperhue beeswax权限管理 - 空中的鱼 - ITeye博客
博客分类:
/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Security-Guide/cdh5sg_sentry.html
条件:
Kerberos安全认证(使用cm配置安全认证后,hive自动也添加了认证,所以hive认证配置/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Security-Guide/cdh5sg_hive_security.html可以省略)
该条件是cloudera官方文档中说明的,据了解,可以不配置kerberos安全认证,同样可以使用sentry,但试过,求试过的同学个回复
步骤:
sudo -u hdfs hdfs dfs -chmod -R 770 /user/hive/warehouse
sudo -u hdfs hdfs dfs -chown -R hive:hive /user/hive/warehouse
cm的hive配置中找到 hive.sentry.provider设置成org.apache.sentry.provider.file.LocalGroupResourceAuthorizationProvider
(如此hive将识别policy file的user group配置)
sentry-provider.ini配置。例如:
[databases]
# Defines the location of the per DB policy file for the customers DB/schema
customers = hdfs://:8020/etc/sentry/customers.ini
-------------某个数据库权限配置
[groups]
# Assigns each Hadoop group to its set of roles
manager = analyst_role, junior_analyst_role
analyst = analyst_role
jranalyst = junior_analyst_role
customers_admin = customers_admin_role
admin = admin_role
[roles]
# The uris below define a define a landing skid which
# the user can use to import or export data from the system.
# Since the server runs as the user "hive" files in that directory
# must either have the group hive and read/write set or
# be world read/write.
analyst_role = server=server1-&db=analyst1, \
&&& server=server1-&db=jranalyst1-&table=*-&action=select,\
&&& server=server1-&db=default-&table=*-&action=select,\
&&& server=server1-&db=test-&table=*-&action=select
junior_analyst_role = server=server1-&db=jranalyst1
# Implies everything on server1 -& customers. Privileges for
# customers can be defined in the global policy file even though
# customers has its only policy file. Note that the Privileges from
# both the global policy file and the per-DB policy file
# are merged. There is no overriding.
customers_admin_role = server=server1-&db=customers
# Implies everything on server1.
admin_role = server=server1
[users]
-----------------------------user group在此生效
hive = manager,customers_admin
hue = analyst
rube = analyst
qiulp= analyst
上传此文件至hdfs的某个目录项,此目录授权给hive用户hive组。
hive启用sentry
cm中找到hive hive.server2.session.hook配置为:org.apache.sentry.binding.hive.HiveAuthzBindingSessionHook
配置hive.sentry.conf.url
使用hive jdbc时,出现如下异常:
Exception in thread "main" java.sql.SQLException: Error while compiling statement: FAILED: SemanticException No valid privileges
at org.apache.hive.jdbc.Utils.verifySuccess(Utils.java:167)
at org.apache.hive.jdbc.Utils.verifySuccessWithInfo(Utils.java:155)
at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:210)
是权限赋值的有问题。
浏览: 183197 次
来自: 上海
不开启时可以的,而且开启以后各种坑。。。。
博主请教一个问题,hue 控制hive表的权限怎么弄? 怎么联 ...
楼主你好,我用CM配置LDAP用户组映射,进入impala时, ...
版主:按你的步骤配置了,可是,执行 impala-shell
super_a 写道你好!找不到表这个问题是如何解决的,可以描 ...Hue安装配置实践 - 为程序员服务
Hue安装配置实践
44789 阅读
Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。很早以前就听说过Hue的便利与强大,一直没能亲自尝试使用,下面先通过官网给出的特性,通过翻译原文简单了解一下Hue所支持的功能特性集合:
默认基于轻量级sqlite数据库管理会话数据,用户认证和授权,可以自定义为MySQL、Postgresql,以及Oracle
基于文件浏览器(File Browser)访问HDFS
基于Hive编辑器来开发和运行Hive查询
支持基于Solr进行搜索的应用,并提供可视化的数据视图,以及仪表板(Dashboard)
支持基于Impala的应用进行交互式查询
支持Spark编辑器和仪表板(Dashboard)
支持Pig编辑器,并能够提交脚本任务
支持Oozie编辑器,可以通过仪表板提交和监控Workflow、Coordinator和Bundle
支持HBase浏览器,能够可视化数据、查询数据、修改HBase表
支持Metastore浏览器,可以访问Hive的元数据,以及HCatalog
支持Job浏览器,能够访问MapReduce Job(MR1/MR2-YARN)
支持Job设计器,能够创建MapReduce/Streaming/Java Job
支持Sqoop 2编辑器和仪表板(Dashboard)
支持ZooKeeper浏览器和编辑器
支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器
下面,我们通过实际安装来验证Hue的一些功能。
这里,我所基于的基本环境及其配置情况,如下所示:
CentOS-6.6 (Final)
JDK-1.7.0_25
Maven-3.2.1
Hue-3.7.0(branch-3.7.1)
Hadoop-2.2.0
Python-2.6.6
基于上面的软件工具,要保证正确安装和配置。需要说明的是,我们通过Hue来执行Hive查询,需要启动HiveServer2服务:
cd /usr/local/hive
bin/hiveserver2 &
否则通过Hue Web控制无法执行Hive查询。
我新建了一个hadoop用户,以hadoop用户,首先使用yum工具来安装Hue相关的依赖软件:
sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel
然后,执行如下命令进行Hue软件包的下载构建:
cd /usr/local/
sudo git clone /cloudera/hue.git branch-3.7.1
sudo chown -R hadoop:hadoop branch-3.7.1/
cd branch-3.7.1/
上述过程如果没有任何问题,我们就已经安装好Hue。Hue的配置文件为/usr/local/branch-3.7.1/desktop/conf/pseudo-distributed.ini,默认的配置文件不能正常运行Hue,所以需要修改其中的内容,与我们对应的Hadoop集群配置相对应。该配置文件根据整合不同的软件,将配置分成多个段,每个段下面还有子段,便于管理配置,如下所示(省略子段名称):
filebrowser
jobbrowser
我们很容易根据需要来配置自己需要的内容。我们修改配置文件的情况,如下表所示:
default_hdfs_superuser
HDFS管理用户
10.10.4.125
Hue Web Server所在主机/IP
Hue Web Server服务端口
server_user
运行Hue Web Server的进程用户
server_group
运行Hue Web Server的进程用户组
default_user
hadoop/hdfs_clusters
fs_defaultfs
hdfs://hadoop6:8020
对应core-site.xml配置项fs.defaultFS
hadoop/hdfs_clusters
hadoop_conf_dir
/usr/local/hadoop/etc/hadoop
Hadoop配置文件目录
hadoop/yarn_clusters
resourcemanager_host
对应yarn-site.xml配置项yarn.resourcemanager.hostname
hadoop/yarn_clusters
resourcemanager_port
ResourceManager服务端口号
hadoop/yarn_clusters
resourcemanager_api_url
http://hadoop6:8088
对应于yarn-site.xml配置项yarn.resourcemanager.webapp.address
hadoop/yarn_clusters
proxy_api_url
http://hadoop6:8888
对应yarn-site.xml配置项yarn.web-proxy.address
hadoop/yarn_clusters
history_server_api_url
http://hadoo6:19888
对应mapred-site.xml配置项mapreduce.jobhistory.webapp.address
hive_server_host
10.10.4.125
Hive所在节点主机名/IP
hive_server_port
HiveServer2服务端口号
hive_conf_dir
/usr/local/hive/conf
Hive配置文件目录
上面主要配置了Hadoop集群相关的内容,以及Hive(beeswax段配置的是Hive,通过HIveServer2与Hive交互)。
最后,启动Hue服务,执行如下命令:
cd /usr/local/branch-3.7.1/
build/env/bin/supervisor &
Hue功能验证
我们主要通过在Hue Web控制台上执行Hive查询,所以需要准备Hive相关的表和数据。
我们首先在Hive中创建一个数据库(如果没有权限则授权):
GRANT ALL TO USER
CREATE DATABASE user_
这里,hadoop用户是Hive的管理用户,可以将全部权限赋给该用户。
创建示例表,建表DDL如下所示:
CREATE TABLE user_db.daily_user_info (
device_type int,
version string,
channel string,
udid string)
PARTITIONED BY (
stat_date string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';
准备的数据文件格式,示例如下所示:
b01b8178b86cebb9fddc035bb238876d
A-wanglouko
e2b7a3d5c3a4affacbc95
H-follower
766e7b2d2eedbafa03ed33
ddbc887c3bea5a
f880af48baf9a6bb70fa962
aa051d9e2accbaeec747110
02a32fd61c60dd2c5d9ed8a826c53be4
04cc447ad65dcea5a131d5a993268edf
各个字段之间使用TAB分隔,每个字段含义与上面表user_db.daily_user_info的字段对应,然后我们将测试数据加载到示例表的各个分区之中:
LOAD DATA LOCAL INPATH '/home/hadoop/u.log' OVERWRITE INTO TABLE user_db.daily_user_info PARTITION (stat_date='');
LOAD DATA LOCAL INPATH '/home/hadoop/u.log' OVERWRITE INTO TABLE user_db.daily_user_info PARTITION (stat_date='');
LOAD DATA LOCAL INPATH '/home/hadoop/u.log' OVERWRITE INTO TABLE user_db.daily_user_info PARTITION (stat_date='');
LOAD DATA LOCAL INPATH '/home/hadoop/u.log' OVERWRITE INTO TABLE user_db.daily_user_info PARTITION (stat_date='');
LOAD DATA LOCAL INPATH '/home/hadoop/u.log' OVERWRITE INTO TABLE user_db.daily_user_info PARTITION (stat_date='');
LOAD DATA LOCAL INPATH '/home/hadoop/u.log' OVERWRITE INTO TABLE user_db.daily_user_info PARTITION (stat_date='');
LOAD DATA LOCAL INPATH '/home/hadoop/u.log' OVERWRITE INTO TABLE user_db.daily_user_info PARTITION (stat_date='');
可以通过Hive CLI接口登录,查看表中数据:
SELECT COUNT(1) FROM daily_user_
我这里有条记录作为测试数据。
Hue登录页面
Hue服务启动成功后,可以直接通过浏览器打开连接http://10.10.4.125:8000/,就可以登录。第一次打开,需要输入默认用户和口令,然后就可以登录进去,如下图所示:
首次登录,选择使用的用户即为Hue管理员用户,权限很大,可以添加用户并管理用户及其用户组的操作权限。
Hue用户首页
登录成功以后,进入Hue Web控制台首页,如下图所示:
登录成功后,首先会执行一些基本环境的配置检查工作,它与我们实际修改配置时都指定了哪些应用有关系。
Hive查询编辑器页面
用户登录成功后,选择Query Editors下面的Hive菜单项,如图所示:
在提交查询的时候,由于该查询执行时间较长,可以等待查询执行,最后结果显示在的现房的Results标签页上,也可以在执行过程中查看Hive后台执行情况。
Job浏览器页面
通过Job浏览器(Job Browser)页面http://10.10.4.125:8000/jobbrowser/,可以查看运行在Hadoop集群上各种状态的Job,包括Succeeded、Running、Failed、Killed这4种状态,如图所示:
如果想要看到Job具体执行状态信息,需要正确配置并启动Hadoop集群的JobHistoryServer和WebAppProxyServer服务,可以通过Web页面看到相关数据,我们的示例,如图所示:
如果想看某个Job对应的MapTask或者ReduceTask执行情况,可以点击对应链接进去,和通过Hadoop YARN的Job Web管理界面类似,监控起来非常方便。
用户管理和授权认证
以授权管理员用户登录成功后,可以通过点击右上角用户(我这里是yanjun),下拉列表中有“Manage Users”菜单项,在这里面可以创建新用户,并指定访问权限,如下图所示:
上面,我创建了几个用户,并指定用户所属的组(Groups,支持组管理)。实际上,我们可以将不同的Hue应用设置为不同的组,然后将新建的用户分配到该相关组,通过这种方式可以控制用户访问Hue应用的权限。上面创建并分配权限的用户可以通过设置的用户名和口令登录Hue Web管理系统,与各种Hadoop相关的应用(不仅仅限于此,如MySQL、Spark等)进行交互。
通过上面的了解,以及安装配置过程所遇到的问题,做一个总结:
如果基于CentOS环境安装配置Hue,可能相对复杂一点,不一定能够很容易的配置成功。我开始基于CentOS-5.11(Final)进行配置,没有配置成功,可能是使用的Hue的版本太高(branch-3.0和branch-3.7.1我都试过),或者可能是CentOS依赖的一些软件包无法安装等问题导致的。建议最好使用较新版本的CentOS,我这里使用的是CentOS-6.6 (Final),Hue使用的branch-3.7.1源码编译,并且Python版本需要2.6+。
使用Hue,我们可能会对用户管理及其权限分配也很感兴趣,所以数据存储,可以根据需要使用我们熟悉的其他关系数据库,如MySQL等,并做好备份,以防使用Hue应用的相关用户数据丢失,造成无法访问Hadoop集群等问题。需要修改Hue的配置文件,将默认存储方式sqlite3改成我们熟悉的关系数据库,目前支持MySQL、Postgresql,以及Oracle。
如果有必要,可能结合Hadoop集群底层的访问控制机制,如Kerberos,或者Hadoop SLA,配合Hue的用户管理和授权认证功能,更好地进行访问权限的约束和控制。
根据前面我们提到的Hue特性,我们可以根据自己实际的应用场景,来选择不同的Hue应用,通过这种插件式的配置来启动应用,通过Hue与其交互,如Oozie、Pig、Spark、HBase等等。
使用更低版本的Hive,如0.12,可能在验证过程中会遇到问题,可以根据Hive的版本来选择兼容版本的Hue来安装配置。
由于本次安装配置实践,并没有使用Cloudera发行的CDH软件包,如果使用CDH可能会更加顺利一些。
简单之美,难得简单,享受简单的唯美。
原文地址:, 感谢原作者分享。
您可能感兴趣的代码}

我要回帖

更多关于 hue配置oozie 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信