Hue安装及测试文档

2021/4/26 10:29:24

本文主要是介绍Hue安装及测试文档,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

开始准备使用docker 的,但是官方镜像为Ubuntu 的,不是很方便,

但是docker file研究了一下,后面有时间再研究一下docker,docker 还是很好玩的。(这个花了一天时间)----放弃,但有收获,看看这奇葩的配置

docker run -tid --name huewajj --hostname dcp241 -p 8888:8888 -v /usr/hdp:/usr/hdp -v /etc/hadoop:/etc/hadoop  -v /etc/hive:/etc/hive -v /etc/hbase:/etc/hbase  -v /etc/spark:/etc/spark   -v /docker-config/pseudo-distributed.ini:/hue/desktop/conf/pseudo-distributed.ini  -v /etc/hue/hue.keytab:/etc/hue/hue.keytab  -v /usr/bin/kinit:/usr/bin/kinit gethue/hue:latest  #./build/env/bin/hue runserver_plus 0.0.0.0:8888

 

一、   组网:

一个单点:hue

再加一个mysql

再加一个apache  wsgi或 nginx wsgi架构

现在在测试阶段,我只用一台mysql和hue

随便找一台datanode,或单独的服务,datanode就不需要去拷一堆xml,单独的服务器,需要装很多东西,不推荐。

 

二、   Hue的编译

Hue编译需要外网环境:怎么办,我们先做好包,到环境上面进行make install ,make install 不需要外网环境支持,只需要把相应的要求的rpm包装好就行了。

配置maven环境

/home/client/apache-maven-3.3.9/bin/mvn

需要把java  配置到环境变量里面,这里最好以java_7.67版本进行编译

下载mvn 包:

登陆可以连接外网的环境的liunx主机:10.1.235.79

wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz

解包:tar xzvf apache-maven-3.3.9-bin.tar.gz

加入/etc/profile环境变量

export MAVEN_HOME=/home/client/apache-maven-3.3.9

export PATH=$JAVA_HOME/bin:$PATH:${MAVEN_HOME}/bin

测试

source /etc/profile ;whereis mvn

/home/client/apache-maven-3.3.9/bin/mvn.cmd /home/client/apache-maven-3.3.9/bin/mvn

mvn -version

Apache Maven 3.3.9

如果有条件,我们部门,可以搭建一个mavn私服

依赖包安装

yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libtidy  libxml2-devel libxslt-devel make  openldap-devel python-devel sqlite-devel openssl-devel  gmp-devel  xmlsec1  xmlsec1-openssl[a1]

 

#注意,我们如果使用percona-server后面的make install会报错

mysql可以从http://repo.mysql.com/yum/mysql-5.6-community/el/7/x86_64/下载

mysql-community-common-5.6.34-2.el7.x86_64

mysql-community-devel-5.6.35-2.el7.x86_64

mysql-community-server-5.6.34-2.el7.x86_64

mysql-community-client-5.6.35-2.el7.x86_64

mysql-community-libs-5.6.34-2.el7.x86_64

这些包,进行安装

rpm –ivh 包名一个个地装

后续还是要做相应的yum源

其他的就是用yum源安装就行了

进行hue包的编译

https://github.com/cloudera这个是githue上面的网址

https://github.com/cloudera/hue 这个是githue上面的网址注意注一下载

git clone https://github.com/cloudera/hue.git branch-3.9

cd branch-3.9

这里面有几项,如下在测试之前,我使用的branch-3.9

在下面的环境我使用git clonehttps://github.com/cloudera/hue.git branch-3.11.0

测试一下,对hbase  和 spark的支持(反正3.9对 hbase和spark 的不支持)

下面进行编译

看一下makefile

  install     : Install at $PREFIX (/usr/local/hue); need desktop

安装用的

  apps        : Build and register all desktop apps; need desktop

安装应用:

  desktop     : Build desktop core only

  clean       : Remove desktop build products

  distclean   : Remove desktop and thirdparty build products

  docs        : Build documentation

安装文档

  prod        : Generate a tar file for production distribution

就是打包

  locales     : Extract strings and update dictionary of each locale

  theme       : Builds the Hue Bootstrap Theme

  ace         : Builds the Ace Editor tool

我们可以安装

make prod #打生产包

注意里面的报错,报错就一个个解决,反正能编译出来

产生包:在编译最后产生

编译时间很长

--- Generated /data/branch-3.11.0/build/release/prod/hue-3.11.0.tgz

nm需要20分钟才能产生这个包

下面就拎着这个包到生产上面装吧

解这个包:然后就装吧

export PREFIX=/usr/local/hue;make install

创建hue 用户(集群所有主机都创建这个用户)

useradd -m hue -s /bin/bash -d /home/hue

修改权限

chown –R hue.hue /usr/local/hue

/usr/local/hue/hue/build/env/bin

 

 

 

三、   环境hadoop配置

将hue 用户设置成super user


在后台配置里面会看到:

vi core-site.xml

  

     

     

   

 

   

     

     

   

重启需要重启的服务:包括namenode,yarn

创建hue keytab文件,登陆kadmin服务器

kadmin.local

      addprinc -randkey  hue/dcp79 

      xst  -k  hue.keytab  hue/dcp79

      exit

scp hue.keytab  10.1.235.79:/usr/local/hue #将本地生成这个文件传到相应的机器上面

 

四、   配置整理(本章节全部是修改/usr/local/hue/hue/desktop/conf/hue.ini)

配置完的参数hue.ini:

见二个配置文件:

           

 

先备份:

设置desktop里面的

cp  -a  /usr/local/hue/hue/desktop/conf  /usr/local/hue/hue/desktop/conf_2016_12_16

 

 

初始化数据库

2.1) bin/hue syncdb
2.2) bin/hue migrate

 

这个,我星期一再补充

五、   测试

Hdfs 上传下载支持

Jobbrower支持查看

支持多用户的切换

支持hive 的查询,

支持zookeeper的功能

这个周一再补充

六、   需要进一步解决的问题

确认:spark 应该是不支持

支持方式如下:

http://gethue.com/a-new-spark-web-ui-spark-app/

 

但是对hue的支持hdp是这样的说的

Spark

 We are improving the Spark Editor and mightchange the Job Server and stuff is still pretty manual/not recommend for now.

 

 

HBase  ---这个需要跟进一下,我升了一个版本,

这个官方的解答如下:

Currently not tested (should work with Thrift Server 1)   

现在的报错:如下

Api Error: The kerberos principal name ismissing from the hbase-site.xml configuration file.

 

 

Hue 对 webhdfs 的支持不太好,主要是namenode切换后,需要重新配置

Hue对 resourcemanger 的支持不太好,主从切换后,需要重新配置

 

Kerberos 的支持

kinit: KDC can't fulfill requested optionwhile renewing credentials

这块的支持

 

 


 

 [a1]3.11新增



这篇关于Hue安装及测试文档的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程