Hue安装及测试文档
2021/4/26 10:29:24
本文主要是介绍Hue安装及测试文档,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
开始准备使用docker 的,但是官方镜像为Ubuntu 的,不是很方便,
但是docker file研究了一下,后面有时间再研究一下docker,docker 还是很好玩的。(这个花了一天时间)----放弃,但有收获,看看这奇葩的配置
docker run -tid --name huewajj --hostname dcp241 -p 8888:8888 -v /usr/hdp:/usr/hdp -v /etc/hadoop:/etc/hadoop -v /etc/hive:/etc/hive -v /etc/hbase:/etc/hbase -v /etc/spark:/etc/spark -v /docker-config/pseudo-distributed.ini:/hue/desktop/conf/pseudo-distributed.ini -v /etc/hue/hue.keytab:/etc/hue/hue.keytab -v /usr/bin/kinit:/usr/bin/kinit gethue/hue:latest #./build/env/bin/hue runserver_plus 0.0.0.0:8888 |
一、 组网:
一个单点:hue 再加一个mysql 再加一个apache wsgi或 nginx wsgi架构 现在在测试阶段,我只用一台mysql和hue 随便找一台datanode,或单独的服务,datanode就不需要去拷一堆xml,单独的服务器,需要装很多东西,不推荐。 |
二、 Hue的编译
Hue编译需要外网环境:怎么办,我们先做好包,到环境上面进行make install ,make install 不需要外网环境支持,只需要把相应的要求的rpm包装好就行了。
配置maven环境
/home/client/apache-maven-3.3.9/bin/mvn 需要把java 配置到环境变量里面,这里最好以java_7.67版本进行编译 下载mvn 包: 登陆可以连接外网的环境的liunx主机:10.1.235.79 wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz 解包:tar xzvf apache-maven-3.3.9-bin.tar.gz 加入/etc/profile环境变量 export MAVEN_HOME=/home/client/apache-maven-3.3.9 export PATH=$JAVA_HOME/bin:$PATH:${MAVEN_HOME}/bin 测试 source /etc/profile ;whereis mvn /home/client/apache-maven-3.3.9/bin/mvn.cmd /home/client/apache-maven-3.3.9/bin/mvn mvn -version Apache Maven 3.3.9 如果有条件,我们部门,可以搭建一个mavn私服 |
依赖包安装
yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libtidy libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel openssl-devel gmp-devel xmlsec1 xmlsec1-openssl[a1]
#注意,我们如果使用percona-server后面的make install会报错 mysql可以从http://repo.mysql.com/yum/mysql-5.6-community/el/7/x86_64/下载 mysql-community-common-5.6.34-2.el7.x86_64 mysql-community-devel-5.6.35-2.el7.x86_64 mysql-community-server-5.6.34-2.el7.x86_64 mysql-community-client-5.6.35-2.el7.x86_64 mysql-community-libs-5.6.34-2.el7.x86_64 这些包,进行安装 rpm –ivh 包名一个个地装 后续还是要做相应的yum源 其他的就是用yum源安装就行了 |
进行hue包的编译
https://github.com/cloudera这个是githue上面的网址 https://github.com/cloudera/hue 这个是githue上面的网址注意注一下载 git clone https://github.com/cloudera/hue.git branch-3.9 cd branch-3.9 这里面有几项,如下在测试之前,我使用的branch-3.9 在下面的环境我使用git clonehttps://github.com/cloudera/hue.git branch-3.11.0 测试一下,对hbase 和 spark的支持(反正3.9对 hbase和spark 的不支持) 下面进行编译 看一下makefile install : Install at $PREFIX (/usr/local/hue); need desktop 安装用的 apps : Build and register all desktop apps; need desktop 安装应用: desktop : Build desktop core only clean : Remove desktop build products distclean : Remove desktop and thirdparty build products docs : Build documentation 安装文档 prod : Generate a tar file for production distribution 就是打包 locales : Extract strings and update dictionary of each locale theme : Builds the Hue Bootstrap Theme ace : Builds the Ace Editor tool 我们可以安装 make prod #打生产包 注意里面的报错,报错就一个个解决,反正能编译出来 产生包:在编译最后产生 编译时间很长 --- Generated /data/branch-3.11.0/build/release/prod/hue-3.11.0.tgz nm需要20分钟才能产生这个包 下面就拎着这个包到生产上面装吧 解这个包:然后就装吧 export PREFIX=/usr/local/hue;make install 创建hue 用户(集群所有主机都创建这个用户) useradd -m hue -s /bin/bash -d /home/hue 修改权限 chown –R hue.hue /usr/local/hue /usr/local/hue/hue/build/env/bin
|
三、 环境hadoop配置
将hue 用户设置成super user
在后台配置里面会看到:
vi core-site.xml
|
重启需要重启的服务:包括namenode,yarn
创建hue keytab文件,登陆kadmin服务器
kadmin.local addprinc -randkey hue/dcp79 xst -k hue.keytab hue/dcp79 exit scp hue.keytab 10.1.235.79:/usr/local/hue #将本地生成这个文件传到相应的机器上面 |
四、 配置整理(本章节全部是修改/usr/local/hue/hue/desktop/conf/hue.ini)
配置完的参数hue.ini:
见二个配置文件:
先备份:
设置desktop里面的
cp -a /usr/local/hue/hue/desktop/conf /usr/local/hue/hue/desktop/conf_2016_12_16 |
|
初始化数据库
2.1) bin/hue syncdb |
这个,我星期一再补充
五、 测试
Hdfs 上传下载支持
Jobbrower支持查看
支持多用户的切换
支持hive 的查询,
支持zookeeper的功能
这个周一再补充
六、 需要进一步解决的问题
确认:spark 应该是不支持
支持方式如下:
http://gethue.com/a-new-spark-web-ui-spark-app/
但是对hue的支持hdp是这样的说的
Spark
We are improving the Spark Editor and mightchange the Job Server and stuff is still pretty manual/not recommend for now.
HBase ---这个需要跟进一下,我升了一个版本,
这个官方的解答如下:
Currently not tested (should work with Thrift Server 1)
现在的报错:如下
Api Error: The kerberos principal name ismissing from the hbase-site.xml configuration file.
Hue 对 webhdfs 的支持不太好,主要是namenode切换后,需要重新配置
Hue对 resourcemanger 的支持不太好,主从切换后,需要重新配置
Kerberos 的支持
kinit: KDC can't fulfill requested optionwhile renewing credentials
这块的支持
[a1]3.11新增
这篇关于Hue安装及测试文档的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-26Mybatis官方生成器资料详解与应用教程
- 2024-11-26Mybatis一级缓存资料详解与实战教程
- 2024-11-26Mybatis一级缓存资料详解:新手快速入门
- 2024-11-26SpringBoot3+JDK17搭建后端资料详尽教程
- 2024-11-26Springboot单体架构搭建资料:新手入门教程
- 2024-11-26Springboot单体架构搭建资料详解与实战教程
- 2024-11-26Springboot框架资料:新手入门教程
- 2024-11-26Springboot企业级开发资料入门教程
- 2024-11-26SpringBoot企业级开发资料详解与实战教程
- 2024-11-26Springboot微服务资料:新手入门全攻略