第7章Hadoop的数据仓库框架-Hive

2021/10/4 23:13:12

本文主要是介绍第7章Hadoop的数据仓库框架-Hive,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

       

目录

7.1Hive的配置与安装

7.1.1安装MySQL

        (1)安装MySQL

      (2)配置Mysql

         7.1.2安装和配置Hive 

        (1)安装hive

        (2)配置环境变量

        (3)配置hive

        (4)上传jar包

        (5)启动hive

 7.1.3远程连接虚拟机mysql

        (1)开启虚拟机mysql的远程连接

        (2)在外部开启sqlyog或者navicat连接就行了


        在Facebook Jeff团队所构建的信息平台中,最庞大的组成部分是Apache Hive。Hive是一个构建在Hadoop上的数据仓库框架,是应Facebook每天产生的海量网络数据进行管理和机器学习的需求而产生和发展的。

7.1Hive的配置与安装

        Hive有3种Metastore的配置方式,分别是内嵌模式、本地模式和远程模式。这里我们以本地模式为例,介绍Hive的配置与安装,首先,本地模式需要Mysql作为Hive Metastore的存储数据库,因此在安装Hive之前需要先安装MySQL

7.1.1安装MySQL

        (1)安装MySQL

mkdir /usr/local/mysql   #创建mysql的目录

yum -y install wget  #安装wget

wget http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm   #下载mysql安装包

rpm -ivh "包名"     #解压mysql安装包

yum -y install mysql-community-server  #安装mysql服务

systemctl restart mysqld  #重启mysql服务


以上命令在虚拟机的根目录下进行就行

        (2)配置Mysql

grep "password" /war/log/mysqld.log   #寻找mysql的初始密码,然后复制

进入mysql

mysql -u root -p   #按enter

粘贴密码

set global validate_password_policy=0;   #更改策略

set global validate_password_policy=LOW;  #降低密码强度

set global validate_password_length=6;   #设置密码长度为6位

alter user 'root'@'localhost' IDENTIFIED BY '123456';  #设置密码

exit;  #退出mysql



7.1.2安装和配置Hive 

        (1)安装hive

mkdir /usr/local/hive  #创建hive目录

拖拽文件至该文件夹

tar -zxvf apache-hive-1.2.2-bin.tar.gz   #解压安装包

rm -rf apache-hive-1.2.2-bin.tar.gz   #删除安装包

        (2)配置环境变量

vim /etc/profile  #编辑环境变量文件

添加以下代码

export HIVE_HOME=/usr/local/hive/apache-hive-1.2.2-bin

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin  #在path中添加最后的HIVE_HOME

source /etc/profile  #生效环境变量

        (3)配置hive

进入apache-hive-1.2.2-bin/conf目录下

(1)新建文件hive-site.xml

vim  hive-site.xml  #在此文件添加下面代码

<configuration>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>

</configuration>


(2)配置hive-env.sh

cp hive-env.sh.template hive-env.sh  #复制并更改名字
修改此文件第48行的HADOOP_HOME路径





        (4)上传jar包

        将要用的jar包传送到hive的lib文件下(这个文件我回头上传到我的资源上)

        (5)启动hive

        启动一:直接在根目录下输入:hive shell

        启动二:进入hive的bin目录下输入./hiveserver2,重新启动一个客户端,在bin目录下输入:./beeline -u jdbc:hive2://localhost:10000 -n root

7.1.3远程连接虚拟机mysql

        (1)开启虚拟机mysql的远程连接

首先进入mysql 

mysql -u root -p123456

进入之后输入
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;  #开启远程连接

FLUSH PRIVILEGES #刷新

        (2)在外部开启sqlyog或者navicat连接就行了

 



这篇关于第7章Hadoop的数据仓库框架-Hive的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程