Centos下安装Sqoop
2022/1/30 7:12:35
本文主要是介绍Centos下安装Sqoop,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
1、安装环境
虚拟机:CentOS Linux release 8.5.2111 名称:june
Hadoop环境:Hadoop 2.7.3
hive环境:hive-2.3.9
Hbase版本:hbase-1.2.6
Mysql版本:mysql Ver 14.14 Distrib 5.7.36, for Linux (x86_64)
2、下载sqoop
下载sqoop:http://sqoop.apache.org/ 版本:1.4.6
上传虚拟机至:/opt/sqoop (sqoop文件夹自行创建:mkdir sqoop)
3、解压至/opt/sqoop
进入/opt/sqoop
执行命令:tar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
4、复制mysql-jar包
注:********是把hive中的驱动包复制到sqoop下*********
进入/opt/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib
执行命令:cp /opt/hive/apache-hive-2.3.9-bin/lib/mysql-connector-java-5.1.24.jar /opt/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib
5、文件配置
进入/opt/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf
执行命令:
- cp -a sqoop-env-template.sh sqoop-env.sh
- vim sqoop-env.sh
修改内容如下(路径填写自己所安装软件的路径):
export HADOOP_COMMON_HOME=/opt/Hadoop/hadoop-2.7.3 #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=/opt/Hadoop/hadoop-2.7.3 #set the path to where bin/hbase is available export HBASE_HOME=/opt/Hadoop/software/hbase-1.2.6 #Set the path to where bin/hive is available export HIVE_HOME=/opt/hive/apache-hive-2.3.9-bin #Set the path for where zookeper config dir is export ZOOCFGDIR=/opt/Hadoop/software/zookeeper-3.4.10
6、运行测试
测试命令:
(以下命令是在/opt/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha下执行的)
sqoop命令:
$ bin/sqoop help
$ bin/sqoop list-databases --help **显示某个子命令的帮助信息,list-databases是一个子命令
--显示出对应节点上的所有数据库,用来测试RDBMS[mysql]是否能够连接,'\'表示一条命令语句中的换行
$ bin/sqoop-list-databases \
--connect jdbc:mysql://june:3306 \
--username root \
--password .Xuan0613
这篇关于Centos下安装Sqoop的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-09-19Excel数据导出课程:初学者必备教程
- 2024-09-19Excel数据导入课程:新手入门指南
- 2024-09-19RBAC的权限管理入门教程
- 2024-09-19如何使用Svg Sprite Icon制作图标
- 2024-09-19uniapp 如何实现点赞后全局更新数据-icode9专业技术文章分享
- 2024-09-19云函数怎么运行wx-server-sdk-icode9专业技术文章分享
- 2024-09-19"dependencies": { "wx-server-sdk": "latest" },是什么意思-icode9专业技术文章分享
- 2024-09-16优化批处理流程:自定义BatchProcessorUtils的设计与应用
- 2024-09-15laravel collect游标批量插入的方法示例-icode9专业技术文章分享
- 2024-09-15怎么修改laravel的中间件 把获取IP改成X-Real-IP-icode9专业技术文章分享