搜索结果
查询Tags标签： sqoop，共有 42条记录-
Sqoop-day01-简介_安装_MySQL数据准备
SQOOP简介：SQOOP安装 1、上传并解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/soft/2、修改文件夹名字 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.63、修改配置文件 # 切换到sqoop配置文件目录 cd /usr/local/soft/sqoop-1.4.6/co…
2022/6/20 6:20:38 人评论 次浏览 -
sqoop从mysql导数据到hdfs使用lzop压缩格式，报：NullPointerException
sqoop从mysql导数据到hdfs使用lzop压缩格式，报：NullPointerException 具体报错如下： Error: java.lang.NullPointerExceptionat com.hadoop.mapreduce.LzoSplitRecordReader.initialize(LzoSplitRecordReader.java:63)at org.apache.hadoop.mapred.MapTask$NewTracking…
2022/6/18 2:50:12 人评论 次浏览 -
Centos下安装Sqoop
1、安装环境虚拟机：CentOS Linux release 8.5.2111 名称：juneHadoop环境：Hadoop 2.7.3hive环境：hive-2.3.9Hbase版本：hbase-1.2.6Mysql版本：mysql Ver 14.14 Distrib 5.7.36, for Linux (x86_64) 2、下载sqoop下载sqoop：http://sqoop.apache.org/ 版本：1.…
2022/1/30 7:12:35 人评论 次浏览 -
Sqoop将Hive数据导入MySQL异常
1.问题描述： 使用sqoop导数据导入mysql报错duplicate entry for key primary2.报错发生的可能原因分析： 2.1原因一：主键冲突 分析：1.查看日志，根据日志报错提示，排查Hive中源表和目标表中数据entry后的主键，是否数据本身发生重复（主键重复）。 （经排查，源表和…
2022/1/3 2:08:17 人评论 次浏览 -
Sqoop将Hive数据导入MySQL异常
1.问题描述： 使用sqoop导数据导入mysql报错duplicate entry for key primary2.报错发生的可能原因分析： 2.1原因一：主键冲突 分析：1.查看日志，根据日志报错提示，排查Hive中源表和目标表中数据entry后的主键，是否数据本身发生重复（主键重复）。 （经排查，源表和…
2022/1/3 2:08:17 人评论 次浏览 -
Sqoop ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: ORA-01005
[hadoop@hadoop03 lib]$ sqoop import --hive-import --connect jdbc:oracle:thin:@10.0.0.2:9999:orcl \ > --username USRERNAME \ > --password !@2021 \ -bash: !@2021: event not found > --table EB_EMPLOYEE_OUTSIDE_INFO \ > --hive-import -m 2 \ &g…
2021/12/28 19:12:15 人评论 次浏览 -
Sqoop ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: ORA-01005
[hadoop@hadoop03 lib]$ sqoop import --hive-import --connect jdbc:oracle:thin:@10.0.0.2:9999:orcl \ > --username USRERNAME \ > --password !@2021 \ -bash: !@2021: event not found > --table EB_EMPLOYEE_OUTSIDE_INFO \ > --hive-import -m 2 \ &g…
2021/12/28 19:12:15 人评论 次浏览 -
Sqoop 从hive中使用export导出到mysql中，出现乱码问题
如图所示解决方案： Mysql建库时，设置编码方式为utf8。 create database if not exists test DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;character set 是字符集 collate 设置排序规则。 预防万一，建表也设置成utf8 CREATE TABLE IF NOT EXISTS t_order_subs…
2021/12/24 2:07:03 人评论 次浏览 -
Sqoop 从hive中使用export导出到mysql中，出现乱码问题
如图所示解决方案： Mysql建库时，设置编码方式为utf8。 create database if not exists test DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;character set 是字符集 collate 设置排序规则。 预防万一，建表也设置成utf8 CREATE TABLE IF NOT EXISTS t_order_subs…
2021/12/24 2:07:03 人评论 次浏览 -
【sqoop】
一、sqoop简介 用于在Hadoop(Hive)与传统的数据库(mysql、oracle...)之间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 二、sqoop原理 将导入或导出命令翻译成m…
2021/11/30 23:09:21 人评论 次浏览 -
【sqoop】
一、sqoop简介 用于在Hadoop(Hive)与传统的数据库(mysql、oracle...)之间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 二、sqoop原理 将导入或导出命令翻译成m…
2021/11/30 23:09:21 人评论 次浏览 -
Sqoop的mysqltohive报错
问题描述 执行语句bin/sqoop import --connect jdbc:mysql://localhost:3306/gdcmxy --username root --password root --table 2019bigdata --fields-terminated-by \t --delete-target-dir --num-mappers 1 --hive-import --hive-database gdcmxy --hive-table 2019bigd…
2021/11/9 19:40:11 人评论 次浏览 -
Sqoop的mysqltohive报错
问题描述 执行语句bin/sqoop import --connect jdbc:mysql://localhost:3306/gdcmxy --username root --password root --table 2019bigdata --fields-terminated-by \t --delete-target-dir --num-mappers 1 --hive-import --hive-database gdcmxy --hive-table 2019bigd…
2021/11/9 19:40:11 人评论 次浏览 -
Sqoop从MySQL向Hive增量式导入数据报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/j
1、问题描述： （1）问题示例： Step1:创建作业： [Hadoop@master TestDir]$ sqoop job \> --create myjob_1 \> -- import \> --connect "jdbc:mysql://master:3306/source?useSSL=false&user=Hive&password=******" \> --table sales_or…
2021/11/6 19:10:41 人评论 次浏览 -
Sqoop从MySQL向Hive增量式导入数据报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/j
1、问题描述： （1）问题示例： Step1:创建作业： [Hadoop@master TestDir]$ sqoop job \> --create myjob_1 \> -- import \> --connect "jdbc:mysql://master:3306/source?useSSL=false&user=Hive&password=******" \> --table sales_or…
2021/11/6 19:10:41 人评论 次浏览
