KETTLE（三）--kettle连接MySQL转换到HDFS

本文主要是介绍KETTLE（三）--kettle连接MySQL转换到HDFS，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

前期准备

第一步

1.Hadoop地址：https://archive.apache.org/dist/hadoop/common/
2. 下载hadoop在windows环境下支持包hadoopwindows-master.
  https://github.com/sardetushar/hadooponwindows
我这里hadoop下载的版本是2.7.7版本最好在网上查好你要下载那个版本，不然会报错
第二步
配置环境变量，添加%HADOOP_HOME%，添加path

第三步
Hadoop的文件配置
添加文件夹“data”，文件夹内添加datanode，namenode
修改文件，文件位置：hadoop-3.0.0\etc\hadoop\XXX
1.配置core-site.xml

<configuration>
    <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

2.配置hdfs-site.xml

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->  
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
     <name>dfs.permissions</name>
     <value>false</value>
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/Installed/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/D:/Installed/hadoop-3.0.0/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/D:/Installed/hadoop-3.0.0/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/Installed/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

3.配置mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

4.配置yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

初始化Hadoop

以管理员方式打开cmd，运行hadoop：

cd D:\java\hadoop-3.0.0\bin
hadoop namenode –format

然后启动Hadoop，出现四个窗口启动成功！

命令：start-all.cmd

将上边四个文件替换调kettle中的Hadoop文件
 1.连接Hadoop
  
  
点击测试，连接
  
  
  
mysql连接

输出
通过excel输出 可以查看数据准确性

这篇关于KETTLE（三）--kettle连接MySQL转换到HDFS的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！