Hadoop课1-4

2021/4/19 18:58:26

编程Tag： linux 虚拟机 防火墙 Hadoop Home opt kfk

本文主要是介绍Hadoop课1-4，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！ 

得先开虚拟机开机然后再打开xshell才能连上
yum install lrzsz

[sdd@bigdata-pro01 ~]$ ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.124.160  netmask 255.255.255.0  broadcast 192.168.124.255
        inet6 fe80::6359:2bb7:b9cd:169c  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:ef:e6:01  txqueuelen 1000  (Ethernet)
        RX packets 310  bytes 27322 (26.6 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 133  bytes 14066 (13.7 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 64  bytes 5440 (5.3 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 64  bytes 5440 (5.3 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

virbr0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 192.168.122.1  netmask 255.255.255.0  broadcast 192.168.122.255
        ether 52:54:00:6c:61:e7  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[sdd@bigdata-pro01 ~]$ 

1、inet addr：192.168.124.155位本机IP地址。
2、mask：255.255.255.0位本机掩码。
lo：local的简写，一般指本地环回接口。


参考博客为什么每次虚拟机开启都要安装一次
https://blog.csdn.net/weixin_41522164/article/details/82814375
https://blog.csdn.net/shiliang97/article/details/104425767
https://jingyan.baidu.com/article/ff42efa9fd8c1cc19e2202bb.html
https://blog.csdn.net/weixin_32858247/article/details/114153469
https://blog.csdn.net/suixuejie/article/details/94718015
https://blog.csdn.net/qq_36706878/article/details/105578816?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-0&spm=1001.2101.3001.4242
rz -be上传本地文件
解决办法：
解压加-C 绝对路径后，可以正常解压
-C参数：切换到指定目录
tar -zxvf nmon_linux_14i.tar.gz -C /usr/local/nmon/
命令:vim /etc/profile

进入文本编辑,用按键"shift+g"定位到文件尾,点击'i' 进入编辑,
使用#tar -tf 压缩包名称，可以查看压缩包内容
export JAVA_HOME=/usr/local/src/jdk1.8.0_171 （根据自己的完整路径修改）

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

写完后,点击'esc'按钮退出

用命令':wq!'保存退出

5.让环境变量生效

执行命令:source /etc/profile

6、然后执行以下命令验证是否安装成功:

     java -version

此时就可以看到自己的环境变量已经设置成功了.显示了JDK的版本

管理员：root
密码：；sdd123456

账号：sdd
密码：sdd123456

如果要切换到sdd账号话那就su sdd,然后输入密码就可以从root->sdd账户

centos7系统iptables是叫firewalld， 
使用systemctl status firewalld查看是否启动。
Active:active(Running)正在启动
使用命令：systemctl status firewalld.service
查看防火墙状态
执行后可以看到绿色字样标注的“active（running）”，说明防火墙是开启状态
使用命令：systemctl stop firewalld.service    
关闭运行的防火墙
关闭后，使用命令systemctl status firewalld.service
查看防火墙状态
可以看到，disavtive（dead）的字样，说明防火墙已经关闭
面的方法，一旦重启操作系统，防火墙就自动开启了，该怎么设置才能永久关闭防火墙呢？
输入命令：systemctl disable firewalld.service，禁止防火墙服务器

第二章：linux环境准备与设置 

1.Linux系统常规设置
Linux系统安装这里就不再详细讲解，不熟悉的同学可以参考相关免费课程，接下来我们重点了解Linux系统常规设置。
1）设置ip地址
项目视频里面直接使用界面修改ip比较方便，如果Linux没有安装操作界面，需要使用命令：vi /etc/sysconfig/network-scripts/ifcfg-eth0 来修改ip地址，然后重启网络服务service network restart即可。
2）创建用户
大数据项目开发中，一般不直接使用root用户，需要我们创建新的用户来操作，比如kfk。
a）创建用户命令：adduser kfk
b）设置用户密码命令：passwd kfk
3）文件中设置主机名
Linux系统的主机名默认是localhost，显然不方便后面集群的操作，我们需要手动修改Linux系统的主机名。
a）查看主机名命令：hostname
b）修改主机名称
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=bigdata-pro01.kfk.com
4）主机名映射
如果想通过主机名访问Linux系统，还需要配置主机名跟ip地址之间的映射关系。
vi /etc/hosts
192.168.31.151 bigdata-pro01.kfk.com
配置完成之后，reboot重启Linux系统即可。
如果需要在windows也能通过hostname访问Linux系统，也需要在windows下的hosts文件中配置主机名称与ip之间的映射关系。在windows系统下找到C:\WINDOWS\system32\drivers\etc\路径，打开HOSTS文件添加如下内容：
192.168.31.151 bigdata-pro01.kfk.com
5）root用户下设置无密码用户切换
在Linux系统中操作是，kfk用户经常需要操作root用户权限下的文件，但是访问权限受限或者需要输入密码。修改/etc/sudoers这个文件添加如下代码，即可实现无密码用户切换操作。
vi /etc/sudoers
#添加如下内容即可
kfk ALL=(root)NOPASSWD:ALL
6）关闭防火墙
我们都知道防火墙对我们的服务器是进行一种保护，但是有时候防火墙也会给我们带来很大的麻烦。 比如它会妨碍hadoop集群间的相互通信，所以我们需要关闭防火墙。 那么我们永久关闭防火墙的方法如下:
vi /etc/sysconfig/selinux
SELINUX=disabled
保存、重启后，验证机器的防火墙是否已经关闭。
a）查看防火墙状态：service iptables status
b）打开防火墙：service iptables start
c）关闭防火墙：service iptables stop
7）卸载Linux本身自带的jdk
一般情况下jdk需要我们手动安装兼容的版本，此时Linux自带的jdk需要手动删除掉，具体操作如下所示：
a）查看Linux自带的jdk
rpm -qa|grep java 
b）删除Linux自带的jdk
rpm -e --nodeps [jdk进程名称1 jdk进程名称2 ...]
2.克隆虚拟机并进行相关的配置
前面我们已经做好了Linux的系统常规设置，接下来需要克隆虚拟机并进行相关的配置。
1）kfk用户下创建我们将要使用的各个目录
#软件目录
mkdir /opt/softwares
#模块目录
mkdir /opt/modules
#工具目录
mkdir /opt/tools
#数据目录
mkdir /opt/datas

更改用户所属目录
sudo chown -R kfk:kfk /opt/*

更改文件权限
Chmod u+x /opt/softwares/*
2）jdk安装
大数据平台运行环境依赖JVM，所以我们需要提前安装和配置好jdk。 前面我们已经安装了64位的centos系统，所以我们的jdk也需要安装64位的，与之相匹配
a）将jdk安装包通过工具上传到/opt/softwares目录下
b）解压jdk安装包
#解压命令
tar -zxf jdk-7u67-linux-x64.tar.gz /opt/modules/
#查看解压结果
ls
jdk1.7.0_67
c）配置Java 环境变量
vi /etc/profile
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
d）查看Java是否安装成功
java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
3）克隆虚拟机
在克隆虚拟机之前，需要关闭虚拟机，然后右键选中虚拟机——》选择管理——》选择克隆——》选择下一步——》选择下一步——》选择创建完整克隆，下一步——》选择克隆虚拟机位置（提前创建好），修改虚拟机名称为Hadoop-Linux-pro-2，然后选择完成即可。
然后使用同样的方式创建第三个虚拟机Hadoop-Linux-pro-3。
4）修改克隆虚拟机配置
克隆完虚拟机Hadoop-Linux-pro-2和Hadoop-Linux-pro-3之后，可以按照Hadoop-Linux-pro-1的方式配置好ip地址、hostname，以及ip地址与hostname之间的关系。

第一步
1,安装centos

第二步
2,手动配置IP地址,虚拟机采用NAT联网模式

第三步
设置主机名

第四步
配置JDK

第五步

1,安装目录解压hadoop
解压命令:tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/

目录介绍
bin:hadoop命令
sbin:执行日志和启动命令
etc:配置文件目录

2,通过ftp工具来配置
配置hadoop-env.sh
在这里插入图片描述

在这里插入图片描述

查看java home echo $JAVA_HOME
hadoop环境配置文件,配置JAVA_HOME ,

在这里插入图片描述

vi /etc/profile

加下面的

export JAVA_HOME=/opt/modules/jdk1.8.0_261
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/modules/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

进官网(http://hadoop.apache.org/),查看文档

(3)namenode配置
在这里插入图片描述
core-site.xml

	<configuration>
		<property>
			<name>fs.defaultFS</name>
			<value>hdfs://bigdata-pro01.kfk.com:9000</value>
		</property>
	</configuration>

hdfs-site.xml

	<configuration>
		<property>
			<name>dfs.replication</name>
			<value>2</value>
		</property>
	</configuration>

datanode

slaves:

bigdata-pro01.kfk.com
bigdata-pro02.kfk.com
bigdata-pro03.kfk.com

(4)格式化HDFS(生成image和日志)

/opt/modules/hadoop/bin/hdfs namenode -format

(5)启动

/opt/modules/hadoop/sbin/hadoop-daemon.sh start namenode

/opt/modules/hadoop/sbin/hadoop-daemon.sh start datanode

(6)查看WEB服务bigdata-pro01.kfk.com:50070
sudo service iptables status (查看防火墙状态)
service iptables stop (关闭)

http://bigdata-pro01.kfk.com:50070/
在这里插入图片描述

http://xk.nodewit.com/



这篇关于Hadoop课1-4的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！


相关编程文章

更多>
本站官方QQ
官方QQ:
23002807

沪ICP备2023033072号-1

     

扫一扫关注最新编程教程