搜索结果
查询Tags标签： Hadoop，共有 784条记录-
ubuntu20安装Hadoop-2.8.0详细过程（第三步）| 分布式搭建hadoop
一、配置免密登录 1.1Hadoop上进行操作 配置master免密登录到slave。ssh-keygen -t rsa过程中输入3次enter，直至如图；然后，目录切换到/home/w/.ssh下，ls看下下属的文件：继续输入，复制公钥文件：cat id_rsa.pub >> authorized_keys修改authorized_keys文件的权…
2022/7/23 5:24:11 人评论 次浏览 -
大数据综合项目设计.考试复习题
一、选择题 1. 对文件进行归档的命令为 D 。 A. dd B. cpio C. gzip D. tar 2. 改变文件所有者的命令为 C 。 A. chmod B. touch C. chown D. cat 3. 在给定文件中查找与设定条件相符字符串的命令为 A 。 A. grep B. gzip C. find D. sort 4. 建立一个新文件可以使用的命…
2022/7/22 23:30:43 人评论 次浏览 -
HDFS Shell 操作
HDFS Shell 命令行格式格式一：hadoop fs –命令名 参数 格式二：hdfs dfs –命令名 参数HDFS 常用命令及参数 ls：查看 hdfs 中的目录信息 [root@node-01 ~]# hadoop fs -ls /put或copyFromLocal：将本地文件上传到 hdfs 中 [root@node-01 ~]# hadoop fs -put hdp.test01…
2022/7/15 5:21:23 人评论 次浏览 -
hadoop中如何mysql和linux的时间不正确该如何修正
1.进入mysql，查询：select now();2.运行临时命令：SET time_zone = +8:00;3.刷新配置：flush privileges;4.linux中修改配置文件 vi /etc/my.cnf [mysqld] default_time_zone = +8:005.重启mysql服务：service mysqld restart6.退出mysql后，重新进入mysql查看时间是…
2022/7/12 2:20:20 人评论 次浏览 -
第二周总结
从开始知道需要安装Hadoop到现在Hadoop安装成功并可以使用，前前后后花费了好长时间，但是从中也吸取了很多教训， 1.不要永远照抄别人的教程。这一点是我这近两天发现的，比如在所有的网上的教程，基本都是会指导你去安装一个Windows与Linux之间文件传输的工具 起初我也是…
2022/7/9 23:53:00 人评论 次浏览 -
大数据生态圈组件
目录HadoopZookeeperHiveFlumeKafkaHBaseSqoopAzkabanOozieMaxwellCanalSparkFlinkHUECDHKettle大数据学习路线 Hadoop由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。它实现…
2022/7/3 23:21:48 人评论 次浏览 -
第一周总结
第一周 应建民哥的要求安装hadoop 安装的步骤是按照网上来的，先配置java环境，这个我早已经配置好，然后下载hadoop安装hadoop3.3，保存至c盘目录下 下载hadooponwindows-master，将其中的bin 和etc替换到hadoop中，再配置hadoop的环境变量 Path添加hadoop环境 再修改 ha…
2022/7/2 23:24:45 人评论 次浏览 -
hdfs常用shell命令
1、创建文件夹 hadoop fs -mkdir [-p] ... path 为待创建的目录 -p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。 hdfs dfs -mkdir /temp2、查看指定目录下内容 hadoop fs -ls [-h] [-R] [ ...] path 指定目录路径 -h 人性化显示文件size -R 递归查看指定…
2022/7/2 5:20:39 人评论 次浏览 -
HDFS 在本地使用java API上传文件到阿里云ECS报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain bloc
HDFS 在本地使用java API上传文件到阿里云ECS报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block org.apache.hadoop.ipc.RemoteException(java.io.IOException): could only be replicated to 0 nodes instead of minReplication (=1) 问题描述…
2022/6/29 1:20:14 人评论 次浏览 -
Hadoop 2
Hadoop核心之MapReduce上部分提到Hadoop存储大数据的核心模块HDFS，这一部分介绍Hadoop处理大数据部分的核心模块MapReduce。Apache Foundation对MapReduce的介绍：“Hadoop MapReduce is a software framework for easily writing applications which process vast amoun…
2022/6/28 23:29:09 人评论 次浏览 -
Hadoop-day03 hadoop基本命令
一、Hadoop环境变量的配置首先进入linux环境配置的文件vim /etc/profile这样就进入配置文件的界面然后按下英文字母i就可以进入文件的编辑模式，后面输入环境变量的配置：HADOOP_HOME= （hadoop文件的根目录） PATH=.:$HADOOP/bin（Hadoop文件中的bin目录） 输入：HADOOP_…
2022/6/24 23:20:02 人评论 次浏览 -
sqoop从mysql导数据到hdfs使用lzop压缩格式，报：NullPointerException
sqoop从mysql导数据到hdfs使用lzop压缩格式，报：NullPointerException 具体报错如下： Error: java.lang.NullPointerExceptionat com.hadoop.mapreduce.LzoSplitRecordReader.initialize(LzoSplitRecordReader.java:63)at org.apache.hadoop.mapred.MapTask$NewTracking…
2022/6/18 2:50:12 人评论 次浏览 -
大数据之Hadoop集群的HDFS压力测试
测试HDFS写性能 1）写测试的原理2）测试内容：向HDFS集群写10个128MB的文件（3个机器每个4核，2 * 4 = 8 < 10 < 3 * 4 =12） [hadoop@hadoop103 ~]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.j…
2022/6/17 23:28:44 人评论 次浏览 -
大数据之Hadoop集群中MapReduce的Join操作
需求分析 如下两张输入表格 order表id pid amount1001 01 11002 02 21003 03 31004 01 41005 02 51006 03 6pd表pid pname01 小米02 华为03 格力将商品信息表中数据根据商品pid合并的订单数据表中id pname amount1001 小米 11004 小米 41002 华为 21005 华为 51003 格力 3…
2022/6/17 23:28:29 人评论 次浏览 -
大数据之Hadoop集群中Yarn常用命令
Yarn状态的查询，除了可以在hadoop103:8088页面查看以外，还可以通过命令操作。常见的命令操作如下所示。 需求：执行WordCount案例，并通过Yarn命令查看任务运行情况。 # 启动集群 [hadoop@hadoop102 bin]$ myhadoop.sh start # 运行wordcount案例 [hadoop@hadoop102 had…
2022/6/17 23:28:18 人评论 次浏览
