搜索结果
查询Tags标签： Hadoop，共有 784条记录-
Ubuntu下安装伪分布式HADOOP遇到的一些问题
跟着网上的教程一步步做下来，遇到了一些坑，ubuntu 20.04 hadoo 3.2.3 1. 首先是忘记切换用户，hadoop用户的 .bashrc里没有配置JAVA_HOME，导致后面乱忙活 2. 查询hadoop版本号的指令不是hadoop -version，而是在hadoop文件夹下 ./bin/hadoop version，虽然安装成功了…
2022/9/9 5:24:44 人评论 次浏览 -
HDFS 伪分布式环境搭建
HDFS 伪分布式环境搭建 作者：Grey 原文地址： 博客园：HDFS 伪分布式环境搭建 CSDN：HDFS 伪分布式环境搭建 相关软件版本Hadoop 2.6.5CentOS 7Oracle JDK 1.8安装步骤 在CentOS 下安装 Oracle JDK 1.8 下载地址 将下载好的 JDK 的安装包 jdk-8u202-linux-x64.tar.gz 上传…
2022/9/5 23:23:00 人评论 次浏览 -
暑假学习6 hdfs shell命令
命令行操作：cli Hadoop的命令shell ：Hadoop fs -ls file: 操作 本地的文件系统 hadoop fs -ls hdfs://node1:8020 操作hdfs分布式文件系统 hadoop fs -ls 直接根目录，加载环境变量中fs.defaultFS的值 查看配…
2022/8/30 5:22:48 人评论 次浏览 -
暑假学习二 8.24
今日学习内容补充： 1.hadoop介绍： 狭义: 核心组件，Hadoop hdfs 分布存储 yarn 资源管理和任务调度框架 mapreduce 计算 （企业基本不再直接使用）广义： 围绕Hadoop打造的大数据生态圈Hadoop发行版本： 开源社区：http://hadoop.apache.org/ 商业版本：cloudera和…
2022/8/25 6:24:16 人评论 次浏览 -
大数据Hadoop之——HDFS小文件问题与处理实战操作
目录一、背景1）小文件是如何产生的？2）文件块大小设置3）HDFS分块目的二、HDFS小文件问题处理方案1）Hadoop Archive（HAR）2）Sequence file3）CombineFileInputFormat4）开启JVM重用5）合并本地的小文件，上传到 HDFS（appendToFile ）6）合并 HDFS 的小文件，下载到本…
2022/8/22 6:56:50 人评论 次浏览 -
【学习打卡】第14天 Hadoop再深入之环境搭建
第一模块课程名称：Hadoop 系统入门+核心精讲章节名称：3-7 ~ 3-10讲师姓名：Michael_PK第二模块内容概述：3-7 ~ 3-10小节主要讲解了Hadoop部署前的一些前置准备工作，包括：JDK的安装、ssh无密码登录设置以及Hadoop安装后的目录结构第三模块学习心得：通过这4章的学习使…
2022/8/20 4:23:00 人评论 次浏览 -
详解搭建ubuntu版hadoop集群
https://download.csdn.net/download/weixin_38583278/12844195?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522166031563616782388063085%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=166031563616782388063…
2022/8/13 5:22:59 人评论 次浏览 -
平台搭建（伪分布式）
平台搭建（伪分布式） 伪分布式搭建 在VM中搭建std-master修改配置文件centos7-cl1.vmdkstd-master.vmx- 将配置文件中vm的版本号改成自己电脑对应的vm版本修改客户端的操作系统为centos 7 64位打开虚拟机修改虚拟机网络 cd /etc/sysconfig/network-scripts vim ifcfg-ens…
2022/8/4 23:27:23 人评论 次浏览 -
自定义udtf函数（一进多出）
案例要求java编写 package udtf;import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF; import org.apache.hadoop.hive.serde2.objectins…
2022/8/4 23:24:40 人评论 次浏览 -
安装Hadoop2.10.1
前言通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop 所有文件同步到其他Hadoop节点。 一、集群规划#主机名‘master/hadoop1’ ‘slave01/hadoop2’ ‘slave02/hadoop3’ #启动节点Namenode Nodemanager No…
2022/8/4 6:25:32 人评论 次浏览 -
安装Kibana
环境:OS:Centos 7ES:6.8.5 1.下载注意下载的版本需要与ES的版本保持一致wget https://artifacts.elastic.co/downloads/kibana/kibana-6.8.5-linux-x86_64.tar.gz 2.解压安装[root@hadoop-slave1 soft]# tar -xvf kibana-6.8.5-linux-x86_64.tar.gz[root@hadoop-slave1 so…
2022/8/1 23:24:18 人评论 次浏览 -
hadoop API学习
hadoop API就是在windows上进行环境配置，远程操作linux的hdfs，今天学习的是将在终端上的命令转换为代码，通过代码对hadoop上面的数据远程操作，练习的命令有文件上传、下载、创建目录、删除、更名和移动、获取文件信息、查看文件类型代码的操作使用Java编写，用到maven…
2022/8/1 23:23:07 人评论 次浏览 -
Hadoop入门(1)——Hadoop概论
大数据 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现里和流程优化能力的海量、高增长率和多样化的信息资产。通常都是 TB、PB、EB级别的数据。 大数据主要解决海量数据的采…
2022/7/31 23:35:41 人评论 次浏览 -
暑假总结
在上一周，小学期结束，正式进入了暑假。同时，暑假的自学也正式开始，这一周学习了对hadoop的环境进行了基本的配置，能够正常上传文件；其次，学习大数据必不可少的就是python，python可以用于大数据的收集，hadoop用于数据的处理和分析；最后，自己的Java框架仍然有待提…
2022/7/24 6:25:16 人评论 次浏览 -
大数据Hadoop之——DorisDB介绍与环境部署（StarRocks）
目录一、Apache Doris 和 DorisDB、StarRocks之间的关系二、StarRocks概述1）特征2）适用场景1、OLAP 多维分析2、实时数据仓库3、高并发查询4、统一分析三、StarRocks架构1）FE（Frontend）2）BE（Backend）四、数据管理五、StarRocks环境部署1）前期准备1、机器与角色信…
2022/7/23 23:25:13 人评论 次浏览
