搜索结果
查询Tags标签： Hadoop，共有 784条记录-
Hadoop生态系统—数据仓库Hive的安装
一、数据仓库数据仓库是一个面向主题的、集成的、随时间变化，但信息本身相对稳定的数据集合，相比于传统型数据库，它主要用于支持企业或组织的决策分析处理。主要有以下3个特点：数据仓库是面向主题的：数据仓库中的数据是按照一定的主题域进行组织，大概意思就是说存的…
2022/12/5 5:23:56 人评论 次浏览 -
Linux 下搭建 Hadoop 环境
环境要求#操作系统：CentOS 7需要准备两个节点，一个是 master 节点，另一个是 slave 节点。其中 master 节点的 IP：192.168.100.130slave 节点的 IP：192.168.100.131并且参考Linux 下配置 hosts 并设置免密登录先配置好两个免密登录。JDK 版本：8u181Hadoop 版本：2.7.…
2022/12/5 5:23:55 人评论 次浏览 -
Win10搭建Hadoop环境
Win10系统配置hadoop环境我这里就以hadoop-2.7.3为例子给大家演示，下载链接： 提取码：idxi ，如需下载其他版本，请访问或 ****进行下载JDK环境配置1、我使用的是jdk1.8.0_102版本，链接： 提取码：z8332、不建议安装在C:Program Files下的默认路径。安装完成后，对jdk环…
2022/11/2 23:24:56 人评论 次浏览 -
大数据开发离线计算框架知识点总结
大数据离线计算框架介绍：一、MapReduce计算框架Hadoop是一个分布式系统架构，由Apache基金会所开发，其核心主要包括两个组件：HDFS和MapReduce，前者为海量存储提供了存储，而后者为海量的数据提供了计算。这里我们主要关注MapReduce。以下资料来源于Hadoop的官方说明文…
2022/10/25 2:24:54 人评论 次浏览 -
Hadoop生态系统（数据仓库Hive的安装）
一、数据仓库数据仓库是一个面向主题的、集成的、随时间变化，但信息本身相对稳定的数据集合，相比于传统型数据库，它主要用于支持企业或组织的决策分析处理。主要有以下3个特点：数据仓库是面向主题的：数据仓库中的数据是按照一定的主题域进行组织，大概意思就是说存的…
2022/10/19 5:24:52 人评论 次浏览 -
大数据入门（大数据是什么）
简介： 大数据入门-大数据是什么一、概念百度百科这样写道大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产…
2022/10/18 2:24:50 人评论 次浏览 -
【初识大数据】如何进行大数据测试？需要具备什么能力？
了解大数据框架组件 了解大数据框架组件 了解大数据框架组件 了解大数据框架组件 Hadoop（读：哈丢谱）---是一个能够对大量数据进行分布式处理的软件框架。（Hadoop中最核心涉及就是HDFS和MapReduce） Hadoop5大特性/优点：高可靠性。 Hadoop按位存储和处理数据的能力值得…
2022/9/15 23:17:12 人评论 次浏览 -
zookeeper启动异常Error: JAVA_HOME is not set and java could not be found in PATH
明明正常配置了JAVA_HOME，仍然报错： hadoop@hadoop-1:/data/apache-zookeeper-3.7.1-bin/bin$ sh zkServer.sh startzkServer.sh: 78: /data/apache-zookeeper-3.7.1-bin/bin/zkEnv.sh: [[: not found-p: not foundjava is /data/hadoop/jdk1.8.0_202/bin/javaError: JA…
2022/9/15 14:18:23 人评论 次浏览 -
2018 年长沙天气情况气象数据分析与可视化
import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class Weather14Mapper extends Mapper<LongWritable, Text…
2022/9/13 23:18:22 人评论 次浏览 -
:2018 年长沙平均气温气象数据分析与可视化
import org.apache.hadoop.io.DoubleWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.lib.input.FileSplit;import java.io.IOException;public…
2022/9/13 23:18:21 人评论 次浏览 -
2-1-6
package task;import java.io.File; import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.Scanner;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.…
2022/9/13 23:18:21 人评论 次浏览 -
大数据常用软件安装指南
大数据常用软件安装指南 为方便大家查阅，本仓库所有软件的安装方式单独整理如下： 一、基础软件安装Linux 环境下 JDK 安装 Linux 环境下 Python 安装 虚拟机静态 IP 及多 IP 配置二、HadoopHadoop 单机环境搭建 Hadoop 集群环境搭建 基于 Zookeeper 搭建 Hadoop 高可用集…
2022/9/13 23:17:53 人评论 次浏览 -
Hadoop+Python测试wordcount
1、将测试数据上传到HDFS目录下，这里放到根目录下：/test.txt 2、在master节点中某个目录下：创建mapper、reducer以及run.shmapper.pyimport sys for line in sys.stdin:line = line.strip()words = line.split()for word in words:print "%s\t%s" % (word, 1…
2022/9/11 14:23:04 人评论 次浏览 -
Ubuntu搭建全分布式Hadoop
@目录配置ssh免密登录配置Java、hadoop环境配置hadoop文件配置hadoop-env.sh配置yarm-env.sh配置core-site.xml配置hdfs-site.xml配置yarm-site.xml配置mapred-site.xml配置workers文件将jdk、Hadoop传输到其他节点启动集群！！！start-dfs.sh启动dfsstart-yarn.sh启动yar…
2022/9/11 5:24:38 人评论 次浏览 -
Ubuntu搭建全分布式Hadoop
@目录配置ssh免密登录配置Java、hadoop环境配置hadoop文件配置hadoop-env.sh配置yarm-env.sh配置core-site.xml配置hdfs-site.xml配置yarm-site.xml配置mapred-site.xml配置workers文件将jdk、Hadoop传输到其他节点启动集群！！！start-dfs.sh启动dfsstart-yarn.sh启动yar…
2022/9/11 5:24:36 人评论 次浏览
