搜索结果
查询Tags标签： bigdata，共有 22条记录-
HDFS 伪分布式环境搭建
HDFS 伪分布式环境搭建 作者：Grey 原文地址： 博客园：HDFS 伪分布式环境搭建 CSDN：HDFS 伪分布式环境搭建 相关软件版本Hadoop 2.6.5CentOS 7Oracle JDK 1.8安装步骤 在CentOS 下安装 Oracle JDK 1.8 下载地址 将下载好的 JDK 的安装包 jdk-8u202-linux-x64.tar.gz 上传…
2022/9/5 23:23:00 人评论 次浏览 -
BigData-Shell
简介 本文用于日常练习使用 Shell case-when、while、if、for 如下样例： #!/bin/bash # case : bash case.sh start 1 1 #查询变量数目 echo "参数数目: $#"#case-when echo "case-when" case $1 in "io")for i in {0..3}do vmstat 1 1don…
2022/7/4 5:20:07 人评论 次浏览 -
Hadoop安装与常用操作命令
一、大纲 1、HDFS集群环境搭建 2、常见问题 3、HDFS Shell命令使用二、集群环境搭建 下载地址: https://hadoop.apache.org/releases.html 1、初始化目录 在/bigdata/hadoop-3.2.2/下创建目录 mkdir logs secret hadoop_data hadoop_data/tmp hadoop_data/namenode hadoo…
2022/4/22 23:15:25 人评论 次浏览 -
实时数仓|基于Flink1.11的SQL构建实时数仓探索实践
实时数仓|基于Flink1.11的SQL构建实时数仓探索实践_jmx_bigdata的博客-CSDN博客_flinksql实时数仓实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传…
2022/1/27 2:04:28 人评论 次浏览 -
centos 自定义服务，实现.net core脱离supervisor的进程守护，同时实现start,stop等指令控制
场景：本人一直用.net core和supervisor做进程守护（deamon），但是感觉还是mysql这种服务做得好，可以通过start.stop等指令实现控制启停。其实这里用的就是liunx自带的service 解决：在/etc/init.d下建立自己的service，注意不能有后缀名：vi /etc/init.d/bigdata在该文…
2022/1/26 7:06:02 人评论 次浏览 -
提交flink程序到集群上
这里我演示的是 yarn的cluster模式 首先来到IDEA中将咱们需要在环境上跑的程序，进行打包。 这里使用的IDEA上的图形界面进行项目打包的(还是挺方便的) 执行完上面三步后：项目的下面会出现target文件夹 这里产生两个jar包，如果测试环境上有项目所需的资源jar的话，可以…
2022/1/6 1:06:13 人评论 次浏览 -
提交flink程序到集群上
这里我演示的是 yarn的cluster模式 首先来到IDEA中将咱们需要在环境上跑的程序，进行打包。 这里使用的IDEA上的图形界面进行项目打包的(还是挺方便的) 执行完上面三步后：项目的下面会出现target文件夹 这里产生两个jar包，如果测试环境上有项目所需的资源jar的话，可以…
2022/1/6 1:06:13 人评论 次浏览 -
【Spark】【RDD】从本地文件系统创建RDD
练习作业完成任务从文件创建三个RDD(math bigdata student)cd ~ touch math touch bigdata touch student pwd启动Spark-shellvar localrdd1 = sc.textFile("file:///home/用户名/math") var localrdd2 = sc.textFile("file:///home/用户名/bigdata")…
2021/10/25 6:09:50 人评论 次浏览 -
【Spark】【RDD】从本地文件系统创建RDD
练习作业完成任务从文件创建三个RDD(math bigdata student)cd ~ touch math touch bigdata touch student pwd启动Spark-shellvar localrdd1 = sc.textFile("file:///home/用户名/math") var localrdd2 = sc.textFile("file:///home/用户名/bigdata")…
2021/10/25 6:09:50 人评论 次浏览 -
实时流处理框架之Storm的安装与部署
参考视频教程: **基于Storm构建实时热力分布项目实战 ** 教程目录 0x00 教程内容0x01 下载Storm * * * * 1. 下载Storm 2. 上传安装包到节点 0x02 安装与配置Storm * * * * 1. 解压Storm 2. 配置Storm 0x03 启动并校验Storm * * * * 1. 启动Storm 2. 校验Storm 0x…
2021/10/1 23:14:09 人评论 次浏览 -
实时流处理框架之Storm的安装与部署
参考视频教程: **基于Storm构建实时热力分布项目实战 ** 教程目录 0x00 教程内容0x01 下载Storm * * * * 1. 下载Storm 2. 上传安装包到节点 0x02 安装与配置Storm * * * * 1. 解压Storm 2. 配置Storm 0x03 启动并校验Storm * * * * 1. 启动Storm 2. 校验Storm 0x…
2021/10/1 23:14:09 人评论 次浏览 -
Centos7安装Hadoop
1、设置静态ip网络/etc/sysconfigs/network-scripts/ifcfg-ens33，修改/etc/hosts，/etc/hostname，修改客户机win10的hosts文件（C:\Windows\System32\drivers\etc） 2、关闭防火墙#查看防火墙状态 [root@bigdata01 ~]# systemctl status firewalld ● firewalld.service…
2021/9/12 7:06:54 人评论 次浏览 -
Centos7安装Hadoop
1、设置静态ip网络/etc/sysconfigs/network-scripts/ifcfg-ens33，修改/etc/hosts，/etc/hostname，修改客户机win10的hosts文件（C:\Windows\System32\drivers\etc） 2、关闭防火墙#查看防火墙状态 [root@bigdata01 ~]# systemctl status firewalld ● firewalld.service…
2021/9/12 7:06:54 人评论 次浏览 -
Mysql基础
DDL:数据定义语言数据库create database if not exists bigdata_61; 创建数据库 show databases; 查看有哪些数据库 use bigdata_61;使用数据库 select database(); 查看正在使用的数据库 drop database bigdata_61;删除数据库 表create table student(id int,name v…
2021/8/5 2:07:54 人评论 次浏览 -
Mysql基础
DDL:数据定义语言数据库create database if not exists bigdata_61; 创建数据库 show databases; 查看有哪些数据库 use bigdata_61;使用数据库 select database(); 查看正在使用的数据库 drop database bigdata_61;删除数据库 表create table student(id int,name v…
2021/8/5 2:07:54 人评论 次浏览
