搜索结果
查询Tags标签： 分区，共有 728条记录-
Spark快速上手(4)Spark核心编程-Spark分区器(Partitioner)@(RDD-K_V)
@Spark分区器(Partitioner) HashPartitioner（默认的分区器） HashPartitioner分区原理是对于给定的key，计算其hashCode，并除以分区的个数取余，如果余数小于0，则余数+分区的个数，最后返回的值就是这个key所属的分区ID，当key为null值是返回0。 源码在org.apache.spar…
2022/7/5 1:20:19 人评论 次浏览 -
Linux 磁盘挂载和swap空间管理
挂载：把指定的设备和根下面的某个文件夹建立关联 卸载：解除两者关系的过程 挂载文件系统：mount 格式：mount device mountpoint --- mount 设备名 挂载点mountpoint：挂载点目录必须事先存在，建议使用空目录选项：-t fstype：指定文件系统类型，比如ext4-r readonly，…
2022/7/3 5:19:58 人评论 次浏览 -
Linux MBR和GPT分区类型
磁盘分区的好处： 优化IO性能、实现磁盘配额、隔离系统和程序、可以采用多个文件系统 分区的方式：MBR --- 比较传统的分区GPTMBR分区： MBR：Master Boot Record（主引导记录），1982年开发而来，使用32位表示扇区数，分区不超过2T 特点：支持的分区空间有限 0磁道0扇区：…
2022/7/1 5:19:30 人评论 次浏览 -
数据库 OLAP、OLTP是什么？相同和不同？适用场景
一、OLTP和OLAP是什么，二者比较 人类世界遵从基本的物理规律，数据世界里，关于数据的操作处理，也大体分为OLTP和OLAP两类。 OLTP on-line transaction processing 联机事物处理以传统RDBMS关系型数据库为主要应用，用于基本的、日常的事务处理，例如银行交易 OLAP on-l…
2022/7/1 2:19:55 人评论 次浏览 -
SUSE Linux Enterprise 15 SP1 系统安装
从 SUSE Linux Enterprise Server 15 开始，安装媒体仅包含安装程序 - 一个用于安装、更新和注册 SUSE Linux Enterprise Server 的基于命令行的精简系统。在安装期间，您可以通过选择要基于安装程序安装的模块来添加功能。 默认的安装方式需要通过网络访问 SUSE Cus…
2022/6/30 5:22:16 人评论 次浏览 -
Linux磁盘分区
磁盘分区温故知新： shift +d:从光标所在位置删除到行末 0：从光标所在位置跳转到行首 $:从光标所在位置跳转到行尾 一、系统目录结构 1.常见目录结构 windows目录结构：C:\windows（存放系统启动文件） D：\Program Files（存放第三方软件） …
2022/6/30 5:21:01 人评论 次浏览 -
Linux磁盘分区、格式化、挂载
目录一、前期准备1）增加一块磁盘2）查看新增磁盘（lsblk），发现没找到新增的磁盘3）解决查不到新增磁盘问题二、分区1）简介2）fdisk 对磁盘进行分区三、磁盘格式化四、挂载1）临时挂载2）永久挂载 一、前期准备测试环境：VMware Workstation / centos81）增加一块磁盘2…
2022/6/29 5:22:49 人评论 次浏览 -
操作系统-动态分区分配算法
首次适应算法每次从低地址开始查找,找到第一个能满足大小的空闲分区实现两种常用的数据结构空闲分区表空闲分区链最佳适应算法把空闲去按照容量递增的次序链接从小到大排列,找到第一个满足大小的缺点: 每次都选择最小的分区进行分配,会有越来越多的,很小的空间,比如才1MB,…
2022/6/28 14:20:24 人评论 次浏览 -
sql server 为千万级数据量的表建立分区效果如何
1.数据库所在服务器信息2.表数据量截图declare @table_spaceused table (name nvarchar(100) ,rows int ,reserved nvarchar(100) ,data nvarchar(100) ,index_size nvarchar(100) ,unused nvarchar(100) ) insert into @table_spaceused (name,rows,reserved,data,index…
2022/6/27 2:20:26 人评论 次浏览 -
Linux-第一章
软件：主分区：1-4标识 逻辑分区：5-6标识 有逻辑分区必定有扩展分区。screen //会话 。他的使用场景。可以远程同时互相同步操作，相当于远程桌面。比如开了两个会话，互相通信。使用如下： 会话1：screen -S help //创建一个help会话。 会话2：screen -ls //先查看是…
2022/6/26 5:21:41 人评论 次浏览 -
Centos7 根分区扩容（添加磁盘扩容）
目标：业务服务器新增一块硬盘硬盘，扩容到根目录。 一、逻辑卷简介 1.LVM 是 Logical Volume Manager（逻辑卷管理），它是Linux环境下对磁盘分区进行管理的一种机制，优点是磁盘分区空间可以任意扩张大小。 2.基本概述 （1）PV:：物理卷（Physical volume）：物理卷在逻…
2022/6/26 5:21:34 人评论 次浏览 -
CentOS7添加swap分区
买了个云主机，只有1G内存，跑爬虫经常内存不足，于是只能添加swap来缓解； 1、官方推荐的swap大小定义2、使用dd命令在根下创建swapfiledd if=/dev/zero of=/swapfile bs=1M count=2048 ## if 表示infile，一般不做修改; of表示outfile，设置为想要创建文件的全路径; bs=…
2022/6/24 5:19:29 人评论 次浏览 -
存储管理动态分区分配及回收算法
一、目的和要求 分区管理是应用较广泛的一种存储管理技术。本实验要求用一种结构化高级语言构造分区描述器，编制动态分区分配算法和回收算法模拟程序，并讨论不同分配算法的特点。二、实验内容1、编写：First Fit Algorithm2、编写：Best Fit Algorithm 3、编写：空闲区回…
2022/6/12 5:20:24 人评论 次浏览 -
Sql Server系列：分区表操作
1. 分区表简介分区表在逻辑上是一个表，而物理上是多个表。从用户角度来看，分区表和普通表是一样的。使用分区表的主要目的是为改善大型表以及具有多个访问模式的表的可伸缩性和可管理性。分区表是把数据按设定的标准划分成区域存储在不同的文件组中，使用分区可以快速而…
2022/6/9 2:20:14 人评论 次浏览 -
spark大佬总结
Spark概述 Hadoop小剧场Hadoop1.x版本的问题Hadoop2.x版本Spark小剧场为什么使用函数式编程什么是SparkSpark是基于内存的快速、通用。可扩展的大数据分析引擎Spark内置模块模块分区Spark SQL 结构化数据 | Spark Streaming 实时计算 Spark Core 独立调度器 | Yarn | M…
2022/6/7 23:22:49 人评论 次浏览
