搜索结果
查询Tags标签： 分区，共有 728条记录-
图文详解MapReduce工作机制
job提交阶段 1、准备好待处理文本。 2、客户端submit()前，获取待处理数据的信息，然后根据参数配置，形成一个任务分配的规划。 3、客户端向Yarn请求创建MrAppMaster并提交切片等相关信息：job.split、wc.jar、job.xml。Yarn调用ResourceManager来创建MrAppMaster，而MrA…
2022/6/2 23:22:34 人评论 次浏览 -
全局索引与分区索引对于SQL性能影响的比较
KingbaseES 提供了对于分区表 global index 的支持。global index 不仅提供了对于唯一索引功能的改进（无需包含分区键），而且在性能上相比非global index （local index）有很大的提升（无法提供分区条件情况下）。以下举例说明二者在性能方面的差异。 1、准备数据creat…
2022/6/2 2:21:15 人评论 次浏览 -
归并排序C++实现
思想：先进行判断是否为一个元素数组； 取中间值进行分区（递归到分区键值为1） 每个分区的各个数据利用双指针进行比较大小，小者存到tmp数组暂存 处理分区剩下的值，直接存入tmp 将tmp暂存值导入到原数组中。代码实现：#include<iostream> using namespace std; c…
2022/5/30 1:19:44 人评论 次浏览 -
MYSQL按天自动创建分区;创建之前的分区；
按天自动创建分区（创建当天日期后两天的）：CREATE DEFINER=`root`@`%` PROCEDURE `P_CREATE_PARTITION_BY_DAY`(IN_SCHEMANAME VARCHAR(64), IN_TABLENAME VARCHAR(64)) BEGIN#当前日期存在的分区的个数DECLARE ROWS_CNT INT UNSIGNED;#目前日期，为当前日期的后一天DEC…
2022/5/26 2:21:27 人评论 次浏览 -
Linux 系统操作之U盘挂载(mount)及卸载(umount)
前言： 有这样一个工作场景；小白是一名初入职场的运维工程师，今天小白接到领导指令，需要到机房协助第三方终端产商测试隔离区传输链路。小白有点惶恐，他没有去过机房，也不知道要去做些什么；他请教了一下同事，同事告知不要怕，就是去打酱油的。而后小白去到了机房，…
2022/5/6 7:15:18 人评论 次浏览 -
合并文件解决HiveServer2内存溢出方法
一、 背景客户现场的CDH6.x版本的集群执行一个大分区表时hiveserver2发生了内存溢出。下面针对该问题进行了复现并深入了解了hiveserver2内存加载使用原理；提出了解决此类问题的方案，具体内容如下。 二、HiveServer2内存溢出 2.1查看表文件个数 desc formatted yanyu.…
2022/5/6 7:13:24 人评论 次浏览 -
Spark 源码系列 - 获取分区数
目录版本结论代码入口SparkContext -> textFileSparkContext -> defaultMinPartitionsSparkContext -> defaultParallelismTaskSchedulerImplLocalSchedulerBackend 版本 本分析基于Spark version 3.1.2 结论 local模式下，默认最小分区数不会超过2如果对spark.d…
2022/5/3 20:14:50 人评论 次浏览 -
内存管理方式
一.对内存的分配与回收 二.从逻辑上对内存空间进行扩充 三.用户进程中的逻辑地址和物理内存中的物理地址进行高速转换 一. 1.连续分配管理方式 （1）单一连续分配（整个用户区都给用户进程使用） 优点是实现简单；无外部碎片（分配前用户进程以外的无法使用的内存空间）；…
2022/5/3 7:17:00 人评论 次浏览 -
linux磁盘分区
一、磁盘分区概述1、对于磁盘管理的名词解释： （1）扇区（sector）是磁盘中最小的物理存储单元，单位 512字节（byte） （2）操作系统无法对数目众多的扇区进行寻址，因此操作系统将相邻的扇区组合成在一起，形成了block（8个扇区，8*0.5kb 4kb大小） （3）在linux文件…
2022/5/2 7:16:26 人评论 次浏览 -
Linux使用fdisk进行分区
linux挂载完新硬盘后，需要分区并格式化后才能mount并使用1、root 登录，查看df -h 查看当前已经挂载到系统的磁盘 2、fdisk -l 查看当前系统内所有的磁盘，找到刚刚没有看到的磁盘,例如/dev/vdb 3、fdisk /dev/vdb 格式化该磁盘 m是查看帮助 n是增加新分区，d是删除分区 …
2022/5/1 7:13:20 人评论 次浏览 -
db2分区相关操作
删除指定日期分区表 -- t_log={data_dt, content} ，part20220101=分区名称 -- 分离分区 alter table t_log detach partition part20220101 into t_log_20220101; -- 删除分离出来的表 drop table t_log_20220101; -- 查看分区 select * from syscat.datapartition where…
2022/4/27 2:12:45 人评论 次浏览 -
Centos6 挂载分区
lsblk 查看分区和磁盘 df -h 查看空间使用情况 fdisk -l 分区工具查看分区信息 cfdisk /dev/sda 查看分区1、创建分区 （p 打印分区信息） fdisk /dev/sda先n 后p （p 主分区）可能需要 先删除分区 再新建w 保存2、重启服务器 reboot3、挂载分区 mount /dev/sda4 /home报错…
2022/4/25 7:13:02 人评论 次浏览 -
Linux磁盘分区-mount挂载
Linux磁盘分区类型磁盘存储术语CHShead：磁头 磁头数=盘面数 track：磁道 磁道=柱面数 sector：扇区，512bytes cylinder：柱面 1柱面=512*sector数/track*head数=512*63*255=7.84M CentOS 5 之前版本 Linux 以柱面的整数倍划分分区，CentOS 6之后可以支持以扇区划分分区…
2022/4/23 7:16:24 人评论 次浏览 -
Linux简介和基础命令
1：Linux 操作系统简介Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux 继承了Unix 以网络为核心的设计思想，是一…
2022/4/23 7:12:45 人评论 次浏览 -
centos7磁盘分区、格式化、挂载
fdisk1、分区： 查看磁盘分区表： fdisk -l查看指定磁盘分区表： fdisk -l /dev/sdb分区命令： fdisk /dev/sdb常用命令： n：创建新分区 d：删除已有分区 t：修改分区类型 l：查看所有支持的类型 p：显示现有分区信息 w：保存并退出 q：不保存并退出 m：查看帮助信息…
2022/4/22 7:15:37 人评论 次浏览
