搜索结果
查询Tags标签： job，共有 390条记录-
大数据入门--hadoop（三）--MR编程
MR相关内容 InputFormat（切片和为maptask读取数据）分区（与Reducer的执行数量，自定义分区）排序合并Combiner（快速排序后、第一次归并后、不能影响执行结果，输入kv与输出kv类型一致）分组（第二次归并后，Reducer输入前，自定义分组） 切片（InputFormat） 类型切片方…
2021/6/20 20:26:36 人评论 次浏览 -
Mysql中Json类型上使用Join操作实例
SELECT m.id, m.ipaddr, j.name, j.port, j.cfg_name, m.job_id, m.update_at FROM mxxxxx AS m LEFT JOIN jxxxxx AS j ON JSON_CONTAINS(m.job_id, JSON_array(j.id)) WHERE j.is_common=0 AND (m.ipaddr LIKE %1% OR j.name LIKE %1% ) ORDER BY m.update_at desc
2021/6/19 19:30:03 人评论 次浏览 -
Mysql数据库-多表查询案例
15. Mysql数据库-多表查询案例 我们在公司开发中，根据不同的业务需求往往需要通过2张及以上的表中去查询需要的数据。所以我们有必要学习2张及以上的表的查询。其实不管是几张表的查询，都是有规律可循的。 1. 准备数据 -- 部门表CREATE TABLE dept ( id INT PRIMARY KE…
2021/6/18 19:34:24 人评论 次浏览 -
oracle中的NVL,NVL2,NULLIF,COALESCE几个通用函数
oracle中的NVL,NVL2,NULLIF,COALESCE几个通用函数 Oracle中函数以前介绍的字符串处理，日期函数，数学函数,以及转换函数等等，还有一类函数是通用函数。主要有：NVL,NVL2,NULLIF,COALESCE，这几个函数用在各个类型上都可以。 下面简单介绍一下几个函数的用法。 在介绍这个…
2021/6/16 19:21:24 人评论 次浏览 -
think-queue
这是我看到最全的队列了,可以读一下 以下为手动复制的快照 , 避免日后删掉看不到 前言 当前笔记中的内容针对的是 thinkphp-queue 的 v1.1.2 版本，现在官方已经更新到了 v1.1.3 版本， 下文中提到的几个Bug在最新的master分支上均已修复。 笔记中的部分内容还未更新。 传…
2021/6/16 10:51:03 人评论 次浏览 -
mysql核心知识之DQL数据查询语言与项目高级查询实例
mysql核心知识之DQL数据查询语言与项目高级查询实例 mysql核心知识之DQL数据查询语言与项目高级查询实例详述对数据表中的数据进行各种查询，以及项目查询实例创建表mysql查询子句之一where条件查询简单查询精确查找模糊条件查询范围查询离散查询清楚重复值统计查询(聚合查…
2021/6/14 19:21:40 人评论 次浏览 -
给 Python 添加进度条 | 给小白的 tqdm 精炼实例！
给 Python 添加进度条 | 给小白的 tqdm 精炼实例！假设我们有一个循环： for i in range(100):do_something() # 这里做某些事假设 do_something() 很慢，且运行时间不稳定，当我们运行时，我们并不知道运行到哪里了。 我们引入一个进度条。 from tqdm import trange for…
2021/6/14 12:50:54 人评论 次浏览 -
MapReduce作业在YARN的内存分配设置
教程目录 0x00 教程内容 0x01 内存分配设置 1. 目前YARN配置情况 2. 配置MapReduce配置文件0x02 校验结果 1. 重新执行MapReduce作业 2. 查看作业执行情况0xFF 总结0x00 教程内容 内存分配设置 校验结果0x01 内存分配设置 1. 目前YARN配置情况 a. 首先启动HDFS与YARNstar…
2021/6/11 7:27:28 人评论 次浏览 -
Hadoop支持的文件格式之Text
文章目录 0x00 文章内容 0x01 Text格式概念 1. Text是啥 0x02 编码实现 1. 写文件完整代码 2. 读文件完整代码0x03 校验结果 1. 启动集群 2. 执行写Text文件格式代码 3. 执行读Text文件格式代码0x04 可能出现的问题解决 1. 类无法导入 0xFF 总结0x00 文章内容 Text格式概…
2021/6/10 18:28:03 人评论 次浏览 -
java hadoop（五） hadoop mapreduce 排序和序列化案例
什么是序列化与反序列化： 序列化（Serialization）是指把结构化对象转化为字节流。 反序列化（Deserialization）是序列化的逆过程。把字节流转为结构化对象。 mapreduce中的序列化：实现这个接口即可 第一个方法是进行序列化 第二个方法是反序列化 mapreduce中的排序：W…
2021/6/9 20:23:52 人评论 次浏览 -
一脸懵逼学习MapReduce的原理和编程（Map局部处理，Reduce汇总）
1：MapReduce的概述：（1）：MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. （2）：MapReduce由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。 （3）：这两个函数…
2021/6/4 20:26:39 人评论 次浏览 -
SpringBoot集成Quartz动态创建、启动、暂停、恢复、删除定时任务，实现定时任务的管理
目录 一、整个 Quartz 的代码流程基本基本如下： 二、进入正题，引入依赖 三、创建Job 四、创建任务调度器(Scheduler) 五、创建任务明细(JobDetail) 六、创建触发器(Trigger) 七、启动任务 八、任务的暂停 九、任务的恢复十、任务的删除 看了好多文章，都只讲了基础的dem…
2021/6/4 18:27:30 人评论 次浏览 -
MapReduce Cross 示例
MapReduce Cross 示例MapReduce Cross 示例package com.bsr.cross;import java.io.IOException;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import …
2021/6/4 18:22:00 人评论 次浏览 -
MapReduce案例：统计共同好友+订单表多表合并+求每个订单中最贵的商品
案例三： 统计共同好友 任务需求： 如下的文本， A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J 求出哪些人两两之间有共同好友，及他俩的共同好友都是谁 b -ac -ad -aa -b c -b b…
2021/6/4 18:21:57 人评论 次浏览 -
Golang高并发处理模型
原文链接：https://mp.weixin.qq.com/s/ZqfN8UlWRpoGhznGH-L1mw 介绍 偶然间看到一篇写于15年的文章，说实话，标题确实吸引了我。 关于这篇文章，我就不直接翻译了，原文地址我放在文章最后了。 项目的需求就是很简单，客户端发送请求，服务端接收请求处理数据(原文是把资…
2021/6/4 10:23:37 人评论 次浏览
