搜索结果
查询Tags标签： Partitions，共有 10条记录-
【SQLServer】表的索引碎片整理
1.查看索引的碎片率SELECT object_name(ips.object_id) AS TableName,ips.index_id, name AS IndexName, avg_fragmentation_in_percent,db_name(ips.database_id) AS DatabaseName FROM sys.dm_db_index_physical_stats(Db_id(DB_NAME()), NULL, NULL, NULL, NULL) AS ip…
2022/9/15 2:18:56 人评论 次浏览 -
Java多线程分片数据处理
java对于数据量较大的数据插入处理或者业务逻辑调用多个远程接口出现性能瓶颈，如何用多线程优化 示例一、对于插入百万级批量数据的处理 1、基于java jdk并发包的实现数据分片处理//线程池的定义private static final int corePoolSize = Runtime.getRuntime().available…
2022/7/12 1:28:43 人评论 次浏览 -
consumer负载均衡
Consumer and Consumer groupa.每个consumer客户端被创建时,会向zookeeper注册自己的信息; b.此作用主要是为了"负载均衡". c.同一个Consumer Group中的Consumers，Kafka将相应Topic中的每个消息只发送给其中一个Consumer。 d.Consumer Group中的每个Consumer读…
2022/2/16 23:42:56 人评论 次浏览 -
Spark源码——Job全流程以及DAGScheduler的Stage划分
（图片来源：北风网） 进去RDD，随便点击一个action操作,比如foreach操作/*** Applies a function f to all elements of this RDD.*/def foreach(f: T => Unit): Unit = withScope {val cleanF = sc.clean(f)sc.runJob(this, (iter: Iterator[T]) => iter.foreach(…
2021/12/14 22:16:40 人评论 次浏览 -
Spark源码——Job全流程以及DAGScheduler的Stage划分
（图片来源：北风网） 进去RDD，随便点击一个action操作,比如foreach操作/*** Applies a function f to all elements of this RDD.*/def foreach(f: T => Unit): Unit = withScope {val cleanF = sc.clean(f)sc.runJob(this, (iter: Iterator[T]) => iter.foreach(…
2021/12/14 22:16:40 人评论 次浏览 -
[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型
[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型 目录[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型0x00 摘要0x01 问题0x01 自动平衡1.1 Automatic Balancing1.2 基础函数/函数1.2.1 Batch1.2.2 layerwise_sandbox1.2.3 detach1.3 据计算时间来平衡1.4 据内…
2021/9/24 17:11:02 人评论 次浏览 -
[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型
[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型 目录[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型0x00 摘要0x01 问题0x01 自动平衡1.1 Automatic Balancing1.2 基础函数/函数1.2.1 Batch1.2.2 layerwise_sandbox1.2.3 detach1.3 据计算时间来平衡1.4 据内…
2021/9/24 17:11:02 人评论 次浏览 -
Spark源码解析（七）Action算子解析
1.任务提交分析这里以org.apache.spark.examples.SparkPi为例。当执行reduce(_+_)方法时，其底层调用了sc.runJob方法。核心代码如下： /*** 注释：(rdd, func, partitions, callSite, resultHandler, properties)* 1、应用程序调用 action 算子* 2、sparkContext.r…
2021/8/4 22:08:01 人评论 次浏览 -
Spark源码解析（七）Action算子解析
1.任务提交分析这里以org.apache.spark.examples.SparkPi为例。当执行reduce(_+_)方法时，其底层调用了sc.runJob方法。核心代码如下： /*** 注释：(rdd, func, partitions, callSite, resultHandler, properties)* 1、应用程序调用 action 算子* 2、sparkContext.r…
2021/8/4 22:08:01 人评论 次浏览 -
【读书笔记】有序分拆和无序分拆的结论速览
目录 EXAMPLE I.4. Compositions with restricted summands EXAMPLE I.5. Partitions with restricted summands (硬币找零问题） EXAMPLE I.6. Compositions with a fixed number of parts. EXAMPLE I.7. Partitions with a fixed number of parts 结论表格 最…
2021/6/6 10:32:18 人评论 次浏览
