搜索结果
查询Tags标签： batch，共有 153条记录-
Pytorch——Dataset类和DataLoader类
这篇文章主要探讨一下，Dataset类以及DataLoader类的使用以及注意事项。Dataset类主要是用于原始数据的读取或者基本的数据处理（比如在NLP任务中常常需要把文字转化为对应字典ids，这个步骤就可以放在Dataset中执行）。DataLoader，是进一步对Dataset的处理，Dataset得到…
2021/12/10 23:23:39 人评论 次浏览 -
Pytorch——Dataset类和DataLoader类
这篇文章主要探讨一下，Dataset类以及DataLoader类的使用以及注意事项。Dataset类主要是用于原始数据的读取或者基本的数据处理（比如在NLP任务中常常需要把文字转化为对应字典ids，这个步骤就可以放在Dataset中执行）。DataLoader，是进一步对Dataset的处理，Dataset得到…
2021/12/10 23:23:39 人评论 次浏览 -
七、VGG16+BN（Batch Normalization）实现鸟类数据库分类
@目录前文加利福尼亚理工学院鸟类数据库分类VGG16+BN版本数据生成器图像显示VGG16+BN模型构建VGG16+BN模型编译与拟合注意：GitHub下载地址： 前文一、Windows系统下安装Tensorflow2.x（2.6） 二、深度学习-读取数据 三、Tensorflow图像处理预算 四、线性回归模型的tensor…
2021/12/4 19:17:07 人评论 次浏览 -
七、VGG16+BN（Batch Normalization）实现鸟类数据库分类
@目录前文加利福尼亚理工学院鸟类数据库分类VGG16+BN版本数据生成器图像显示VGG16+BN模型构建VGG16+BN模型编译与拟合注意：GitHub下载地址： 前文一、Windows系统下安装Tensorflow2.x（2.6） 二、深度学习-读取数据 三、Tensorflow图像处理预算 四、线性回归模型的tensor…
2021/12/4 19:17:07 人评论 次浏览 -
类神经网络
目录 一、鞍点 为何要知道到底是卡在local minima,还是卡在saddle point呢 如何判断local minima与saddle point呢？ 1.泰勒展开 2.Hession矩阵 3.史上最废的network二、saddle point（鞍点） 三、Optimization with Batch1.Small Batch v.s. Large Batch “Noisy” up…
2021/11/20 23:17:28 人评论 次浏览 -
类神经网络
目录 一、鞍点 为何要知道到底是卡在local minima,还是卡在saddle point呢 如何判断local minima与saddle point呢？ 1.泰勒展开 2.Hession矩阵 3.史上最废的network二、saddle point（鞍点） 三、Optimization with Batch1.Small Batch v.s. Large Batch “Noisy” up…
2021/11/20 23:17:28 人评论 次浏览 -
hive平台Shell文件
#!/bin/sh # for i in 020W0700 010WE0440 020R0100 020WE0300do batch_code=$i inc_day=$a before=$b sep_incday=$c echo "tt $sep_incday" hive -e " set mapreduce.job.queuename = root.ordi_predict; set hive.exec.dynamic.partition.mode=nonst…
2021/11/17 7:14:23 人评论 次浏览 -
hive平台Shell文件
#!/bin/sh # for i in 020W0700 010WE0440 020R0100 020WE0300do batch_code=$i inc_day=$a before=$b sep_incday=$c echo "tt $sep_incday" hive -e " set mapreduce.job.queuename = root.ordi_predict; set hive.exec.dynamic.partition.mode=nonst…
2021/11/17 7:14:23 人评论 次浏览 -
Oracle下Mybatis Batch批量操作 vs JBCD 原生batch-prepared，及各写法效率测试。
背景 建表SQL 测试写法 非事务,循环单次单条插入 有事务,循环单次单条插入(Simple模式 )批量操作-BEGIN END批量操作-foreach batch JDBC原生batch-prepared 测试结果 结论背景 近期项目要转数据库，需要转移几个亿的数据。用的Mybatis框架，结果开发人员发现 foreach ba…
2021/11/16 19:10:40 人评论 次浏览 -
Oracle下Mybatis Batch批量操作 vs JBCD 原生batch-prepared，及各写法效率测试。
背景 建表SQL 测试写法 非事务,循环单次单条插入 有事务,循环单次单条插入(Simple模式 )批量操作-BEGIN END批量操作-foreach batch JDBC原生batch-prepared 测试结果 结论背景 近期项目要转数据库，需要转移几个亿的数据。用的Mybatis框架，结果开发人员发现 foreach ba…
2021/11/16 19:10:40 人评论 次浏览 -
比赛记录
https://carlos9310.github.io/2019/09/27/MRC-squad2.0/ 其中output_weights、output_bias为新增的全连接层的参数，训练时随机初始化一组值，预测时直接通过张量名加载训练后的值。unstacked_logits的形状为[2,batch_size,seq_length]，start_logits的形状为[batch_size…
2021/11/14 6:11:24 人评论 次浏览 -
比赛记录
https://carlos9310.github.io/2019/09/27/MRC-squad2.0/ 其中output_weights、output_bias为新增的全连接层的参数，训练时随机初始化一组值，预测时直接通过张量名加载训练后的值。unstacked_logits的形状为[2,batch_size,seq_length]，start_logits的形状为[batch_size…
2021/11/14 6:11:24 人评论 次浏览 -
一次关于Spring Batch的实践
背景 随着机构码用码量越来越多目前为止有4百万，统计异常接口响应时间会变慢，而且统计异常只统计48小时内，count效率实在太低。 最后考虑使用采集的方式，将异常数据采集到另一张异常表，这样子的话count效率会高些。不仅要采集异常表，还要根据月份汇总归档表也就是分…
2021/11/9 23:09:36 人评论 次浏览 -
一次关于Spring Batch的实践
背景 随着机构码用码量越来越多目前为止有4百万，统计异常接口响应时间会变慢，而且统计异常只统计48小时内，count效率实在太低。 最后考虑使用采集的方式，将异常数据采集到另一张异常表，这样子的话count效率会高些。不仅要采集异常表，还要根据月份汇总归档表也就是分…
2021/11/9 23:09:36 人评论 次浏览 -
08 线性回归 + 基础优化算法
线性回归的从零开始实现 包括数据流水线、模型、损失函数和小批量随机梯度下降优化器 # 如果没有d2l包，可以通过下面的语句安装 # !pip install -U d2l# %matplotlib inline可以在Ipython编译器里直接使用，功能是可以内嵌绘图，并且可以省略掉plt.show()这一步 %matplot…
2021/11/8 14:39:53 人评论 次浏览
