搜索结果
查询Tags标签： batch，共有 153条记录-
TASK 05 网络设计技巧
这节的学习内容主要讲了在深度学习背后的一些技术，主要是网络设计的一切技巧，主要有以下内容： 在做Optimization的时候，如何把Gradient Descent 做得更好？ Critical point、local minima、saddle point这些名词的含义，区别以及处理方法。 Batch的实际应用方法，以及…
2021/9/4 23:06:23 人评论 次浏览 -
TASK 05 网络设计技巧
这节的学习内容主要讲了在深度学习背后的一些技术，主要是网络设计的一切技巧，主要有以下内容： 在做Optimization的时候，如何把Gradient Descent 做得更好？ Critical point、local minima、saddle point这些名词的含义，区别以及处理方法。 Batch的实际应用方法，以及…
2021/9/4 23:06:23 人评论 次浏览 -
Benchmarking Batch Deep Reinforcement Learning Algorithms
发表时间：2019 文章要点：这篇文章主要是针对batch RL做了一个离散动作空间的benchmark，对比了DQN和一些batch RL算法的性能（DQN，REM，QR-DQN，KL-Control，BCQ）。并且把BCQ从连续动作空间改成适用离散动作空间，取得了SOTA的效果。作者得出的结论是，要想batch RL效…
2021/9/4 6:05:58 人评论 次浏览 -
Benchmarking Batch Deep Reinforcement Learning Algorithms
发表时间：2019 文章要点：这篇文章主要是针对batch RL做了一个离散动作空间的benchmark，对比了DQN和一些batch RL算法的性能（DQN，REM，QR-DQN，KL-Control，BCQ）。并且把BCQ从连续动作空间改成适用离散动作空间，取得了SOTA的效果。作者得出的结论是，要想batch RL效…
2021/9/4 6:05:58 人评论 次浏览 -
文本摘要-07-性能提升之基于Transformer的PGN模型
背景前一篇文章中，采用了在当前比较主流的Transformer模型，Transformer模型本质来看是基于Encoder-Decoder框架，其解码方式本质上和seq2seq模型的解码方式基本相同。seq2seq的重要缺陷之一在于其不具备生成能力，而PGN模型具备着良好的生成能力。因此，本文拟结合Trans…
2021/8/27 23:09:21 人评论 次浏览 -
文本摘要-07-性能提升之基于Transformer的PGN模型
背景前一篇文章中，采用了在当前比较主流的Transformer模型，Transformer模型本质来看是基于Encoder-Decoder框架，其解码方式本质上和seq2seq模型的解码方式基本相同。seq2seq的重要缺陷之一在于其不具备生成能力，而PGN模型具备着良好的生成能力。因此，本文拟结合Trans…
2021/8/27 23:09:21 人评论 次浏览 -
超细节的对比学习和SimCSE知识点
2020年的Moco和SimCLR等，掀起了对比学习在CV领域的热潮，2021年的SimCSE，则让NLP也乘上了对比学习的东风。下面就尝试用QA的形式挖掘其中一些细节知识点，去更好的理解对比学习和SimCSE。1、如何去理解对比学习，它和度量学习的差别是什么？ 2、对比学习中一般选择一个b…
2021/8/24 23:11:40 人评论 次浏览 -
超细节的对比学习和SimCSE知识点
2020年的Moco和SimCLR等，掀起了对比学习在CV领域的热潮，2021年的SimCSE，则让NLP也乘上了对比学习的东风。下面就尝试用QA的形式挖掘其中一些细节知识点，去更好的理解对比学习和SimCSE。1、如何去理解对比学习，它和度量学习的差别是什么？ 2、对比学习中一般选择一个b…
2021/8/24 23:11:40 人评论 次浏览 -
深度学习 day09超参数调试、Batch 正则化和程序框架
01 调试处理 系统地组织超参调试过程的技巧学习速率是需要调试的最重要的超参数（红色），其次是momentum、mini-batch的大小及隐藏单元（黄色），重要性拍第三位的就是层数、学习率衰减、Adam算法（其余都是）如果要调整一些超参数，该如何选择调试值呢？ 在早一代的机器…
2021/8/14 1:05:59 人评论 次浏览 -
深度学习 day09超参数调试、Batch 正则化和程序框架
01 调试处理 系统地组织超参调试过程的技巧学习速率是需要调试的最重要的超参数（红色），其次是momentum、mini-batch的大小及隐藏单元（黄色），重要性拍第三位的就是层数、学习率衰减、Adam算法（其余都是）如果要调整一些超参数，该如何选择调试值呢？ 在早一代的机器…
2021/8/14 1:05:59 人评论 次浏览 -
23：normlize规范化-batch normalization
1:为什么要进行normolize 【注】1：希望把输入的值控制在有效的范围内 【注】希望能够进行高效的查询最优解。例如：当x2值大，x1值偏小时，w1的改变导致的影响较小，w2的改变导致的影响较大。 2:Normlization的种类 3：Batch Norm 【注】Batch Norm实际统计的会得到一个…
2021/8/4 23:09:41 人评论 次浏览 -
23：normlize规范化-batch normalization
1:为什么要进行normolize 【注】1：希望把输入的值控制在有效的范围内 【注】希望能够进行高效的查询最优解。例如：当x2值大，x1值偏小时，w1的改变导致的影响较小，w2的改变导致的影响较大。 2:Normlization的种类 3：Batch Norm 【注】Batch Norm实际统计的会得到一个…
2021/8/4 23:09:41 人评论 次浏览 -
解决pytorch CrossEntropyLoss报错RuntimeError: 1D target tensor expected, multi-target not supported
解决方法 CrossEntropyLoss(预测值，label)需要的输入维度是： 有batch时，预测值维度为2，size为[ batch_size, n ]时，label的维度是1，size为[ batch_size ]没有batch时，预测值的维度为2，size为[ m, n ]，label的维度是1，size为[ m ] 问题解析 一个案例即可说明： i…
2021/7/29 23:09:48 人评论 次浏览 -
解决pytorch CrossEntropyLoss报错RuntimeError: 1D target tensor expected, multi-target not supported
解决方法 CrossEntropyLoss(预测值，label)需要的输入维度是： 有batch时，预测值维度为2，size为[ batch_size, n ]时，label的维度是1，size为[ batch_size ]没有batch时，预测值的维度为2，size为[ m, n ]，label的维度是1，size为[ m ] 问题解析 一个案例即可说明： i…
2021/7/29 23:09:48 人评论 次浏览 -
Python创建自己的训练测试两用数据集Dataset类
需求 无论是tensorflow，还是keras，抑或pytorch的torchvision提供的datasets库，都无法提供足够灵活、足够简洁的Dataset类。 因此，我打算自己写一个简单的易于扩展的单节点数据集工具类。 分析我想要的接口就是传入一个整理好的图片的层级目录所在的路径，以及我想要训…
2021/7/27 14:05:58 人评论 次浏览
