batch batch-size
2021/9/23 6:14:06
本文主要是介绍batch batch-size,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
-
什么是batch,batch-size
深度学习训练过程本身是就是求损失函数的最小值。这一过程一般通过梯度下降来实现。如果训练一个epoch,遍历所有训练集,计算一次loss,反向传播一次,梯度也下降一次。如果把训练集切割成一些小的训练集,,每次遍历完一个小的训练集,就计算一次loss,反向传播一次,梯度下降一次,那么一个epoch中就可以实现多次梯度下降,从而能够加快训练的收敛速度。这个小的训练集就是一个batch,每个batch的大小就是batch-size。 -
batch-size大小对训练过程有什么影响
极端的例子,如果batch-size是整个训练集,那么每个epoch需要遍历所有的数据,导致占用的显存大,且收敛的速度慢。如果batch-size为1,那么相邻两次迭代权重梯度可能差异大,会导致梯度振荡,不容易收敛。所以一般batch-size取中间数,通常为64的倍数或因子。
还有说batch-size太大,可能会使得相邻两次迭代的数据分布相似,梯度差异小,从而使loss陷入局部最小值。
batch-size
这篇关于batch batch-size的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-06-26小白家庭 nas 搭建方案-icode9专业技术文章分享
- 2024-06-23AI大模型企业应用实战(14)-langchain的Embedding
- 2024-06-23AI大模型企业应用实战(15)-langchain核心组件
- 2024-06-23AI大模型企业应用实战(16)-langchain核心组件
- 2024-06-23AI 大模型企业应用实战(06)-初识LangChain
- 2024-06-19EntBot.ai: AI Website Chatbot for Product Guides and Development Doc
- 2024-06-17zero-shot-learning-definition-examples-comparison
- 2024-06-06Package Easy(基于 NSIS 的打包exe安装包工具)使用方法-icode9专业技术文章分享
- 2024-06-06基于 casdoor 的 ELK 开源登录认证解决方案: elk-auth-casdoor-icode9专业技术文章分享
- 2024-05-29Elasticsearch慢查询日志配置