是否需要self.loss.cuda()
2021/11/11 23:12:11
本文主要是介绍是否需要self.loss.cuda(),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
转自:https://discuss.pytorch.org/t/why-do-we-need-to-do-loss-cuda-when-we-we-have-already-done-model-cuda/91023/5
https://discuss.pytorch.org/t/move-the-loss-function-to-gpu/20060
1.问题
有的模型将损失函数也调用了cuda():
if torch.cuda.is_available(): net.cuda() softMax.cuda() CE_loss.cuda() Dice_loss.cuda()
但如果损失函数没有参数,且输入的tensor本身就在cuda上面,就没有必要调用.cuda()。
需要调用的情况:
output = torch.randn(10, 10, requires_grad=True, device='cuda') target = torch.randint(0, 10, (10,), device='cuda') weight = torch.empty(10).uniform_(0, 1) criterion = nn.CrossEntropyLoss(weight=weight) loss = criterion(output, target) # error > RuntimeError: Expected object of device type cuda but got device type cpu for argument #3 'weight' in call to _thnn_nll_loss_forward criterion.cuda() loss = criterion(output, target) # works
因为损失函数中用到了weight权重计算,所以需要把criterion 也放到cuda上。
这篇关于是否需要self.loss.cuda()的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-07-03微信支付提示下单账户与支付账户不一致-icode9专业技术文章分享
- 2024-07-03微信支付提示订单号重复-icode9专业技术文章分享
- 2024-07-02微服务启动nacos注册上去了,但是一直没有收到请求-icode9专业技术文章分享
- 2024-07-02如何检查文件的编码格式-icode9专业技术文章分享
- 2024-07-02sublime 更改编码格式-icode9专业技术文章分享
- 2024-06-30uniAPP 实现全屏左右滚动滚动的效果-icode9专业技术文章分享
- 2024-06-30如何在本地使用授权或插件-icode9专业技术文章分享
- 2024-06-30伪静态规则配置方法汇总-icode9专业技术文章分享
- 2024-06-29易优CMS安装常见问题汇总-icode9专业技术文章分享
- 2024-06-28易优新手必读安装教程-icode9专业技术文章分享