搜索结果
查询Tags标签: pytorch,共有 396条记录-
PyTorch 深度学习实践 第10讲:卷积 神经网络(基础篇)
第10讲:卷积 神经网络(基础篇) 视频教程 1.卷积神经网络说明:首先明确输入的张量维度多少,输出的张量维度多少,利用各种层(做特征提取),进行这个维度上或者是每个维度上尺寸大小的变化,最终把它映射到想要的输出的这个空间里面 Feature Extraction:特征提取包括…
2022/8/12 23:25:00 人评论 次浏览 -
pytorch使用多显卡并行加速训练模型(nn.DataParallel)
torch.nn.DataParallel是一种能够将数据分散到多张显卡上从而加快模型训练的方法。 它的原理是首先在指定的每张显卡上拷贝一份模型,然后将输入的数据分散到各张显卡上,计算梯度,回传到第一张显卡上,然后再对模型进行参数优化。 所以,第一张显卡的负载往往更高,但由…
2022/8/7 23:23:07 人评论 次浏览 -
使用内存映射加快PyTorch数据集的读取
本文将介绍如何使用内存映射文件加快PyTorch数据集的加载速度 在使用Pytorch训练神经网络时,最常见的与速度相关的瓶颈是数据加载的模块。如果我们将数据通过网络传输,除了预取和缓存之外,没有任何其他的简单优化方式。 但是如果数据本地存储,我们可以通过将整个数据集…
2022/8/1 5:24:07 人评论 次浏览 -
PyTorch的torch.cat用法
参考这篇文章,讲的比较好 https://cloud.tencent.com/developer/article/1725102 C=torch.cat((A,B),0)就表示按维数0(行)拼接A和B,也就是竖着拼接,A上B下。 C=torch.cat((A,B),1)就表示按维数1(列)拼接A和B,也就是横着拼接,A左B右。
2022/7/23 6:24:12 人评论 次浏览 -
pytorch优化器动态学习率和动量设置(scheduler & momentum)
一、动量(momentum)可以给优化器加上一个动量,可以有效缓解局部最优问题。原理上就是让优化过程从W = W - lr * dW变成V = momentum * V - lr * dWW = W + V使用示例:from torch import optim ... model = Model() optimizer = optim.SGD(model.parameters(), lr=0.00…
2022/7/22 23:26:46 人评论 次浏览 -
Ubuntu+Anaconda+Pytorch+Pycharm深度学习环境搭建过程
Ubuntu+Anaconda+Pytorch+Pycharm深度学习环境搭建过程 准备工作 安装显卡驱动并查看Cuda对应版本按照ubuntu推荐的版本就好,或者可以自己去Nivdia官网查看自己显卡所对应的显卡驱动,在这不过多赘述 ##通过nvidia-smi查看自己的CUDA 驱动版本 ##可以看到我们这里是11.4的…
2022/7/8 5:21:29 人评论 次浏览 -
【pytorch】深度学习
【视频来源】 一 python安装环境 pycharm+anaconda 二 创建python虚拟环境以及pip国内源设置 1创建: 目前兼容性比较好的版本conda create -n py38 python=3.8问题1:Collecting package metadata (current_repodata.json): faile 解决方案一 问题2:终端前有PS 输入CMD…
2022/6/30 23:21:53 人评论 次浏览 -
Transformer结构与源码详细分析(Pytorch版)
Transformer是 Google 在2017年提出的一个新模型,Transformer 中抛弃了传统的 CNN 和 RNN,整个网络结构完全由 Attention 机制组成,并且采用了6层 Encoder-Decoder 结构。它的结构如下图。1. 整体网络结构分为:编码层,解码层,输出层 class Transformer(nn.Module):d…
2022/6/23 1:23:30 人评论 次浏览 -
【动手学深度学习pytorch】学习笔记 8.4 循环神经网络
8.4. 循环神经网络 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai) 主要内容:对隐状态使用循环计算的神经网络。隐状态可以捕获直到当前时间步序列的历史信息。参数数量不会随着时间步的增加而增加。可以使用循环神经网络创建字符级语言模型。可以使用困惑度来评…
2022/6/10 23:21:34 人评论 次浏览 -
乘风破浪,遇见未来元宇宙(Metaverse)之微软和Meta战略合作,选择Azure作为战略云供应商,帮助加速人工智能的研究和开发
2022年5月25日,Meta公司选择Azure作为战略云供应商,推进人工智能创新,深化PyTorch合作https://azure.microsoft.com/en-us/blog/meta-selects-azure-as-strategic-cloud-provider-to-advance-ai-innovation-and-deepen-pytorch-collaboration/微软致力于负责任地推进人…
2022/5/26 23:22:08 人评论 次浏览 -
1、PyTorch基本操作
一、简介简单介绍PyTorch框架,基本使用和安装方法。Torch是什么?一个火炬!其实跟Tensorflow中Tensor是一个意思,就是说,有一批数据,无论是图像数据还是文本数据或数值数据,都需要把数据转换成矩阵,接下来在建模操作过程中,都需要对当前数据即矩阵,做各种各样变换…
2022/5/25 23:23:56 人评论 次浏览 -
Pytorch(4)-DataLoader的使用
# DataLoader:数据加载器,从dataset中取数据,具体怎么取,取什么都通过dataLoader来完成,dataLoader中除了dataset参数外其他参数都有默认值# dataset:从哪里加载数据# batch_size:一次取出多少数据,如果为2,则一次从数据集中取出两条数据# shuffle:数据集是不…
2022/5/22 23:06:50 人评论 次浏览 -
Pytorch(3)-Torchvision的使用
import torchvision# 通过ToTensor()将数据集转为tensor数据类型,并通过compose连接from torch.utils.tensorboard import SummaryWriterdataset_transform = torchvision.transforms.Compose([torchvision.transforms.ToTensor()])# 加载数据集,其中CIFAR10是pytorch提…
2022/5/22 23:06:50 人评论 次浏览 -
【卷积神经网络】例题XO - Python实现 - PyTorch版本
题目及理论讲解: 【卷积神经网络】例题XO - Python实现 - HBU_DAVID - 博客园 (cnblogs.com) PyTorch实现代码: # https://blog.csdn.net/qq_26369907/article/details/88366147 # https://zhuanlan.zhihu.com/p/405242579 import numpy as np import torch import torc…
2022/5/4 1:43:26 人评论 次浏览 -
ImportError: cannot import name 'LightningEnum' from 'pytorch_lightning.utilities
ImportError: cannot import name LightningEnum from pytorch_lightning.utilities (E:\Eprogramfiles\Anaconda3\lib\site-packages\pytorch_lightning\utilities\__init__.py)E:\Eprogramfiles\Anaconda3\lib\site-packages\pytorch_lightning\trainer\states.py in &l…
2022/5/3 23:17:51 人评论 次浏览