搜索结果
查询Tags标签： 张量，共有 33条记录-
BERT书籍阅读笔记（二）PyTorch编程基础（1）
文章目录 向量乘法张量间的操作控制模型每次训练的结果相同定义一个模型的基本步骤获取模型信息向量乘法 （1）阿达玛积（Hadamard Product） 定义为两个矩阵对应位置的元素进行相乘。 c = a * b（2）点积（Dot Product） 矩阵相乘，第一个矩阵的列数必须等于第二…
2022/2/10 9:42:44 人评论 次浏览 -
[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础
[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 目录[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础0x00 摘要0x01 Introduction1.1 问题1.2 数据并行1.3 模型并行1.3.1 通信1.3.2 张量并行1.3.3 流水线并行1.4 技术组合1.5 指导原则0x…
2022/1/27 20:06:38 人评论 次浏览 -
[源码分析] Facebook如何训练超大模型--- (5)
[源码分析] Facebook如何训练超大模型--- (5) 目录[源码分析] Facebook如何训练超大模型--- (5)0x00 摘要0x01 背景0x02 思路2.1 学习建议2.2 具体思路2.3 最佳实践0x03 具体实现3.1 Wrapper3.2 如何使用3.2 _checkpointed_forward3.2.1 处理输入3.2.2 非张量输出3.2.2.1 …
2022/1/26 9:04:19 人评论 次浏览 -
PyTorch数据操作
导入torch import torch张量（Tensor）表示由一个数值组成的数组，这个数组可能具有多个维度，具有一个维度的数组是向量(vector)，具有两个维度的数组是矩阵(matrix)… arange创建一个行向量x shape属性输出张量的形状 numel()张量中元素的个数 x = torch.arange(12) pri…
2022/1/17 23:08:53 人评论 次浏览 -
PyTorch数据操作
导入torch import torch张量（Tensor）表示由一个数值组成的数组，这个数组可能具有多个维度，具有一个维度的数组是向量(vector)，具有两个维度的数组是矩阵(matrix)… arange创建一个行向量x shape属性输出张量的形状 numel()张量中元素的个数 x = torch.arange(12) pri…
2022/1/17 23:08:53 人评论 次浏览 -
鸿蒙培训第四阶段第三次任务
1、张量（Tensor）： a、各种数值数据可以为张量。 b、常数：scaler：0阶张量。 c、向量：vector：1阶张量。 d、矩阵：matrix：2阶张量。 2、张量的创建方式： a、torch.Tensor(list) b、torch.empty()/zeros()/ones() c、torch.rand()/randint()/randn(） 3、 ten…
2022/1/15 23:33:27 人评论 次浏览 -
鸿蒙培训第四阶段第三次任务
1、张量（Tensor）： a、各种数值数据可以为张量。 b、常数：scaler：0阶张量。 c、向量：vector：1阶张量。 d、矩阵：matrix：2阶张量。 2、张量的创建方式： a、torch.Tensor(list) b、torch.empty()/zeros()/ones() c、torch.rand()/randint()/randn(） 3、 ten…
2022/1/15 23:33:27 人评论 次浏览 -
Pytorch函数1 torch.max\ torch.min\ torch.squeeze\ torch.unsqueeze\ torch.rand \randn \randint
1.torch.max(input) 输入input:任何形状的张量输出:返回输入张量input中所有元素的最大值 。 import torch a = torch.randn((3,4,5)) b = torch.max(a) # 返回所有张量中的最大值 print(a)tensor([[[-0.5234, -2.3275, 1.8327, 0.5354, 1.1100],[ 0.7137, 0.4375,…
2021/12/5 6:21:53 人评论 次浏览 -
Pytorch函数1 torch.max\ torch.min\ torch.squeeze\ torch.unsqueeze\ torch.rand \randn \randint
1.torch.max(input) 输入input:任何形状的张量输出:返回输入张量input中所有元素的最大值 。 import torch a = torch.randn((3,4,5)) b = torch.max(a) # 返回所有张量中的最大值 print(a)tensor([[[-0.5234, -2.3275, 1.8327, 0.5354, 1.1100],[ 0.7137, 0.4375,…
2021/12/5 6:21:53 人评论 次浏览 -
张量的拼接
张量的拼接有两种主要的基本策略： 不增加张量的维度，只增加某个维度方向的长度：cat（）增加张量的维度，不增加单个维度方向的长度：stack（）第2章 增加张量长度的拼接：cat（）2.1 基本原理 2.2 函数说明功能：在不改变张量维度的情况下，通过增加张量在某个维度方向…
2021/11/14 23:45:10 人评论 次浏览 -
张量的拼接
张量的拼接有两种主要的基本策略： 不增加张量的维度，只增加某个维度方向的长度：cat（）增加张量的维度，不增加单个维度方向的长度：stack（）第2章 增加张量长度的拼接：cat（）2.1 基本原理 2.2 函数说明功能：在不改变张量维度的情况下，通过增加张量在某个维度方向…
2021/11/14 23:45:10 人评论 次浏览 -
TensorFlowX.Y核心基础与AI模型设计03:AI模型编程常用（二）
上一篇文章：TensorFlowX.Y核心基础与AI模型设计02:AI模型编程常用（一） AI模型编程常用（二）7、创建变量 8、变量与计算图可视化 9、TensorFlow变量管理 10、变量保存与恢复(Saver)保存变量 恢复变量 模型的保存与加载参考7、创建变量 对于神经网络而言,参数是一个重要…
2021/11/14 22:14:45 人评论 次浏览 -
TensorFlowX.Y核心基础与AI模型设计03:AI模型编程常用（二）
上一篇文章：TensorFlowX.Y核心基础与AI模型设计02:AI模型编程常用（一） AI模型编程常用（二）7、创建变量 8、变量与计算图可视化 9、TensorFlow变量管理 10、变量保存与恢复(Saver)保存变量 恢复变量 模型的保存与加载参考7、创建变量 对于神经网络而言,参数是一个重要…
2021/11/14 22:14:45 人评论 次浏览 -
Pytorch——张量 Tensors
张量 Tensors 1、torch.is_tensor torch.is_tensor(obj) 用法：判断是否为张量，如果是 pytorch 张量，则返回 True。 参数：obj (Object) – 判断对象 例子：torch.is_tensor(torch.rand(2,3))True2、 torch.is_storage torch.is_storage(obj) 用法：判断是否为pytorch S…
2021/10/20 23:39:36 人评论 次浏览 -
Pytorch——张量 Tensors
张量 Tensors 1、torch.is_tensor torch.is_tensor(obj) 用法：判断是否为张量，如果是 pytorch 张量，则返回 True。 参数：obj (Object) – 判断对象 例子：torch.is_tensor(torch.rand(2,3))True2、 torch.is_storage torch.is_storage(obj) 用法：判断是否为pytorch S…
2021/10/20 23:39:36 人评论 次浏览
