搜索结果
查询Tags标签： loss，共有 186条记录-
cold diffusion的个人理解
背景 和 介绍 最近阅读了 Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise，做了个简短的汇报，写一篇博客记录一下。 目前的diffusion model都是基于高斯噪声在进行扩散，其可被理解为使用Langeviin dynamics在数据范围游走。 对于反向生成而言，就…
2022/9/13 23:20:28 人评论 次浏览 -
动手实现深度学习(4): 神经网络的backward实现
传送门： https://www.cnblogs.com/greentomlee/p/12314064.html github: https://github.com/Leezhen2014/python_deep_learning在第二篇中介绍了用数值微分的形式计算神经网络的梯度，数值微分的形式比较简单也容易实现，但是计算上比较耗时。本章会介绍一种能够较为高效…
2022/9/12 23:23:17 人评论 次浏览 -
【MindSpore易点通】如何将PyTorch源码转成MindSpore低阶API,并在Ascend芯片上实现单机单卡训练
1 概述 本文将介绍如何将PyTorch源码转换成MindSpore低阶API代码,并在Ascend芯片上实现单机单卡训练。 下图展示了MindSpore高阶API、低阶API和PyTorch的训练流程的区别。与MindSpore高阶API相同，低阶API训练也需要进行：配置运行信息、数据读取和预处理、网络定义、定义…
2022/8/31 1:24:01 人评论 次浏览 -
PyTorch 深度学习实践 第10讲：卷积 神经网络（基础篇）
第10讲：卷积 神经网络（基础篇） 视频教程 1.卷积神经网络说明：首先明确输入的张量维度多少，输出的张量维度多少，利用各种层（做特征提取），进行这个维度上或者是每个维度上尺寸大小的变化，最终把它映射到想要的输出的这个空间里面 Feature Extraction：特征提取包括…
2022/8/12 23:25:00 人评论 次浏览 -
GLIP_Grounded Language-Image Pre-training
一句话概括：多模态目标检测 目录1、问题2、介绍和实现2.1 数据统一2.1.1 object detect数据转统一格式,补充prompt2.2.2 grounding数据转统一格式：自动生成box，怎么生成box？2.2 模型结构统一2.2.1 语言感知的融合2.3 loss 统一object detect loss转换3、效果4、分析和…
2022/8/3 23:25:10 人评论 次浏览 -
Neural Network模型复杂度之Batch Normalization - Python实现
背景介绍 Neural Network之模型复杂度主要取决于优化参数个数与参数变化范围. 优化参数个数可手动调节, 参数变化范围可通过正则化技术加以限制. 本文从参数变化范围出发, 以Batch Normalization技术为例, 简要演示Batch Normalization批归一化对Neural Network模型复杂度…
2022/7/1 14:22:07 人评论 次浏览 -
MMDetection训练过程中不打印loss日志
在一次配置RetinaNet时，发现无loss日志输出，但是GPU显存有占用，也有计算，同时数据预处理的CPU进程也在工作。 现有方案 查找资料，现有的解决方案认为，是log打印间隔太长，所以不输出。 遂修改log间隔至1，不改变 log_config = dict(interval=1,hooks=[# dict(type=T…
2022/6/30 23:21:52 人评论 次浏览 -
人脸识别中的损失函数
本文主要是针对人脸识别中的各种loss进行总结。背景 对于分类问题，我们常用的loss function是softmax，表示为： ,当然有softmax肯定也有hardmax: ，softmax和hardmax相比，优势是更容易收敛，更容易达到one-hot。softmax鼓励特征分开，但是并不鼓励分的很开，对于人脸…
2022/6/12 23:20:29 人评论 次浏览 -
第一个神经网络程序实战
import numpy as np import pandas as pd from keras.models import Sequential from keras.layers import Densenp.random.seed(10) # 指定乱数种子 # 载入数据集 df = pd.read_csv("D:/Keras/Ch05/diabetes.csv")dataset = df.values np.random.shuffle(dat…
2022/5/25 1:20:04 人评论 次浏览 -
自动驾驶笔记之车道线检测 Ultra Fast Structure-aware Deep Lane Detection
网络结构没什么可说的，基本还是沿用特征提取+head的思路 这篇论文主要的贡献在于相比语义分割，可以人工划定对应的row 采样步长，以及每个row对应的块宽度，从而实现针对一个区块进行分类，对性能整体加速非常明显 这里主要记录一下loss的计算过程分类loss： (1) 将特征…
2022/5/24 23:50:25 人评论 次浏览 -
23 损失函数与反向传播
一、损失函数作用：衡量实际输出和真实想要的结果之间的差距，越小越好1. L1Loss计算方法：每个对应值相减的绝对值求和，再取平均案例点击查看代码 import torch from torch.nn import L1Loss# 输入 inputs=torch.tensor([1,2,3],dtype=torch.float32) targets=torch.ten…
2022/5/23 23:49:59 人评论 次浏览 -
focal loss及其优化
参考这篇文章： https://blog.csdn.net/cxkyxx/article/details/108455805我的理解：focal loss不是解决样本不平衡的问题，是解决hard/easy样本的问题。平衡交叉熵 focal loss 样本平衡focal loss
2022/5/4 6:20:24 人评论 次浏览 -
AdaptSegeNet 代码分析
先G后D 训练 G： ——S：pred1, pred2 = model(images) ； loss_seg1 = loss_calc(pred1, labels) ； loss.backward() ； ——T：pred_target1, pred_target2 = model(images) ；D_out1 = model_D1(F.softmax(pred_target1)) ；loss_adv_target1 = bce_loss(D_out1,(…
2022/5/1 23:19:17 人评论 次浏览 -
李宏毅机器学习2022年学习笔记（一）
Introduction 1. 概念机器学习可以应用到很多场景中，例如语音识别、图像识别、AI智能下棋等。它的输入可以是一段声音信号/图片/物体之间的位置关系，数据类型例如：Vector、Matrix、Sequence等。之后通过机器学习寻找一种将输入进行转化为你想要的输出结果的方法，经过这…
2022/4/30 23:30:09 人评论 次浏览 -
TensorFlow读书笔记
简介 TensorFlow是一个基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现。首先创建一个数据流流图,再将数据（以张量的形式存在）放在数据流图中计算。 鸢尾花分类问题 输入：花瓣长、花瓣宽、花萼长、花萼宽输出：三种类别 需要用到损失函数来不断…
2022/4/25 6:14:57 人评论 次浏览
