搜索结果
查询Tags标签： 梯度，共有 186条记录-
深度学习：优化算法
1 梯度下降 为什么梯度下降算法可以优化目标函数？ 考虑一类连续可微实值函数\(f: \mathbb{R} \rightarrow \mathbb{R}\)， 利用泰勒展开，我们可以得到 \[f(x + \epsilon) = f(x) + \epsilon f(x) + \mathcal{O}(\epsilon^2). \]\[f(x - \eta f(x)) = f(x) - \eta f^2(x)…
2022/9/17 14:18:29 人评论 次浏览 -
with torch.no_grad() 和 @torch.no_grad()
Pytorch中with torch.no_grad()或@torch.no_grad() 用法 https://www.cnblogs.com/douzujun/p/13364116.htmlrequires_grad=True 要求计算梯度 requires_grad=False 不要求计算梯度 with torch.no_grad()或者@torch.no_grad()中的数据不需要计算梯度，也不会进行反向传播m…
2022/9/17 6:16:17 人评论 次浏览 -
逻辑回归与梯度下降法全部详细推导
from： https://www.cnblogs.com/onemorepoint/p/9321199.html 逻辑斯谛回归 感知机的一个最大缺点是：在样本不是完全线性可分的情况下，它永远不会收敛。分类算中的另一个简单高效的方法：logistics regression（分类模型）很多情况下，我们会将逻辑回归的输出映射到二元…
2022/9/16 6:19:58 人评论 次浏览 -
动手实现深度学习(4): 神经网络的backward实现
传送门： https://www.cnblogs.com/greentomlee/p/12314064.html github: https://github.com/Leezhen2014/python_deep_learning在第二篇中介绍了用数值微分的形式计算神经网络的梯度，数值微分的形式比较简单也容易实现，但是计算上比较耗时。本章会介绍一种能够较为高效…
2022/9/12 23:23:17 人评论 次浏览 -
深度学习基础课： “判断性别”Demo需求分析和初步设计（下1）
大家好~我开设了“深度学习基础班”的线上课程，带领同学从0开始学习全连接和卷积神经网络，进行数学推导，并且实现可以运行的Demo程序 线上课程资料： 本节课录像回放 加QQ群，获得ppt等资料，与群主交流讨论：106047770 本系列文章为线上课程的复盘，每上完一节课就会同…
2022/8/30 23:23:02 人评论 次浏览 -
为什么Adam 不是默认的优化算法?
由于训练时间短，越来越多人使用自适应梯度方法来训练他们的模型，例如Adam它已经成为许多深度学习框架的默认的优化算法。尽管训练结果优越，但Adam和其他自适应优化方法与随机梯度下降(SGD)相比，有时的效果并不好。这些方法在训练数据上表现良好，但在测试数据却差很多…
2022/8/25 14:22:58 人评论 次浏览 -
神经网络学习-优化算法5
优化算法 本次主要对动量梯度下降算法，RMSprop算法，Adam优化算法的学习进行一个总结，主要对这几个算法的公式和原理进行介绍，对于代码部分可以参考： https://blog.csdn.net/u013733326/article/details/79907419 mini-batch梯度下井 当一个数据集较大时，比如这个数据…
2022/8/12 1:28:18 人评论 次浏览 -
SRTP_Log_20220808
Working Content: 1.测试了原来的函数模型是否使得梯度无法回传 2.重新使用原来框架建立了关于一个简单函数y=-2x+1的模型，并进行拟合Acquisition: 1.初步认为梯度是没有问题的（理由：使用同一组数据进行操作，发现在用optimizer更新完网络参数之后，输入同一组数据返回…
2022/8/8 23:24:36 人评论 次浏览 -
神经网络优化：RMSprop（均方根传播梯度下降法）
最终目的仍是减少振荡方向(b)的更新幅度，提高前进方向(ω)的更新幅度 引入Sdω和Sdb，如公式表达，由于dω<db，求其均方根作为分母，实现ω的更新幅度大，而b的更新幅度小 注意1. 使用中为了避免出现√Sdω=0导致除数为0的情况出现，应令√(Sdω+ε) （吴恩达视频中建…
2022/7/31 23:24:41 人评论 次浏览 -
2.单变量线性回归
1. 一元线性回归（模型描述） 常用符号： m ： 训练样本的数量 x ： 输入变量/特征 y : 输出变量/预测的目标变量 （x, y）: 表示一个训练样本 $$(x^{(i)}, y^{(i)})$$ : 表示特殊训练样本/第i个训练样本 监督学习的工作过程:2. 代价函数在线性回归中我们要解决的是一个最…
2022/7/23 23:28:36 人评论 次浏览 -
李宏毅机器学习-回归
task2 回归 找到一个Function，通过这个Function预测出一个数值，如根据股票走势预测明天的股票情况，根据宝可梦的属性预测它的CP值 2.1 线性模型：input x: featrue w: weight b: bias 2.2 损失函数(Loss Function) 损失函数的作用是衡量参数的好坏 线性模型中损失函数用…
2022/7/14 6:20:14 人评论 次浏览 -
线性回归算法
预测函数 单变量线性回归：\(h{_\theta(x)} = \theta{_0} + \theta{_1}x\)；令\(x_0 = 1\)；则\(h{_\theta(x)} = \theta{_0}x_0 + \theta{_1}x_1\) ； 多变量线性回归：\({{h}_{\theta }}\left( x \right)={{\theta }_{0}}{{x}_{0}}+{{\theta }_{1}}{{x}_{1}}+{{\theta }…
2022/7/5 1:20:49 人评论 次浏览 -
12、优化算法
在机器学习算法中，对于很多监督学习模型，需要对原始的模型构建损失函数，之后通过优化算法对损失函数进行优化，寻找到最优的参数。求解机器学习参数的优化算法中，使用较多的是基于梯度下降的优化算法(Gradient Descent, GD)，梯度下降法的含义是通过当前点的梯度方向寻…
2022/6/28 1:20:51 人评论 次浏览 -
分布式机器学习：同步并行SGD算法的实现与复杂度分析（PySpark）
1 分布式机器学习概述 大规模机器学习训练常面临计算量大、训练数据大（单机存不下）、模型规模大的问题，对此分布式机器学习是一个很好的解决方案。 1）对于计算量大的问题，分布式多机并行运算可以基本解决。不过需要与传统HPC中的共享内存式的多线程并行运算（如OpenM…
2022/6/27 1:21:45 人评论 次浏览 -
数值优化：经典随机优化算法及其收敛性与复杂度分析
1 随机优化算法概述 随着大数据的出现，确定性优化算法的效率逐渐称为瓶颈。为了说明这一点，我们来看一个用梯度下降法求解线性回归的例子。 给定训练样本\(D = \{(x_i, y_i)\}_{i=1}^n\)，线性回归的目标函数如下： \[f(w) = \frac{1}{n}\sum_{i=1}^nf_i(w)= \frac{1}{n…
2022/6/24 1:18:02 人评论 次浏览
