搜索结果
查询Tags标签： mathbf，共有 54条记录-
[06] 矩阵计算
主要是关于矩阵的求导。∂y∂x\frac{\partial y}{\partial \mathbf{x}}∂x∂y [yyy是标量，x\mathbf{x}x是列向量，导数是行向量] x=[x1x2⋮xn],∂y∂x=[∂y∂x1,∂y∂x2,⋯,∂y∂xn]\mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}, \quad \f…
2021/11/8 23:14:03 人评论 次浏览 -
并行多任务学习论文阅读（二）同步和异步优化算法
1、并行与分布式多任务学习（Multi-task Learning， MTL）简介 我们在上一篇文章《并行多任务学习论文阅读（一）多任务学习速览》(链接：https://www.cnblogs.com/lonelyprince7/p/15481054.html)中提到，实现多任务学习的一种典型的方法为增加一个正则项[1][2][3]： \[\…
2021/10/30 22:39:44 人评论 次浏览 -
并行多任务学习论文阅读（二）同步和异步优化算法
1、并行与分布式多任务学习（Multi-task Learning， MTL）简介 我们在上一篇文章《并行多任务学习论文阅读（一）多任务学习速览》(链接：https://www.cnblogs.com/lonelyprince7/p/15481054.html)中提到，实现多任务学习的一种典型的方法为增加一个正则项[1][2][3]： \[\…
2021/10/30 22:39:44 人评论 次浏览 -
线性回归中的梯度爆炸
2021年秋季第四周周报内容0. 前言 古人说: “ 温故而知新, 可以为师矣.” 刚好自己也有点时间, 就把几个月前敲过的代码又敲了一遍. 1. nan? inf? 这是一个非常基础的一元线性回归代码, 照着西瓜书公式就可以直接敲出来的那种. 重新在网上找了一个数据集, 如图所示: 虽…
2021/9/24 23:42:12 人评论 次浏览 -
线性回归中的梯度爆炸
2021年秋季第四周周报内容0. 前言 古人说: “ 温故而知新, 可以为师矣.” 刚好自己也有点时间, 就把几个月前敲过的代码又敲了一遍. 1. nan? inf? 这是一个非常基础的一元线性回归代码, 照着西瓜书公式就可以直接敲出来的那种. 重新在网上找了一个数据集, 如图所示: 虽…
2021/9/24 23:42:12 人评论 次浏览 -
《动手学深度学习》之多层感知机
文章目录 多层感知机从线性到非线性激活函数ReLU函数sigmoid函数tanh函数模型选择、欠拟合和过拟合训练误差和泛化误差统计学习理论模型复杂性 模型选择验证集KKK折交叉验证权重衰减范数与权重衰减 Dropout正向传播、反向传播和计算图数值稳定性和模型初始化梯度消失和梯度…
2021/9/11 23:36:35 人评论 次浏览 -
《动手学深度学习》之多层感知机
文章目录 多层感知机从线性到非线性激活函数ReLU函数sigmoid函数tanh函数模型选择、欠拟合和过拟合训练误差和泛化误差统计学习理论模型复杂性 模型选择验证集KKK折交叉验证权重衰减范数与权重衰减 Dropout正向传播、反向传播和计算图数值稳定性和模型初始化梯度消失和梯度…
2021/9/11 23:36:35 人评论 次浏览 -
权重衰退
导致过拟合，影响模型泛化的因素：可调整参数的数量，当可调整参数的数量（自由度）很大时，模型往往容易过拟合。 参数采用的值，当权重的取值范围较大时，模型可能更容易过拟合。 训练样本的数量。即使模型很简单避免了上面条件1的可能性，但是在训练样本极少的情况下也…
2021/8/15 6:06:07 人评论 次浏览 -
权重衰退
导致过拟合，影响模型泛化的因素：可调整参数的数量，当可调整参数的数量（自由度）很大时，模型往往容易过拟合。 参数采用的值，当权重的取值范围较大时，模型可能更容易过拟合。 训练样本的数量。即使模型很简单避免了上面条件1的可能性，但是在训练样本极少的情况下也…
2021/8/15 6:06:07 人评论 次浏览 -
WHT, SLANT, Haar ($N=2^n$)
目录基本酉变换WALSH-HADAMARD TRANSFORMSsequency-ordered WHTSLANT TRANSFORMHaar TransformGonzalez R. C. and Woods R. E. Digital Image Processing (Forth Edition)基本 酉变换 一维的变换: \[\mathbf{t} = \mathbf{A} \mathbf{f}, \\ \mathbf{f} = \mathbf{A}^{H}…
2021/8/4 23:07:55 人评论 次浏览 -
WHT, SLANT, Haar ($N=2^n$)
目录基本酉变换WALSH-HADAMARD TRANSFORMSsequency-ordered WHTSLANT TRANSFORMHaar TransformGonzalez R. C. and Woods R. E. Digital Image Processing (Forth Edition)基本 酉变换 一维的变换: \[\mathbf{t} = \mathbf{A} \mathbf{f}, \\ \mathbf{f} = \mathbf{A}^{H}…
2021/8/4 23:07:55 人评论 次浏览 -
数学表达式魔训day5
关于多示例学习 maxH(A,B)=max{maxa∈Aminb∈B∥a−b∥2,maxb∈Bmina∈A∥b−a∥2}\mathrm{maxH}(\mathbf{A}, \mathbf{B}) = \max \{\max_{a \in \mathbf{A}} \min_{b \in \mathbf{B}} \|a - b\|_2, \max_{b \in \mathbf{B}} \min_{a \in \mathbf{A}} \|b - a\…
2021/8/4 6:08:27 人评论 次浏览 -
数学表达式魔训day5
关于多示例学习 maxH(A,B)=max{maxa∈Aminb∈B∥a−b∥2,maxb∈Bmina∈A∥b−a∥2}\mathrm{maxH}(\mathbf{A}, \mathbf{B}) = \max \{\max_{a \in \mathbf{A}} \min_{b \in \mathbf{B}} \|a - b\|_2, \max_{b \in \mathbf{B}} \min_{a \in \mathbf{A}} \|b - a\…
2021/8/4 6:08:27 人评论 次浏览 -
EM算法的原理推导及解释
文章目录 EM算法的原理推导及解释前置知识：极大似然估计(Maximum Likelihood）核心部分：期望最大化算法(Expectation Maximum)实例：EM求解“三硬币”模型的完整推导及解释EM算法的原理推导及解释 本质上，EM算法针对于存在明显可疑的隐藏变量z，该变量影响着直观的样本…
2021/8/3 20:07:35 人评论 次浏览 -
EM算法的原理推导及解释
文章目录 EM算法的原理推导及解释前置知识：极大似然估计(Maximum Likelihood）核心部分：期望最大化算法(Expectation Maximum)实例：EM求解“三硬币”模型的完整推导及解释EM算法的原理推导及解释 本质上，EM算法针对于存在明显可疑的隐藏变量z，该变量影响着直观的样本…
2021/8/3 20:07:35 人评论 次浏览
