网站首页 站内搜索

搜索结果

查询Tags标签: 收敛性,共有 2条记录
  • 数值优化:经典随机优化算法及其收敛性与复杂度分析

    1 随机优化算法概述 随着大数据的出现,确定性优化算法的效率逐渐称为瓶颈。为了说明这一点,我们来看一个用梯度下降法求解线性回归的例子。 给定训练样本\(D = \{(x_i, y_i)\}_{i=1}^n\),线性回归的目标函数如下: \[f(w) = \frac{1}{n}\sum_{i=1}^nf_i(w)= \frac{1}{n…

    2022/6/24 1:18:02 人评论 次浏览
  • 数值优化:经典一阶确定性算法及其收敛性分析

    我们在上一篇博客《数值优化:算法分类及收敛性分析基础》介绍了数值优化算法的历史发展、分类及其收敛性/复杂度分析基础。本篇博客我们重点关注一阶确定性优化算法及其收敛性分析。 1 梯度下降法 1.1 算法描述 梯度下降法[1]是最古老的一阶方法,由Cauchy在1847年提出。…

    2022/6/12 5:20:25 人评论 次浏览
扫一扫关注最新编程教程