【机器学习数学基础】优化算法

本文主要是介绍【机器学习数学基础】优化算法，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

参考：https://blog.csdn.net/xbmatrix/article/details/56682466
一、最优化方法
指在某些约束条件下,决定某些可选择的变量应该取何值,使所选定的目标函数达到最优的问题。
常见情形：利用目标函数的导数通过多次迭代来求解无约束最优化问题。
实现简单，coding 方便，是训练模型的必备利器之一。

大纲：
1.最速下降法
2.共轭梯度法
3.牛顿法
4.拟牛顿法
5.约束非线性优化
6.KKT条件

参考书籍：统计学习方法、西瓜书

这篇关于【机器学习数学基础】优化算法的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！