【备战春招】第 5 天 人工智能数学基础与 Python 实战-模型求解与梯度下降法

课程名称：人工智能数学基础与 Python 实战

课程章节：模型求解与梯度下降法

课程讲师：flare_zhao

课程内容：

1. 梯度下降法

• AI 模型的重要求解方法

• 寻找极小值的一种方法。通过向函数上当前点对梯度（导数）的反方向的规定步长距离点进行迭代搜索，直到在极小点收敛

• 收敛：极小值的点

• 偏导数：与导数相似，区别有多个变量，两个或以上的自变量情况

• 梯度下降法的核心：梯度（导数），反方向，规定步长，组成的搜索方法 Pi+1 的坐标

2. 梯度下降法举例

• 梯度下降法可以实现逐渐接近极小值点

• 该步骤演示了导数在求解模型中的具体应用

3. 梯度下降法核心：从一个点出发，沿着导数的反向逐步逼近极值点

4. 回归问题求解

• 建立模型，得到面积和房价的关系（函数关系）

• 假设存在一个线性关系，y=ax+b（先用最简单的模型进行求解，模型求解思路是一样的）

• 求解模型的过程是寻找合理的 a 和 b 的过程（本质是线性模型的求解）

• 寻找合适的 a、b 的思路：

尽可能让模型预测结果靠近实际结果

最小化模型预测结果与实际结果的差（距离的平方最小：可以用梯度下降法求解），并对它们进行求和，再对除以样本 m

• 实际求解会有损失函数的加入

• 使用梯度下降法（通过导数寻找模型重要的系数 a 和 b 求解），a 和 b 相当于 P0，我们要去寻找下一个 P，Pi 到 Pi+1；求对应的偏导数，乘径系数，反方向进行求解。得分新的 a 和 b 替代原来的 a 和 b，实现极小值的求解

课程收获：

• 重点回顾：通过对函数的求解找到极值点，极值点可以帮助我们完成对模型的求解

• 重点小结：了解导数在模型是怎么应用的