梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

可以用于求解非线性方程组

• 中文名 梯度下降
• 外文名 steepest descent (gradient descent)
• 用    于 求解非线性方程组
• 类    型 最优化算法

简介

　　梯度下降法(gradient decent)是一个最优化算法，通常也称为最速下降法。

　　常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。

例子

　　下面这个例子也鲜明的示例了"之字"的下降，这个例子用梯度下降法求极小值。

缺点

• 靠近极小值时收敛速度减慢。
• 直线搜索时可能会产生一些问题。
• 可能会“之字形”地下降。