为什么梯度的反方向为下降速度最快的方向?
x , y 都表示 权重,f 表示损失函数。
1.可由近似公式得到: 2.即:
3.
因为 delta z 表示变化量 ,最大值表示 变化最大 (增加最大),即增加最快的方向。
最小值表示下降最大,即下降最快的方向。 等式右边可写作向量的形式。
4.
左边表示 梯度,所以梯度的反方向 乘积最小,二者夹角-180度, 即下降最快。
5.
所以:
所以:
x , y 都表示 权重,f 表示损失函数。
1.可由近似公式得到: 2.即:
3.
因为 delta z 表示变化量 ,最大值表示 变化最大 (增加最大),即增加最快的方向。
最小值表示下降最大,即下降最快的方向。 等式右边可写作向量的形式。
4.
左边表示 梯度,所以梯度的反方向 乘积最小,二者夹角-180度, 即下降最快。
5.
所以:
所以: