(图注)在 x=-2.0 时,f(x)的切线和逼近线。
切线为:
切线方向记为向量(1,f’(x))。
如果从 x_0=-2.0 的位置开始登山,应该沿切线上升的方向前进。如果切线的斜率较大,可以大步迈进;如果斜率接近零,应该小步小步往上爬,以免越过峰值。如果用数学语言表示,我们应该用下面这种方式定义下一个点:
式中 λ 是个参数,设置前进的步长。这就是所谓的学习率。通常,后续步骤定义为:
正导数意味着斜率在增加,所以可以前进;而负导数意味着斜率在减少,所以要后退。可视化这个过程:
(图注)在 x=-2.0 时,f(x)的切线和逼近线。
切线为:
切线方向记为向量(1,f’(x))。
如果从 x_0=-2.0 的位置开始登山,应该沿切线上升的方向前进。如果切线的斜率较大,可以大步迈进;如果斜率接近零,应该小步小步往上爬,以免越过峰值。如果用数学语言表示,我们应该用下面这种方式定义下一个点:
式中 λ 是个参数,设置前进的步长。这就是所谓的学习率。通常,后续步骤定义为:
正导数意味着斜率在增加,所以可以前进;而负导数意味着斜率在减少,所以要后退。可视化这个过程:
Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.