Gradient Descent

1这节解决什么问题

与上一段配对的第二个演示，素材换成另一款游戏，用来把损失想成地形。

2一句话讲清

它也是演示；唯一要带走的是：梯度只说脚下往哪走，不告诉你整张地图长什么样。

3通俗解释

1. 「一直往下走总能到谷底」只在能看见整张图的时候成立。参数成千上万时，我们只摸得到脚下这一点。
2. 脚下几乎不动，可能是到了一个局部低点，可能是鞍点（一个方向往上、另一个方向往下），也可能是一片很平的地方。

4一个例子

帮助理解的类比

鞍点像马鞍：前后方向是往下走的，左右方向是往上走的。站在正中那一点，四面摸起来都是平的，很容易以为到底了；稍微偏一点，就会顺着往下的方向滑走。

5常见误区

• 以为不动就是到了最低点。也可能只是鞍点或平地：这三种情况在脚下摸起来都很平。
• 以为鞍点一定卡死。只要起点不精确落在正中，就会顺着往下的一侧滑走；真正卡住的只有正中那一点。

6和相邻几节的关系

P22 是同系列另一段演示；P24、P25 讲惯性和自适应步长怎么对付平地。

730 秒回顾

一分四十一秒的演示；不动可能是低点、鞍点或平地；二维的直觉在高维不一定成立。

8小自测

先自己答，再点开对答案。

9来源