Gradient Descent

1这节解决什么问题

一段两分半的游戏演示，接在梯度下降正课后面，用来看「顺着坡往下走」是什么感觉。

2一句话讲清

它是演示，不是课：没有讲义、没有讲解，只能确认「用游戏画面演示梯度下降」这一层。

3通俗解释

1. 对应的正课讲更新方式、学习率、步长自适应和特征缩放；这段只负责给直观感受。
2. 能带走的一句话：梯度下降是一步步走的，每一步只在脚下附近保证「往下」，不保证一步到谷底。

4一个例子

帮助理解的类比

要补直观可以想山路：如果山谷是一条又长又窄的沟，你朝最陡的方向走，很容易在两侧来回横跳、走得很慢——同一个步子，在窄的方向上显得太大，在长的方向上又显得太小。

5常见误区

• 把这段当梯度下降正课。正课才讲公式和调参，这段只是演示。
• 以为最陡的方向指向最低点。它只指向脚下附近下降最快的方向。

6和相邻几节的关系

P23 是同系列另一段演示；P24、P25 把步长自适应讲到 Adam。

730 秒回顾

两分半的演示，不是课；没讲义没讲解；要学梯度下降，回正课。

8小自测

先自己答，再点开对答案。

9来源