P11 · 基础与训练
深度学习简介
1这节解决什么问题
深度学习听起来像新东西，它和前面「找一个公式」的框架是什么关系？
2一句话讲清
方法没换，只是把可选公式的范围换成了多层网络；做分类时，输出层再把分数变成概率。
3通俗解释
- 一个神经元：把输入按重要程度加权相加，加一个门槛，再「弯一下」。权重是学出来的，表示每个输入有多重要。
- 一层是很多神经元同时看同一组输入，各给一个数；下一层再对这些数做同样的事。层与层全部相连、信息只往前走，叫全连接前馈网络。
- 分类时，输出层先给每个类别一个分数，再用 softmax 把分数变成「加起来等于一的概率」——分数高的类别，概率大。损失看的是正确类别的概率有多低。
- 训练还是老三步：算损失、算每个参数该往哪挪、挪一小步。反向传播只是把「该往哪挪」算得快一些的办法，不是另一种学习方式。
4一个例子
讲义例子
讲义拿语音识别做对比：每层大小差不多时，层数从一层加到七层，错误率一路往下；而把单独一层加得很宽，反而不如堆深。要注意，这张表里层数多的模型参数也更多，讲义自己也标了「参数更多、表现更好」，所以它不能单独证明「深一定比宽好」。
5常见误区
- 有个定理说「足够宽的一层能逼近任何连续规律」。它只说明「存在这样一组参数」，不保证训练找得到，也不保证新数据上准，所以推不出「不必堆深」。
- softmax 用在输出层，不是隐藏层的激活函数。它负责把分数变成概率。
- 上面那张深浅对比不是严格对照实验：参数量没控制住，宽度也只试了一种。把它当成「深必然更好」的证据，是读过头了。
6和相邻几节的关系
P1、P2 是 2021 版对同一主题的另一种讲法；P12 展开这里只说了一句的反向传播；P13、P14 是两个完整案例。
730 秒回顾
三步没变，只是可选公式换成网络；神经元是加权相加再弯一下；分类输出用 softmax 变概率；这张表上更深更好，但参数没控制；那个定理只保证「存在」。
8小自测
先自己答，再点开对答案。
1. softmax 输出的那组数有什么特点？
每个都在零到一之间，并且加起来等于一，可以当成「属于各类的概率」；分数越高的类别，概率越大。
2. 「一层足够宽就能逼近任何规律」，为什么实践中还堆深？
定理只说存在，不保证有限数据和算力下学得到，也不保证新数据上准。深层把「小特征组合成大特征」写进结构，通常更省参数、更好学，但这是经验，不是定理。