深度学习基本概念简介

1这节解决什么问题

上一节只有几个未知数，这一节变成几万个：怎么一起调？把同样的结构叠很多层，又会发生什么？

2一句话讲清

把所有未知数放进一张清单一起调，就能一次更新全部；而层数只有在层与层之间夹了「弯一下」的函数之后才有意义。

3通俗解释

1. 一起调的办法：把每层要学的数放进同一张清单，算出「每个数该往哪边挪、挪多少」，然后一次全改。改完要重新算，因为旧方向只对旧的一批数有效。
2. 数据太多算不完，就切成小批。每批算一次、改一次；把所有批看完一遍叫一轮（epoch）。
3. 层与层之间加一个「弯一下」的函数，叫激活函数。常用的是 ReLU：负数一律变零，正数原样通过。它让多层叠起来不再是简单的按比例放大。
4. 一层接一层：第一层加工原始特征，第二层加工第一层的输出……层数越多，能拼出的规律越复杂，但也越难训、越容易记答案。

4一个例子

讲义例子

讲义用过去几十天的观看次数做输入，比较一到四层：训练数据上的误差一层层往下掉，可没参与训练的数据上，误差到第四层反而回升。这就是过拟合——模型把训练数据里的偶然波动也当成规律记住了，换一批数据就不灵。

5常见误区

• 两层之间不放「弯一下」的函数，两层合起来仍等于一层：中间那层白加了，能表示的规律没变多。判断网络深不深，看有没有这个弯，而不是数层数。
• 一轮不等于一次更新。只有每批都用全部数据时，两者才相等。
• 训练误差下降不代表模型变好。四层那个例子训练最好、新数据最差；选模型要看没参与训练的那部分数据。

6和相邻几节的关系

P1 立起三步框架；P12 讲这些方向具体怎么算；P16 把「训练好、新数据差」整理成一张诊断表。

730 秒回顾

未知数放一张清单一起调；分批更新，看完一遍叫一轮；层间要有「弯一下」的函数，否则叠了也白叠；层数多了会记答案，训练误差和新数据误差要分开看。

8小自测

先自己答，再点开对答案。

9来源