深度学习 · 简洁版详细版

李宏毅机器学习 · 18 节复习笔记

深度学习复习：简洁版

每节先说清问题，再给一句话结论、通俗步骤、一个例子和常见误区。需要推导时，随时跳到详细版。

基于对应官方讲义整理并做复习补充，不是视频逐字稿；本页不标注视频时间点。

全部 18 节

基础与训练

从一个公式开始：模型、损失、优化，以及怎么看训练与验证的表现。

  1. P01机器学习基本概念简介2021 版 · 上半 · 50:00机器学习就是：先写一个带未知数的公式，再规定怎么算「猜得有多差」，最后用数据把未知数调到最不差。
  2. P02深度学习基本概念简介2021 版 · 下半 · 58:35把所有未知数放进一张清单一起调，就能一次更新全部；而层数只有在层与层之间夹了「弯一下」的函数之后才有意义。
  3. P11深度学习简介2016 版 · 46:30方法没换，只是把可选公式的范围换成了多层网络；做分类时，输出层再把分数变成概率。
  4. P13预测神奇宝贝Pokemon回归案例 · 2016 版 · 1:18:36先假设答案是一组输入的加权和，再用十只宝可梦的数据调权重；模型越复杂，训练时越准，但遇到新数据会先变好、后崩掉。
  5. P14分类神奇宝贝Pokemon分类案例 · 2016 版 · 1:09:41分类别当回归做。这一讲走生成式路线：先估每个类别「长什么样」，再看这个样本更像哪一类生成的。
  6. P15逻辑回归2016/17 版 · 1:07:13逻辑回归名字里有「回归」，做的却是分类：先算一个打分，再用 S 形曲线把打分压成概率。
  7. P16机器学习任务攻略2021 版 · 51:24训练表现和新数据表现是两个独立读数，两两组合指向四种毛病；四种毛病的药方方向相反，先诊断再动手。

优化

梯度怎么算、步子怎么走，以及为什么没有万能优化器。

  1. P12反向传播2016 版 · 31:27反向传播就是一套省力的算法：先做一次预测，看错在哪，再把「错」的责任从后往前分给每一层，算出每个参数对误差的影响有多大，最后交给优化器去改。
  2. P22Gradient DescentAoE 演示 · 2:36 · 2:36它是演示，不是课：没有讲义、没有讲解，只能确认「用游戏画面演示梯度下降」这一层。
  3. P23Gradient DescentMinecraft 演示 · 1:41 · 1:41它也是演示；唯一要带走的是：梯度只说脚下往哪走，不告诉你整张地图长什么样。
  4. P24Optimization for Deep Learning（上）2020 助教补充课 · 54:36优化器的演化是在「快」和「稳」之间取舍：惯性让方向更稳，按参数调步子让每个参数走不同距离，Adam 把两者合起来，但不总是更好。
  5. P25Optimization for Deep Learning（下）2020 助教补充课 · 54:32这一半最实用的结论是：在 Adam 里，「把限制写进损失」和「每步直接缩小」并不等价；而优化器选型是领域经验，不是定理。

架构

把先验写进结构：卷积看局部，循环看顺序。

  1. P29卷积神经网络CNN · 2021 版 · 55:40卷积把三条图像常识写进结构：有用的图案只占一小块、同样的图案可能出现在任何位置、物体缩小一点还是同一个东西。
  2. P38Recurrent Neural Network（上）RNN · 2016/17 版 · 49:00循环网络给模型一个「小本子」（隐状态），把看过的东西记在里面，随序列一步步往下传；同一组权重在每个时刻反复使用。

注意力与 Transformer

让每个位置自己决定看哪里，再组装成编码器与解码器。

  1. P36自注意力机制（上）Self-attention · 2021 版 · 28:18让每个位置自己决定「该参考句中哪些位置、各参考多少」，再把那些位置的内容按比例混进自己的表示——这就是自注意力。
  2. P37自注意力机制（下）多头、位置与对比 · 2021 版 · 45:58多头让「相关」有多种定义，位置信息把先后加回来；自注意力和卷积是同一族的两端，和循环网络则是「并行」换「长距离」。
  3. P47Transformer（上）seq2seq 与编码器 · 32:48编码器把输入的每个位置都变成一份「带上下文的笔记」，解码器再一边写译文、一边回来翻这些笔记。
  4. P48Transformer（下）解码器与训练 · 1:00:34解码器自己接自己的输出往下写；训练时用「遮住未来」让它一次算完所有位置，真正生成时只能一步步来。