ML训练指导
引言
记录李宏毅老师2021春季机器学习课程给出的训练过程知道。
General Guide
（插图）
Traing
两种情况：
- Model bias
- Optimization
Model Bias
（大海捞针，但是针不在海里）
（features，nn structure）
Optimization
（大海捞针，但是无法接近针）
Distinguish
（比较train loss 和 test loss）
Tips
（先从简单的、浅层网络开始训练）
Test
两种情况：
- overfitting
- mismatch（train data 和 test data有不同的分布）
Overfitting
解决办法：
- 获取更多data
- data augmentation
- 限制模型的弹性（less/sharing parameter，early stop，regularization，dropout ）