Adam（Adaptive Moment Estimation）是一种用于训练深度学习模型的优化算法。它在 2014 年由 Diederik P. Kingma 和 Jimmy Ba 提出，并迅速成为深度学习领域最流行和最常用的优化器之一。

在训练Ai模型的过程中，常常会遇到一个棘手的问题——过拟合（Overfitting）。当企图增加epoch提高精度的时候，发现accurancy的值始终徘徊，而测试集的损失开始不降反增，则意味着来到了过拟合的阶段，此时要么停止训练，要么选择一些特殊的手段来优化网络，比如本文提到的两种正则化技术：L1正则化和L2正则化。

Todo

在机器学习的实践中，理解、调试和优化模型是至关重要的环节。为了应对这一挑战，Google 开发了一款强大的可视化工具——TensorBoard。它能够将训练过程中的各种数据，如指标、模型图、参数分布等，以直观的图形界面呈现出来，帮助我们更深入地洞察模型的行为。 本文将介绍几种常用的方法和技巧，方便训练过程中观测各种指标。

在编写深度学习模型的时候，有时候难免需要一些底层的函数，pytorch提供了大量的封装，本手册提供常用函数用法和参数解释。