统计学中方差与均值的关系

方差（variance）和均值（mean）之间有一些重要的数学关系公式。这些公式主要源于概率论和统计学的基本性质。在深度学习领域中，有不少公式涉及统计和概率的知识，本文将简单记录一些常用的公式，方便推导复杂公式的时候用于查询。

均值的定义：

μ = E(X) = \frac{1}{N} \sum{x_i}

方差的定义：

σ^2 = \operatorname{V a r} ( X )=\mathbb{E} [ \left( X-\mu\right)^{2} ]

这是方差的最标准定义。它直接衡量 $X$ 偏离其均值 $\mu$ 的平方期望。

用中文表示即：方差 = 平方的期望 - 均值的平方

\operatorname{V a r} ( X )=\mathbb{E} [ X^{2} ]-\left( \mathbb{E} [ X ] \right)^{2}

根据定义推导过程：

\operatorname{V a r} ( X )=\cfrac{1} {N} \sum( x_{i}-\mu)^{2}

\begin{aligned} {} & {{}=\frac{1} {N} \sum( x_{i}^{2}-2 x_{i} \mu+\mu^{2} )} \\ {} & {{}=\frac{1} {N} \sum x_{i}^{2}-2 \mu\frac{1} {N} \sum x_{i}+\mu^{2}} \\ \end{aligned} \\ = \cfrac{1} {N} \sum x_{i}^{2}-\mu^{2}

根据定义改写为：

=\mathbb{E} [ X^{2} ]-\left( \mathbb{E} [ X ] \right)^{2}

\mathbb{E} [ X+c ]=\mathbb{E} [ X ]+c=\mu+c

\operatorname{V a r} ( X + c )= \operatorname{V a r} (X)

这个公式很好理解，有一组数据分布，统统加上一个常数，那么数据的均值也会加上常数，但是因为加的是常数，数据分布是整体偏移，所以方差不会变化。

这显示平移只改变均值，不影响方差。

\mathbb{E} [ aX ] = a\mathbb{E}[X]

\operatorname{V a r} (aX) = a^2 \operatorname{V a r}(X)

均值缩放推导：

\mathbb{E} [aX] = \frac{1}{N} \sum a x_i = \frac{a}{N} \sum x_i = a \mathbb{E} [X]

方差缩放推导：

\operatorname{V a r} (aX) = E[(aX - a \mu)^2] \\ = a^2E[X^2 - 2 \mu X + u^2] \\ = a^2[E[X^2] -2 \mu E[X] + \mu^2]

因为 $\mu = E[X]$ 且 $\operatorname{V a r} ( X )=\mathbb{E} [ \left( X-\mu\right)^{2} ]$

故：

= a^2[E[X^2] - (E[X])^2]

= a^2 \operatorname{V a r}[X]

若 $X$ 和 $Y$ 独立：

\operatorname{V a r} ( X+Y )=\operatorname{V a r} ( X )+\operatorname{V a r} ( Y )

\mathbb{E} [ X+Y ]=\mu_{X}+\mu_{Y}

目录