expectations-and-variance-of-common-distributions

前言

本文计算了一些常见分布的期望和方差，有些计算需要用到级数求和的知识。

离散分布

0-1分布

\(X\)服从0-1分布，其分布律为： \[ P\{X = 0\} = 1-p, \quad P\{ X = 1\} = p \] 期望： \[ E(X) = 1 \cdot p + 0 \cdot (1-p) = p \] 方差： \[ \begin{split} D(X) &= E[(X - E(X))^2] \\ &= E[(X - p)^2] \\ &= (1 - p) \cdot (0-p)^2 + p \cdot (1-p)^2 \\ &= (1 - p) \cdot p^2 + p \cdot (1-p)^2 \\ &= (1-p) \cdot p \cdot (p + 1 - p) \\ &= p(1-p) \end{split} \] 或者 \[ \begin{split} D(X) &= E[(X - E(X))^2] \\ &= E(X^2) - E^2(X) \\ &= p - p^2 \\ &= p(1-p) \end{split} \]

二项分布

假设随机变量 \(X \sim B(n, p)\)，求期望和方差。

\(P\{X = k\} = C_n^k p^k(1-p)^{n-k}\)。

可以直接计算： \[ \begin{split} E(X) &= \sum_{k=0}^n kP\{X = k\} \\ \end{split} \] 使用到了二项式定理。

也可以根据每次实验的结果都符合0-1分布，且各次实验相互独立来推导。

设 \(X = X_1 + X_2 + \cdots + X_n\)。

期望： \[ E(X) = E(\sum_{k=1}^nX_k) = \sum_{k=1}^nE(X_k) = np \] 方差： \[ D(X) = D(\sum_{k=1}^nX_k) = \sum_{k=1}^nD(X_k) = np(1-p) \]

泊松分布

\(X \sim P(\lambda)\)

\(P\{X = k\} = \frac{\lambda^k}{k!} e^{-\lambda}\)

其中 \(\frac{\lambda^k}{k!}\) 是 \(e^{\lambda}\) 的在 \(\lambda = 0\) 的泰勒展开式。

期望： \[ \begin{split} E(X) &= \sum_{k=0}^{\infty} kP\{X = k\} = \sum_{k=0}^{\infty} k \frac{\lambda^k}{k!} e^{-\lambda} = \sum_{k=1}^{\infty} k \frac{\lambda^k}{k!} e^{-\lambda} \\ &= e^{-\lambda} \sum_{k=1}^{\infty} k \frac{\lambda^k}{k!} = e^{-\lambda} \sum_{k=1}^{\infty} \frac{\lambda^k}{(k-1)!} = \lambda e^{-\lambda} \sum_{k=1}^{\infty} \frac{\lambda^{(k-1)}}{(k-1)!} \\ &= \lambda e^{-\lambda} \sum_{k=0}^{\infty} \frac{\lambda^{k}}{k!} = \lambda e^{-\lambda} e^{\lambda} = \lambda \end{split} \] 方差：

使用公式 \(D(X) = E(X^2) - E^2(X)\)来求。

这个分解 \(E(X^2)\) 的求法来自[2]p102页例3。 \[ \begin{split} E(X^2) &= E[X(X-1) + X] = E[X(X-1)] + E(X)\\ \end{split} \]

\[ \begin{split} E[X(X-1)] &= \sum_{k=0}^{\infty} k(k-1)P\{X = k\} = \sum_{k=0}^{\infty} k(k-1) \frac{\lambda^k}{k!} e^{-\lambda} = \sum_{k=2}^{\infty} k(k-1) \frac{\lambda^k}{k!} e^{-\lambda} \\ &= e^{-\lambda} \sum_{k=2}^{\infty} k(k-1) \frac{\lambda^k}{k!} = e^{-\lambda} \sum_{k=2}^{\infty} \frac{\lambda^k}{(k-2)!} = \lambda^2 e^{-\lambda} \sum_{k=2}^{\infty} \frac{\lambda^{(k-2)}}{(k-2)!} \\ &= \lambda^2 e^{-\lambda} \sum_{k=0}^{\infty} \frac{\lambda^{k}}{k!} = \lambda^2 e^{-\lambda} e^{\lambda} = \lambda^2 \end{split} \]

所以\(E(X^2) = \lambda^2 + \lambda\)。

\(D(X) = \lambda\)。

几何分布

参考[3]。

\(X\)服从几何分布，即 \(P(X = k) = p(1-p)^{k-1}\)，求期望和方差。 假设成功的概率为\(p\)，可以令失败的概率为 \(q = 1-p\)。

期望： \[ \begin{split} E(X) &= \sum_{k=1}^{+\infty}kP(X = k) = \sum_{k=1}^{+\infty}kpq^{k-1} \\ &= p\sum_{k=1}^{+\infty}kq^{k-1} = p\frac{1}{(1 - q)^2} = \frac{1}{p} \end{split} \] 使用了幂级数求和，实际上是高中的等比数列求和，见[1] p253。 \[ \sum_{k = 0}^{\infty}x^k = 1 + x + x^2 + \cdots + x^k + \cdots = \frac{1}{1-x}, |x| < 1 \] 则有： \[ \sum_{k=1}^{\infty}kx^{k-1} = (\sum_{k=1}^{\infty}x^k)^{\prime} = (\frac{x}{1-x})^{\prime} = \frac{1}{(1-x)^2} \] 方差： \[ \begin{split} E(X^2) &= \sum_{k=1}^{\infty}k^2 \cdot P(X = k) = \sum_{k=1}^{\infty}k^2 p q^{k-1} \\ &= p\sum_{k=1}^{\infty}k^2 q^{k-1} = p \cdot \frac{1 + q}{(1 - q)^3} = \frac{1 + q}{(1 - q)^2} \end{split} \] 利用了级数： \[ \sum_{k=1}^{\infty}k^2x^{k-1} = (\sum_{k=1}^{\infty}kx^k)^{\prime}= (x\sum_{k=1}^{\infty}kx^{k-1})^{\prime} = [\frac{x}{(1-x)^2}]^{\prime} = \frac{1+x}{(1-x)^3}, |x| < 1 \] 有： \[ D(x) = E(X^2) - E^2(X) = \frac{1+q}{(1-q)^2} - \frac{1}{p^2} = \frac{2-p}{p^2} -\frac{1}{p^2} = \frac{1-p}{p^2} \]

连续分布

均匀分布

\(X \sim U(a, b)\)。

\(X\)的概率密度函数： \[ f(x) = \begin{cases} \frac{1}{b-a}, & a < x < b\\ 0, & else \end{cases} \]

期望： \[ E(X) = \int_{-\infty}^{\infty}xf(x)\rm{d}x = \int_{a}^{b}\frac{x}{b-a}\rm{d}x = \frac{1}{b-a} \cdot \frac{1}{2} \cdot (b^2 - a^2) = \frac{a+b}{2} \] 方差： \[ \begin{split} E(X^2) &= \int_{-\infty}^{\infty}x^2f(x)\rm{d}x = \int_{a}^{b}\frac{x^2}{b-a}\rm{d}x \\ &= \frac{1}{b-a} \cdot \frac{1}{3} \cdot (b^3 -a^3) \\ &= \frac{1}{b-a} \cdot \frac{1}{3} \cdot (b - a)(b^2 + ba + a^2) \\ &= \frac{b^2 + ba + a^2}{3} \end{split} \]

\[ \begin{split} D(X) &= E(X^2) - E^2(X) \\ &= \frac{b^2 + ba + a^2}{3} - \frac{(a+b)^2}{2^2} \\ &= \frac{4b^2 + 4ba + 4a^2}{12} - \frac{3(a+b)^2}{12} \\ &= \frac{b^2 - 2ba + a^2}{12} \\ &= \frac{(b - a)^2}{12} \\ \end{split} \]

指数分布

\(X\)服从指数分布，概率密度函数为： \[ f(x) = \begin{cases} \frac{1}{\theta}e^{-\frac{x}{\theta}}, & x > 0,\\ 0, & x \leq 0, \end{cases} \] 其中 \(\theta > 0\)。

也有的写为： \[ f(x) = \begin{cases} {\theta}e^{-{\theta}x}, & x > 0,\\ 0, & x \leq 0, \end{cases} \] 写为第一种形式是为了更好的表示期望和方差。

期望： \[ \begin{split} E(X) &= \int_{-\infty}^{\infty}xf(x)\mathrm{d}x \\ &= \int_{0}^{\infty}x\frac{1}{\theta}e^{-\frac{x}{\theta}} \mathrm{d}x \\ &= \theta\int_{0}^{\infty}\frac{x}{\theta}e^{-\frac{x}{\theta}} \mathrm{d}\frac{x}{\theta} \\ &= \theta\Gamma(2) \\ &= \theta \end{split} \]

也可以使用分布积分来计算： \[ \begin{split} E(X) &= \int_{-\infty}^{\infty}xf(x)\mathrm{d}x \\ &= \int_{0}^{\infty}x\frac{1}{\theta}e^{-\frac{x}{\theta}} \mathrm{d}x \\ &=- \int_{0}^{\infty} x \mathrm{d}e^{-\frac{x}{\theta}} \\ &= -xe^{-\frac{x}{\theta}}\big|_{0}^{\infty} + \int_{0}^{\infty}e^{-\frac{x}{\theta}} \mathrm{d}x \\ &= -\theta e^{-\frac{x}{\theta}} \big|_{0}^{\infty} \\ &= \theta \\ \end{split} \] 方差： \[ \begin{split} E(X^2) &= \int_{-\infty}^{\infty}x^2f(x)\mathrm{d}x = \int_{0}^{\infty} x^2 \frac{1}{\theta}e^{-\frac{x}{\theta}} \mathrm{d}x \\ &= \theta^2\int_{0}^{\infty} (\frac{x}{\theta})^2 e^{-\frac{x}{\theta}} \mathrm{d}\frac{x}{\theta} \\ &= \theta^2 \Gamma(3) \\ &= 2 \theta^2 \end{split} \] 则\(D(X) = E(X^2) - E^2(X) = \theta^2\)。

正态分布

期望为 \(\mu\)，方差为 \(\sigma^2\)。

三大分布

略

参考资料

[1] 6版同济高数下

[2] 概率论与数理统计 浙大盛骤四版

[3] 几何分布的期望和方差怎么推导?