7.1 点估计 | 概率统计

⭐ 基本思想

用样本 $k$ 阶矩 $M_k = \dfrac{1}{n}\sum X_i^k$ 估计总体 $k$ 阶矩 $\mu_k = E(X^k)$ （由大数定律， $M_k\xrightarrow{P}\mu_k$ ）。

三步法：

用 $\theta_1, \ldots, \theta_m$ 表达 $\mu_1, \ldots, \mu_m$ （前 $m$ 阶总体矩）
令 $\mu_k = M_k$ （ $k = 1, \ldots, m$ ），得方程组
反解出 $\hat\theta_j$

七大分布矩估计速查

分布	关系式	$\hat\theta$
$B(1, p)$	$E(X) = p$	$\hat p = \bar X$
$B(m, p)$ ( $m$ 知)	$E(X) = mp$	$\hat p = \bar X/m$
$P(\lambda)$	$E(X) = \lambda$	$\hat\lambda = \bar X$
$G(p)$	$E(X) = 1/p$	$\hat p = 1/\bar X$
$U(a, b)$	$E = (a+b)/2,\,D = (b-a)^2/12$	$\hat a = \bar X-\sqrt{3 S_n^2},\,\hat b = \bar X+\sqrt{3 S_n^2}$
$E(\lambda)$	$E(X) = 1/\lambda$	$\hat\lambda = 1/\bar X$
$N(\mu, \sigma^2)$	$E = \mu,\,D = \sigma^2$	$\hat\mu = \bar X,\,\hat\sigma^2 = S_n^2$

$S_n^2 = \dfrac{1}{n}\sum(X_i-\bar X)^2$ （注意是 $n$ ，不是 $n-1$ ）。

例 1（双参数矩估计）：

X\sim N(\mu, \sigma^2)

，求

\mu, \sigma^2

矩估计。

解

$\mu_1 = \mu = \bar X\Rightarrow\hat\mu = \bar X$ 。

$\mu_2 - \mu_1^2 = \sigma^2 = M_2 - \bar X^2 = \dfrac{1}{n}\sum X_i^2 - \bar X^2 = \dfrac{1}{n}\sum(X_i-\bar X)^2 = S_n^2$ 。

所以 $\hat\sigma^2 = S_n^2$ （用 $n$ ，不是 $n-1$ ）。

⭐ 基本思想

"找使观察样本概率最大的参数值"。

四步法：

写似然函数 $L(\theta) = \prod_{i=1}^n f(X_i; \theta)$ （连续）或 $\prod P(X_i; \theta)$ （离散）
取对数 $\ell(\theta) = \ln L = \sum\ln f(X_i; \theta)$
求导置零 $\dfrac{\dd\ell}{\dd\theta} = 0$ ，解得 $\hat\theta$
验证极大（二阶导 < 0，或看单调性）

七大分布 MLE 速查

分布	$\ln L$ 关键项	$\hat\theta_{\text{MLE}}$
$B(1, p)$	$\sum X_i\ln p+(n-\sum X_i)\ln(1-p)$	$\hat p = \bar X$
$P(\lambda)$	$\sum X_i\ln\lambda-n\lambda$	$\hat\lambda = \bar X$
$G(p)$	$(n-\sum X_i)\ln(1-p)+n\ln p$	$\hat p = 1/\bar X$
$U(0, \theta)$	$-n\ln\theta$ （关于 $\theta$ 单调减）	$\hat\theta = \max X_i$ （边界！）
$E(\lambda)$	$n\ln\lambda-\lambda\sum X_i$	$\hat\lambda = 1/\bar X$
$N(\mu, \sigma^2)$	$-\frac{n}{2}\ln(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum(X_i-\mu)^2$	$\hat\mu = \bar X,\,\hat\sigma^2 = S_n^2$

⭐ MLE 不变性原理（满分笔记重点）

若 $\hat\theta$ 是 $\theta$ 的 MLE， $g(\theta)$ 是 $\theta$ 的（单值）函数，则 $g(\hat\theta)$ 是 $g(\theta)$ 的 MLE。

用途：问 $\sqrt\sigma, \ln\lambda, e^p$ 等的 MLE，直接代 $\hat\theta_{\text{MLE}}$ 即可。

题 ★★★ 20-21-2 第 18 题（带平移指数 MLE）：

X

密度

f(x; \alpha, \beta) = \beta e^{-\beta(x-\alpha)},\,x\geq\alpha

。求

\alpha, \beta

的 MLE。

解

似然 $L(\alpha, \beta) = \beta^n e^{-\beta\sum(X_i-\alpha)}\mathbf 1_{\alpha\leq\min X_i}$ 。

对 $\alpha$ ： $\beta n\alpha$ 是单调增（ $\beta>0$ ），但约束 $\alpha\leq\min X_i$ ，故 $\hat\alpha_{\text{MLE}} = \min X_i$ （边界 MLE！求导失效）。

对 $\beta$ ：固定 $\alpha = \hat\alpha$ ， $\ln L = n\ln\beta-\beta\sum(X_i-\hat\alpha) = n\ln\beta-\beta n(\bar X-\hat\alpha)$ 。

$\partial_\beta\ell = \dfrac{n}{\beta}-n(\bar X-\hat\alpha) = 0\Rightarrow\hat\beta_{\text{MLE}} = \dfrac{1}{\bar X-\min X_i}$ 。

边界 MLE 识别：定义域含

\theta

（如

X\leq\theta

或

X\geq\theta

），似然函数关于

\theta

单调 → 不要求导，看单调性！这是 MLE 题最常见的陷阱。

U(0,theta) 似然函数边界型 MLE — 边界型 MLE 的几何真相（以 $U(0,\theta)$ 为例）：似然 $L(\theta)=\theta^{-n}$ 只在 $\theta\geq\max X_i$ 时非零，且对 $\theta$ **单调递减**（求导 $\frac{\dd\ln L}{\dd\theta}=-\frac{n}{\theta}<0$ 恒负，永远取不到 $0$ ）。所以最大值落在约束的左端点 $\hat\theta_{\text{MLE}}=\max X_i$ ，**绝不能令导数为零**。

⚠️ 你在这反复卡（5/29 连问"MLE 没掌握"）：见到

f(x;\alpha,\beta)=\beta e^{-\beta(x-\alpha)}\,(x\geq\alpha)

、

f=2\theta^2x^{-3}\,(x>\theta)

、

U(0,\theta)

这类定义域里出现参数的题，第一反应不是求导，而是先盯死约束方向：

参数是下界（ $x\geq\alpha$ 即 $\alpha\leq\min x_i$ ）→ $\hat\alpha=\min X_i=X_{(1)}$ ；
参数是上界（ $x\leq\theta$ 即 $\theta\geq\max x_i$ ）→ $\hat\theta=\max X_i=X_{(n)}$ 。

破法：把"求导=0"换成"画

L(\theta)

单调性 + 看约束端点"。双参数（如平移指数

\alpha,\beta

）先用边界法定

\hat\alpha=X_{(1)}

，再把

\hat\alpha

代回对

\beta

正常求导。这正是 5/29 那道一题打通全链的题。

⭐ 三大评价标准

无偏性： $E(\hat\theta) = \theta$ （对所有 $\theta$ 成立）
有效性：两个无偏估计比较，方差小者更有效
一致性 / 相合性： $\hat\theta_n\xrightarrow{P}\theta$ （ $n\to\infty$ ）

必背无偏性结论

$\bar X$ 是 $\mu$ 的无偏估计（任意分布）
$S^2 = \dfrac{1}{n-1}\sum(X_i-\bar X)^2$ 是 $\sigma^2$ 的无偏估计（任意分布）
$S_n^2 = \dfrac{1}{n}\sum(X_i-\bar X)^2$ 不无偏： $E(S_n^2) = \dfrac{n-1}{n}\sigma^2$
样本标准差 $S$ 不是 $\sigma$ 的无偏估计（Jensen 不等式）
$M_k = \dfrac{1}{n}\sum X_i^k$ 是 $E(X^k)$ 的无偏估计（任意分布）

⭐ 必背关键公式（连考 3 套！）

E(\bar X^2) = D(\bar X)+(E\bar X)^2 = \dfrac{\sigma^2}{n}+\mu^2

这个公式在 23-24-2、23-24-1、22-23-2 连续 3 套真题中反复使用。题型：" $\bar X^2$ 是不是 $\mu^2$ 的无偏估计？"

题 ★★★★★ 23-24-2 第 17 题（"差到好"排序，连续 3 套都考！）：

X\sim N(0, \sigma^2)

简单样本

X_1, \ldots, X_n

。判断三个统计量是否为

\sigma^2

的无偏估计，不是请矫正，再对矫正后估计量"差到好"排序：

S_1^2 = \dfrac{1}{n}\sum X_i^2,\quad S_2^2 = \dfrac{1}{n}\sum(X_i-\bar X)^2,\quad S_3^2 = \bar X^2

解（满分模板）

(a) 无偏性判断（ $\mu = 0$ ）：

$E(S_1^2) = \dfrac{1}{n}\sum E(X_i^2) = \dfrac{1}{n}\cdot n\sigma^2 = \sigma^2$ → 无偏
$E(S_2^2) = \dfrac{n-1}{n}\sigma^2$ → 有偏
$E(S_3^2) = E(\bar X^2) = D(\bar X)+(E\bar X)^2 = \sigma^2/n+0 = \sigma^2/n$ → 有偏

(b) 矫正：

$\hat S_2^2 = \dfrac{n}{n-1}S_2^2$ （即标准 $S^2$ ）
$\hat S_3^2 = n\bar X^2$

(c) 方差比较（用 $X_i\sim N(0, \sigma^2)\Rightarrow X_i^2/\sigma^2\sim\chi^2(1)$ ， $E(X_i^2) = \sigma^2,\,D(X_i^2) = 2\sigma^4$ ）：

$D(S_1^2) = \dfrac{1}{n^2}\sum D(X_i^2) = \dfrac{1}{n^2}\cdot n\cdot 2\sigma^4 = \dfrac{2\sigma^4}{n}$
$\hat S_2^2 = \dfrac{n}{n-1}S_2^2 = \dfrac{1}{n-1}\sum(X_i-\bar X)^2 = S^2$ （标准样本方差）。由 $\dfrac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$ 得 $D(S^2) = \dfrac{\sigma^4}{(n-1)^2}\cdot 2(n-1) = \dfrac{2\sigma^4}{n-1}$ 。故 $D(\hat S_2^2) = \dfrac{2\sigma^4}{n-1}$
$\bar X\sim N(0, \sigma^2/n)\Rightarrow n\bar X^2/\sigma^2\sim\chi^2(1)$ ，故 $D(n\bar X^2) = \sigma^4\cdot 2 = 2\sigma^4$

排序（小 → 大即好 → 差）：

D(S_1^2) = \dfrac{2\sigma^4}{n} < D(\hat S_2^2) = \dfrac{2\sigma^4}{n-1} < D(\hat S_3^2) = 2\sigma^4

即 $S_1^2$ 最有效， $\hat S_3^2 = n\bar X^2$ 最差。

本题考点全集：① 用 $E(\bar X^2) = \sigma^2/n+\mu^2$ 公式判无偏 ② 用 $\chi^2$ 算方差 ③ 比较选最优。

三个无偏估计量的抽样分布与方差比较 — 把三个估计量矫正成无偏后各跑 $4$ 万次抽样（ $n=10,\ \sigma^2=1$ ）：三条直方图**都中心在 $\sigma^2=1$** （无偏），但**胖瘦不同**—— $S_1^2=\frac1n\sum X_i^2$ （绿，最窄=方差最小=最有效） $<\ \frac{n}{n-1}S_2^2=S^2$ （蓝） $<\ n\bar X^2$ （红，最胖=最差）。"有效性排序"比的就是这个胖瘦，对应方差 $\frac{2\sigma^4}{n}<\frac{2\sigma^4}{n-1}<2\sigma^4$ 。

$\hat\theta$ 是 $\theta$ 的无偏估计，则

D(\hat\theta)\geq\dfrac{1}{nE\!\left[\left(\dfrac{\partial\ln f(X;\theta)}{\partial\theta}\right)^2\right]}

右边称为 Rao-Cramer 下界（信息不等式）。达到下界的 $\hat\theta$ 是 有效估计量。

常见有效估计量（直接背！）

$B(1, p)$ ： $\bar X$ 是 $p$ 的有效估计
$P(\lambda)$ ： $\bar X$ 是 $\lambda$ 的有效估计
$E(\lambda)$ （写法 $f = \lambda e^{-\lambda x}$ ）： $\bar X$ 是 $1/\lambda$ 的有效估计
$N(\mu, \sigma^2)$ ： $\bar X$ 是 $\mu$ 的有效估计

方法	思想	优势	劣势
矩估计	样本矩 = 总体矩	计算简单；无需知道分布族细节	可能有偏；未必最优；不唯一
MLE	使样本概率最大	大样本下渐近无偏、渐近有效（CR 下界）	边界 MLE 求导失效；计算较复杂

结论：实际应用中 MLE 更常用，但教学上两者都要会。

MLE 求导可能不到极值：边界型必须单独看单调性（ $U(0, \theta)$ 、 $f=\beta e^{-\beta(x-\alpha)}$ 等）
$\hat\sigma^2_{\text{MLE}} = S_n^2$ （用 $n$ ）≠ $S^2$ （用 $n-1$ ）：常考"MLE 是不是无偏"
判无偏要 $E(\hat\theta) = \theta$ 对所有 $\theta$ ：不能只验一个特殊值
$g(\hat\theta)$ 不一定是 $g(\theta)$ 的无偏估计（如 $S$ 不是 $\sigma$ 的无偏）
不变性原理只对 MLE：对矩估计不一定成立
Rao-Cramer 不等式条件：需要 $f$ 关于 $\theta$ 可微 + 分布族正则性
$E(\bar X^2) = \sigma^2/n+\mu^2$ 漏写一项

记忆口诀：

"矩估计 → 总体矩 = 样本矩，反解"
"MLE → 似然 → 对数似然 → 求导 → 验极大；定义域含 $\theta$ 时看单调"
" $\bar X$ 估 $\mu$ 永远无偏； $S^2$ 估 $\sigma^2$ 永远无偏"
" $E(\bar X^2) = \sigma^2/n+\mu^2$ ，连考 3 套必考"

矩估计套路（3 步法）

列出总体的 $k$ 阶矩（用 $\theta$ 表达）
设方程 $E(X^k) = M_k = \dfrac{1}{n}\sum X_i^k$ （双参数用 $\mu_1, \mu_2$ ）
反解 $\hat\theta$

MLE 套路（4 步法）

写似然 $L(\theta) = \prod f(x_i; \theta)$
取对数 $\ell(\theta) = \sum\ln f(x_i; \theta)$
求导 $\dfrac{\dd\ell}{\dd\theta} = 0$ 解 $\hat\theta$
验极大（二阶导 $<0$ ；定义域含 $\theta$ → 看单调性）

必背二级结论

$E(\bar X^2) = \sigma^2/n+\mu^2$ （连考 3 套，必背！）
$\bar X$ 是 $\mu$ 的无偏估计（任意分布）
$S^2 = \frac{1}{n-1}\sum(X_i-\bar X)^2$ 是 $\sigma^2$ 的无偏估计（任意分布）
$S_n^2 = \frac{1}{n}\sum(X_i-\bar X)^2$ 有偏： $E(S_n^2) = \frac{n-1}{n}\sigma^2$
样本标准差 $S$ 不是 $\sigma$ 的无偏（Jensen）
MLE 不变性： $g(\hat\theta)_{\text{MLE}} = g(\hat\theta_{\text{MLE}})$
正态 MLE 与矩估计同： $\hat\mu = \bar X,\,\hat\sigma^2 = S_n^2$
有效估计量（常见）： $B(1,p)$ 的 $\hat p = \bar X$ ； $P(\lambda)$ 的 $\hat\lambda = \bar X$ ； $N(\mu,\sigma^2)$ 的 $\hat\mu = \bar X$ ； $E(\lambda)$ 的 $\bar X$ 是 $1/\lambda$ 的有效估计
Rao-Cramer 下界： $D(\hat\theta)\geq\dfrac{1}{nE[(\partial\ln f/\partial\theta)^2]}$
边界 MLE： $U(0,\theta)$ 的 $\hat\theta = \max X_i$ ； $f(x) = \beta e^{-\beta(x-\alpha)}$ 的 $\hat\alpha = \min X_i$
$\chi^2(1)$ 方差： $D(\chi^2(1)) = 2$ → 推出 $D(X^2) = 2\sigma^4$ 当 $X\sim N(0,\sigma^2)$
相合估计判别：无偏 + $D(\hat\theta_n)\to 0$ 时相合（用 Chebyshev）

速算与解题技巧

看到 $X\sim$ 单参数分布且 $E(X) = g(\theta)$ ，直接 $\hat\theta = g^{-1}(\bar X)$
MLE 求 $\ln L$ 时先化简：把指数函数、阶乘等无关项分离
定义域含 $\theta$ （ $x\geq\theta$ 或 $x\leq\theta$ ）立刻警惕边界 MLE
判无偏： $E(\hat\theta) = \theta$ （不是某一个 $\theta$ ，是所有）
矫正系数：若 $E(T) = c\theta$ ，则矫正后 $\hat\theta = T/c$
比较方差时用 $\chi^2$ ： $X\sim N(0,\sigma^2)\Rightarrow X^2 = \sigma^2\chi^2(1),\,D(X^2) = 2\sigma^4$
$D(\bar X^2)$ 计算： $\bar X\sim N(\mu,\sigma^2/n)$ ，再算 $D(\bar X^2) = 2(\sigma^2/n)^2+4\mu^2(\sigma^2/n)$ （一般公式）
有效性"差到好"排序：先矫正成无偏，再算方差排序

常错"小坑"清单

MLE 边界陷阱： $U(0,\theta)$ 求导得 $\hat\theta = 0$ 是错的，必须看单调性
$\hat\sigma^2_{\text{MLE}} = S_n^2$ （用 $n$ ，有偏），与 $S^2$ （用 $n-1$ ，无偏）不同
判无偏要对所有 $\theta$ ，不能只验一个
$g(\hat\theta)$ 不一定是 $g(\theta)$ 的无偏估计（如 $S$ 不是 $\sigma$ 的无偏）
不变性只对 MLE，对矩估计不一定
$E(\bar X^2) = \sigma^2/n+\mu^2$ 漏一项（典型陷阱）
Rao-Cramer 适用条件：分布族正则性（连续可微等）

7.1 点估计：矩估计 + MLE + 评价 ⭐⭐⭐

一、矩估计法

七大分布矩估计速查

二、最大似然估计（MLE）

七大分布 MLE 速查

三、估计量评价 ⭐⭐⭐

四、Rao-Cramer 不等式（满分笔记重点）

五、矩估计 vs MLE 对比

六、易错点清单

七、真题套路 · 二级结论 · 速算技巧

矩估计套路（3 步法）

MLE 套路（4 步法）

必背二级结论

速算与解题技巧

常错"小坑"清单