\documentclass[a4paper, 10.5pt, twoside, openany]{book} \usepackage{amsfonts} \usepackage{array} \usepackage{boxedminipage, fancybox} \usepackage{caption} \usepackage{color} \usepackage[colorlinks,linkcolor=blue]{hyperref} \usepackage{ctex} \usepackage{datetime} \usepackage[dvipsnames]{xcolor} \usepackage{enumerate} \usepackage{epsfig,graphicx,subfigure} \usepackage{extarrows} \usepackage{fancyheadings} \usepackage{float} \usepackage{geometry} \usepackage{listings} \usepackage{longtable} \usepackage{makeidx} \usepackage{mathrsfs} \usepackage{multirow} \usepackage{natbib} \usepackage{pifont} \usepackage{rotating} \usepackage{setspace} \usepackage{shadow} \usepackage{stmaryrd, amssymb, amsmath} \usepackage{tabularx} \usepackage{url} \usepackage{varioref} \usepackage{verbatim} \usepackage{wrapfig} \usepackage{xcolor} \geometry{left=2.0cm, right=2.0cm, top=2.5cm, bottom=2.5cm} \linespread{1.5} \definecolor{mygray}{rgb}{0.85, 0.85, 0.85} \newcommand{\codeinline}[1]{\colorbox{mygray}{\lstinline|#1|}} \lstset{ language=R, basicstyle=\small\ttfamily, keywordstyle=\color{blue}, commentstyle=\color{gray}, breaklines=true, frame=single, numbers=left, numberstyle=\tiny, xleftmargin=2em } %% ---------------------------------------------------------------------------------------------------------------------------------------------------------------------- \title{\Huge \bf 《多元统计分析》课后作业} \author{\kaishu 姓名：\underline{\quad 李倩倩 \quad} \\[5mm] \kaishu 学号：\underline{\quad 2024017349 \quad} \\[5mm] \kaishu 班级：\underline{\quad 统计 24-1 班 \quad} \\[50mm] \kaishu 中国石油大学（北京）克拉玛依校区文理学院数学与统计系 } \date{\today} \begin{document} % -------------------------------------------- 封面页 -------------------------------------------- \frontmatter \maketitle % -------------------------------------------- 作业要求 -------------------------------------------- \chapter{作业要求} \begin{enumerate} \item 可以和其他同学讨论作业当中的问题，但应当自己独立完成作业 \item 计算、证明等要有过程，要有主要步骤的说明 \item 请将计算、绘图所用的 R 代码以及生成的结果和图像一并添加在作业文件当中 \item 请使用 \LaTeX 编辑并生成 PDF 格式的文件，第 X 周作业文件命名方式：学号-姓名-X.pdf \item 评分标准：每一问得分 $\in \left\{ 2 ,\, 1 ,\, 0 \right\}$ \begin{itemize} \item 2:~ 按时完成并上交作业，且答案基本正确 \item 1:~ 按时完成并上交作业，且答案部分正确 \item 0:~ 答案完全错误，或者迟交作业(规定时间72小时之后) \end{itemize} \item 请将完成的 PDF 格式的作业文件发送至邮箱：xiaolei@cup.edu.cn \item 每位同学可以有一次迟交作业的机会，但不得晚于规定时间三日之后 \item 第 6 周作业截止时间：2026年4月24日24:00 \end{enumerate} \tableofcontents % -------------------------------------------- 正文部分 -------------------------------------------- \mainmatter % -------------------------------------------- 第 6 周作业 -------------------------------------------- \chapter{第 6 周作业} {\kaishu \color{blue} 第 6 周作业截止时间：} 2026年4月24日24:00 {\kaishu \color{blue} 第 6 周作业完成时间：} \today \space \currenttime % 请勿编辑、删除本行！ \begin{enumerate} \item 设有二维分布总体，其概率密度函数为 \begin{equation} f \left( x_1 ,~ x_2 \right) = \frac{1}{\theta_1 \theta_2} \, \exp \left( - \frac{x_1}{\theta_1} - \frac{x_2}{\theta_2} \right) ~, \quad x_1 ~,~ x_2 > 0 \end{equation} 从中抽取一个容量为 $n$ 的简单随机样本. \begin{enumerate} \item {\color{TealBlue} [2 分]} 求 $\boldsymbol{\theta} = \left( \theta_1 ~,~ \theta_2 \right)^{\rm T}$ 的极大似然估计量. {\color{red} \heiti 【解】} 设样本为 $\{(x_{1i},\, x_{2i})\}_{i=1}^{n}$，似然函数为 \begin{equation} L(\boldsymbol{\theta}) = \prod_{i=1}^{n} \frac{1}{\theta_1\theta_2} \exp\!\left(-\frac{x_{1i}}{\theta_1}-\frac{x_{2i}}{\theta_2}\right) = \frac{1}{(\theta_1\theta_2)^{n}} \exp\!\left(-\frac{\sum_{i=1}^n x_{1i}}{\theta_1}-\frac{\sum_{i=1}^n x_{2i}}{\theta_2}\right). \end{equation} 对数似然函数为 \begin{equation} l(\boldsymbol{\theta}) = -n\ln\theta_1 - n\ln\theta_2 - \frac{1}{\theta_1}\sum_{i=1}^{n}x_{1i} - \frac{1}{\theta_2}\sum_{i=1}^{n}x_{2i}. \end{equation} 分别对 $\theta_1$、$\theta_2$ 求偏导并令其等于零： \begin{align} \frac{\partial l}{\partial\theta_1} = -\frac{n}{\theta_1} + \frac{\displaystyle\sum_{i=1}^{n}x_{1i}}{\theta_1^{2}} = 0 &\implies \hat{\theta}_1 = \frac{1}{n}\sum_{i=1}^{n}x_{1i} = \bar{x}_1, \\ \frac{\partial l}{\partial\theta_2} = -\frac{n}{\theta_2} + \frac{\displaystyle\sum_{i=1}^{n}x_{2i}}{\theta_2^{2}} = 0 &\implies \hat{\theta}_2 = \frac{1}{n}\sum_{i=1}^{n}x_{2i} = \bar{x}_2. \end{align} 验证二阶偏导数 $\partial^2 l/\partial\theta_j^2 = n/\theta_j^2 - 2\sum x_{ji}/\theta_j^3$，在极值点处代入 $\theta_j=\bar x_j$ 得 $-n/\bar{x}_j^2 < 0$，确为极大值点。故 $\boldsymbol{\theta}$ 的极大似然估计量为 \begin{equation} \hat{\boldsymbol{\theta}} = \left(\bar{x}_1,\; \bar{x}_2\right)^{\rm T} = \bar{\boldsymbol{x}}. \end{equation} \item {\color{TealBlue} [2 分]} 确定其 Cramer-Rao 下界. {\color{red} \heiti 【解】} 单个观测 $(x_1,x_2)$ 的对数密度为 \[ \ln f = -\ln\theta_1 - \ln\theta_2 - \frac{x_1}{\theta_1} - \frac{x_2}{\theta_2}. \] 评分函数分量为 \[ s_1 = \frac{\partial\ln f}{\partial\theta_1} = -\frac{1}{\theta_1}+\frac{x_1}{\theta_1^2} = \frac{x_1-\theta_1}{\theta_1^2}, \qquad s_2 = \frac{\partial\ln f}{\partial\theta_2} = \frac{x_2-\theta_2}{\theta_2^2}. \] 由于 $x_j \sim \mathrm{Exp}(\theta_j)$，故 $\mathbb{E}[x_j]=\theta_j$，$\mathrm{Var}(x_j)=\theta_j^2$。 单个观测的 Fisher 信息矩阵各元素为 \begin{align} \mathcal{I}_{11} &= \mathbb{E}[s_1^2] = \frac{\mathrm{Var}(x_1)}{\theta_1^4} = \frac{\theta_1^2}{\theta_1^4} = \frac{1}{\theta_1^2}, \\ \mathcal{I}_{22} &= \mathbb{E}[s_2^2] = \frac{1}{\theta_2^2}, \\ \mathcal{I}_{12} &= \mathbb{E}[s_1 s_2] = \mathbb{E}[s_1]\,\mathbb{E}[s_2] = 0 \quad (\text{因 }x_1\text{ 与 }x_2\text{ 独立且 }\mathbb{E}[s_j]=0). \end{align} 故单个观测的 Fisher 信息矩阵为 \[ \mathcal{I}(\boldsymbol{\theta}) = \mathrm{diag}\!\left(\frac{1}{\theta_1^2},\;\frac{1}{\theta_2^2}\right). \] 容量为 $n$ 的样本的 Fisher 信息矩阵为 $\mathcal{I}_n(\boldsymbol{\theta}) = n\,\mathcal{I}(\boldsymbol{\theta}) = \mathrm{diag}(n/\theta_1^2,\, n/\theta_2^2)$。 $\boldsymbol{\theta}$ 的任意无偏估计量 $\hat{\boldsymbol{\theta}}$ 的协方差矩阵满足 \begin{equation} \mathrm{Cov}(\hat{\boldsymbol{\theta}}) \succeq \mathcal{I}_n^{-1}(\boldsymbol{\theta}) = \mathrm{diag}\!\left(\frac{\theta_1^2}{n},\;\frac{\theta_2^2}{n}\right). \end{equation} 即 Cramer-Rao 下界为 $\mathrm{diag}\!\left(\theta_1^2/n,\, \theta_2^2/n\right)$。 \item {\color{TealBlue} [2 分]} 能否找到 $\boldsymbol{\theta}$ 的一个最小方差无偏估计量? {\color{red} \heiti 【解】} 可以找到，且极大似然估计量 $\hat{\boldsymbol{\theta}}=\bar{\boldsymbol{x}}$ 即为所求。 \textbf{充分完备统计量的存在性：}该分布族可以写成指数族形式 \[ f(x_1,x_2;\boldsymbol{\theta}) = \exp\!\left(-\frac{x_1}{\theta_1}-\frac{x_2}{\theta_2}-\ln\theta_1-\ln\theta_2\right), \] 自然参数为 $\eta_j=-1/\theta_j$，充分统计量为 $\boldsymbol{T}=\left(\sum_{i=1}^n x_{1i},\,\sum_{i=1}^n x_{2i}\right)^{\rm T}$。 由满秩指数族的完备性定理，$\boldsymbol{T}$ 是完全充分统计量。 \textbf{由 Lehmann-Scheff\'{e} 定理：}$\bar{\boldsymbol{x}}=\boldsymbol{T}/n$ 是 $\boldsymbol{T}$ 的函数，且 $\mathbb{E}[\bar{x}_j]=\theta_j$（无偏性），故 $\bar{\boldsymbol{x}}$ 是 $\boldsymbol{\theta}$ 的最小方差无偏估计量（MVUE）。 \textbf{验证：}$\mathrm{Var}(\bar{x}_j)=\theta_j^2/n$，恰好等于 Cramer-Rao 下界，进一步印证上述结论。 \end{enumerate} \item 考虑总体 $N_p \left( \boldsymbol{\mu} ,\, \mathnormal{\Sigma}_0 \right)$，其中 $\mathnormal{\Sigma}_0$ 已知，设 $\left\{ \boldsymbol{x}_i \right\}_{i=1}^n$ 是取自该总体的一个简单随机样本. \begin{enumerate} \item {\color{TealBlue} [2 分]} 计算 $\boldsymbol{\mu}$ 的 Cramer-Rao 下界. {\color{red} \heiti 【解】} 单个观测 $\boldsymbol{x}\sim N_p(\boldsymbol{\mu},\Sigma_0)$ 的对数密度为 \[ \ln f = -\frac{p}{2}\ln(2\pi) - \frac{1}{2}\ln|\Sigma_0| - \frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{\rm T}\Sigma_0^{-1}(\boldsymbol{x}-\boldsymbol{\mu}). \] 关于 $\boldsymbol{\mu}$ 的评分函数为 \[ \boldsymbol{s} = \frac{\partial\ln f}{\partial\boldsymbol{\mu}} = \Sigma_0^{-1}(\boldsymbol{x}-\boldsymbol{\mu}). \] 单个观测的 Fisher 信息矩阵为 \begin{align} \mathcal{I}(\boldsymbol{\mu}) &= \mathbb{E}\!\left[\boldsymbol{s}\boldsymbol{s}^{\rm T}\right] = \mathbb{E}\!\left[\Sigma_0^{-1}(\boldsymbol{x}-\boldsymbol{\mu})(\boldsymbol{x}-\boldsymbol{\mu})^{\rm T}\Sigma_0^{-1}\right] \notag \\ &= \Sigma_0^{-1}\,\mathbb{E}\!\left[(\boldsymbol{x}-\boldsymbol{\mu})(\boldsymbol{x}-\boldsymbol{\mu})^{\rm T}\right]\Sigma_0^{-1} = \Sigma_0^{-1}\,\Sigma_0\,\Sigma_0^{-1} = \Sigma_0^{-1}. \end{align} 容量为 $n$ 的样本的 Fisher 信息矩阵为 $\mathcal{I}_n(\boldsymbol{\mu})=n\Sigma_0^{-1}$。 故 $\boldsymbol{\mu}$ 的任意无偏估计量 $\hat{\boldsymbol{\mu}}$ 满足 \begin{equation} \mathrm{Cov}(\hat{\boldsymbol{\mu}}) \succeq \mathcal{I}_n^{-1}(\boldsymbol{\mu}) = \frac{1}{n}\Sigma_0. \end{equation} 即 $\boldsymbol{\mu}$ 的 Cramer-Rao 下界为 $\dfrac{\Sigma_0}{n}$。 \item {\color{TealBlue} [2 分]} 能否给出 $\boldsymbol{\mu}$ 的一个最小方差无偏估计量? {\color{red} \heiti 【解】} 可以给出，样本均值 $\bar{\boldsymbol{x}}=\dfrac{1}{n}\displaystyle\sum_{i=1}^n\boldsymbol{x}_i$ 即为所求。 \textbf{无偏性：}$\mathbb{E}[\bar{\boldsymbol{x}}]=\boldsymbol{\mu}$。 \textbf{协方差达到下界：}$\mathrm{Cov}(\bar{\boldsymbol{x}})=\dfrac{\Sigma_0}{n}$，恰好等于 Cramer-Rao 下界。 \textbf{完备充分性：}多元正态分布属于满秩指数族，$\displaystyle\sum_{i=1}^n\boldsymbol{x}_i$（从而 $\bar{\boldsymbol{x}}$）是 $\boldsymbol{\mu}$ 的完全充分统计量。 由 Lehmann-Scheff\'{e} 定理，$\bar{\boldsymbol{x}}$ 是 $\boldsymbol{\mu}$ 的最小方差无偏估计量（MVUE）。 \end{enumerate} \item 假设 $\boldsymbol{X} \sim N_p ( \boldsymbol{\mu} \,,\, \mathnormal{\Sigma} )$，其中 $\mathnormal{\Sigma}$ 未知，但我们已知 $\mathnormal{\Sigma} = \text{diag} \left( \sigma_{11} ,\, \sigma_{22} ,\, \ldots ,\, \sigma_{pp} \right)$， 如果 $\left\{ \boldsymbol{x}_i \right\}_{i=1}^n$ 是取自该总体的容量为 $n$ 的一个简单随机样本 \begin{enumerate} \item {\color{TealBlue} [2 分]} 求 $\boldsymbol{\mu}$ 的极大似然估计. {\color{red} \heiti 【解】} 记 $\boldsymbol{x}_i=(x_{i1},\ldots,x_{ip})^{\rm T}$。当 $\Sigma=\mathrm{diag}(\sigma_{11},\ldots,\sigma_{pp})$ 时， $|\Sigma|=\prod_{j=1}^p\sigma_{jj}$，$\Sigma^{-1}=\mathrm{diag}(1/\sigma_{11},\ldots,1/\sigma_{pp})$，故对数似然函数为 \begin{equation} l(\boldsymbol{\mu},\Sigma) = -\frac{np}{2}\ln(2\pi) - \frac{n}{2}\sum_{j=1}^p\ln\sigma_{jj} - \frac{1}{2}\sum_{i=1}^n\sum_{j=1}^p\frac{(x_{ij}-\mu_j)^2}{\sigma_{jj}}. \end{equation} 对 $\mu_j$ 求偏导并令其为零： \[ \frac{\partial l}{\partial\mu_j} = \frac{1}{\sigma_{jj}}\sum_{i=1}^n(x_{ij}-\mu_j) = 0 \implies \hat{\mu}_j = \frac{1}{n}\sum_{i=1}^n x_{ij} = \bar{x}_j. \] 故 $\boldsymbol{\mu}$ 的极大似然估计为 \begin{equation} \hat{\boldsymbol{\mu}} = \bar{\boldsymbol{x}} = (\bar{x}_1,\,\bar{x}_2,\,\ldots,\,\bar{x}_p)^{\rm T}. \end{equation} \item {\color{TealBlue} [2 分]} 求 $\mathnormal{\Sigma}$ 的极大似然估计. {\color{red} \heiti 【解】} 将 $\hat{\boldsymbol{\mu}}=\bar{\boldsymbol{x}}$ 代入对数似然函数，对 $\sigma_{jj}$ 求偏导并令其为零： \[ \frac{\partial l}{\partial\sigma_{jj}} = -\frac{n}{2\sigma_{jj}} + \frac{1}{2\sigma_{jj}^2}\sum_{i=1}^n(x_{ij}-\bar{x}_j)^2 = 0 \implies \hat{\sigma}_{jj} = \frac{1}{n}\sum_{i=1}^n(x_{ij}-\bar{x}_j)^2. \] 验证二阶偏导 $\partial^2 l/\partial\sigma_{jj}^2 = n/(2\sigma_{jj}^2)-\sum(x_{ij}-\bar x_j)^2/\sigma_{jj}^3$， 在极值点处为负，确为极大值。故 $\Sigma$ 的极大似然估计为 \begin{equation} \hat{\Sigma} = \mathrm{diag}(\hat{\sigma}_{11},\,\hat{\sigma}_{22},\,\ldots,\,\hat{\sigma}_{pp}), \qquad \hat{\sigma}_{jj} = \frac{1}{n}\sum_{i=1}^n(x_{ij}-\bar{x}_j)^2,\quad j=1,\ldots,p. \end{equation} 即 $\hat{\Sigma}$ 为样本协方差矩阵（除以 $n$）的对角部分。 \end{enumerate} \item {\color{TealBlue} [2 分]} 证明定理 6.1. \begin{boxedminipage}[t]{16.0cm} {\bf 定理 6.1}: 设 $\boldsymbol{s} = \boldsymbol{s} \left( \mathcal{X} ;~ \boldsymbol{\theta} \right)$ 是评分函数， 如果 $\widehat{\boldsymbol{\theta}} = \boldsymbol{t} = \boldsymbol{t} \left( \mathcal{X} ;~ \boldsymbol{\theta} \right)$ 是 $\mathcal{X}$ 与 $\boldsymbol{\theta}$ 的任一函数，则在正则条件下有 \begin{equation} \mathbb{E} \left( \boldsymbol{st}^{\rm T} \right) = \frac{\partial}{\partial \boldsymbol{\theta}} \mathbb{E} \left( \boldsymbol{t}^{\rm T} \right) - \mathbb{E} \left( \frac{\partial \boldsymbol{t}^{\rm T}}{\partial \boldsymbol{\theta}} \right). \end{equation} \end{boxedminipage} {\bf 提示}：从 $$ \dfrac{\partial}{\partial \boldsymbol{\theta}} \, \mathbb{E} \left( \boldsymbol{t}^{\rm T} \right) = \dfrac{\partial}{\partial \boldsymbol{\theta}} \int \boldsymbol{t}^{\rm T} \left( \mathcal{X} ;~ \boldsymbol{\theta} \right) \cdot L \left( \mathcal{X} ;~ \boldsymbol{\theta} \right) {\rm d} \mathcal{X} $$ 出发，注意到 $$ \boldsymbol{s} \left( \mathcal{X} ;\, \boldsymbol{\theta} \right) = \dfrac{1}{L \left( \mathcal{X} ;\, \boldsymbol{\theta} \right)} \cdot \dfrac{\partial}{\partial \boldsymbol{\theta}} \, L \left( \mathcal{X} ;\, \boldsymbol{\theta} \right) \,. $$ {\color{red} \heiti 【证】} 由期望的定义： \[ \frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}\!\left(\boldsymbol{t}^{\rm T}\right) = \frac{\partial}{\partial\boldsymbol{\theta}} \int \boldsymbol{t}^{\rm T}(\mathcal{X};\boldsymbol{\theta})\cdot L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X}. \] 在正则条件下，可以交换积分与微分顺序（Leibniz 积分法则），并利用乘积法则展开被积函数： \begin{align} \frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}\!\left(\boldsymbol{t}^{\rm T}\right) &= \int \frac{\partial}{\partial\boldsymbol{\theta}} \Bigl[\boldsymbol{t}^{\rm T}(\mathcal{X};\boldsymbol{\theta})\cdot L(\mathcal{X};\boldsymbol{\theta})\Bigr]\,\mathrm{d}\mathcal{X} \notag \\ &= \int \frac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}}\cdot L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X} + \int \boldsymbol{t}^{\rm T}(\mathcal{X};\boldsymbol{\theta})\cdot \frac{\partial L(\mathcal{X};\boldsymbol{\theta})}{\partial\boldsymbol{\theta}}\,\mathrm{d}\mathcal{X}. \end{align} 第一个积分即为 $\mathbb{E}\!\left(\dfrac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}}\right)$。 对于第二个积分，由题意中的关系式 $\dfrac{\partial L}{\partial\boldsymbol{\theta}} = \boldsymbol{s}(\mathcal{X};\boldsymbol{\theta})\cdot L(\mathcal{X};\boldsymbol{\theta})$，代入得 \[ \int \boldsymbol{t}^{\rm T}\cdot\frac{\partial L}{\partial\boldsymbol{\theta}}\,\mathrm{d}\mathcal{X} = \int \boldsymbol{s}(\mathcal{X};\boldsymbol{\theta})\cdot\boldsymbol{t}^{\rm T}(\mathcal{X};\boldsymbol{\theta}) \cdot L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X} = \mathbb{E}\!\left(\boldsymbol{s}\boldsymbol{t}^{\rm T}\right). \] 注意此处 $\boldsymbol{s}$ 为 $k\times 1$ 列向量，$\boldsymbol{t}^{\rm T}$ 为 $1\times q$ 行向量，故 $\boldsymbol{s}\boldsymbol{t}^{\rm T}$ 为 $k\times q$ 矩阵，与左端 $\dfrac{\partial}{\partial\boldsymbol{\theta}}\mathbb{E}(\boldsymbol{t}^{\rm T})$ 维度一致。 综合以上两项： \[ \frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}\!\left(\boldsymbol{t}^{\rm T}\right) = \mathbb{E}\!\left(\frac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}}\right) + \mathbb{E}\!\left(\boldsymbol{s}\boldsymbol{t}^{\rm T}\right). \] 移项即得定理 6.1： \[ \mathbb{E}\!\left(\boldsymbol{s}\boldsymbol{t}^{\rm T}\right) = \frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}\!\left(\boldsymbol{t}^{\rm T}\right) - \mathbb{E}\!\left(\frac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}}\right). \] \hfill$\square$ \item 设 $\boldsymbol{s} ( \mathcal{X} ;~ \boldsymbol{\theta} )$ 是评分函数，$\widehat{\boldsymbol{\theta}} = \boldsymbol{t} = \boldsymbol{t} \left( \mathcal{X} \right)$ 是 $\boldsymbol{\theta}$ 的任意一个无偏估计量，即 $\mathbb{E} (\boldsymbol{t}) = \boldsymbol{\theta}$. \begin{enumerate} \item {\color{TealBlue} [2 分]} 证明 \begin{equation} {\rm E} \left[ \boldsymbol{s} \left( {\mathcal{X} ;~ \boldsymbol{\theta}} \right) \right] = \boldsymbol{0} \,. \end{equation} {\color{red} \heiti 【证】} 由于 $L(\mathcal{X};\boldsymbol{\theta})$ 是概率密度函数，满足归一化条件： \[ \int L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X} = 1. \] 在正则条件下，对 $\boldsymbol{\theta}$ 求导并交换积分与微分顺序： \[ \frac{\partial}{\partial\boldsymbol{\theta}}\int L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X} = \int \frac{\partial L(\mathcal{X};\boldsymbol{\theta})}{\partial\boldsymbol{\theta}}\,\mathrm{d}\mathcal{X} = \boldsymbol{0}. \] 将 $\dfrac{\partial L}{\partial\boldsymbol{\theta}} = \boldsymbol{s}\cdot L$ 代入： \[ \int \boldsymbol{s}(\mathcal{X};\boldsymbol{\theta})\cdot L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X} = \boldsymbol{0}, \] 即 $\mathbb{E}\!\left[\boldsymbol{s}(\mathcal{X};\boldsymbol{\theta})\right] = \boldsymbol{0}$。\hfill$\square$ \item {\color{TealBlue} [2 分]} 证明 \begin{equation} \mathbb{E} \left( \boldsymbol{st}^{\rm T} \right) = \mathbb{C}{\rm ov} \left( \boldsymbol{s} ,~ \boldsymbol{t} \right) = \mathcal{I}_k ~. \end{equation} {\color{red} \heiti 【证】} \textbf{第一步：证明} $\mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T}) = \mathbb{C}\mathrm{ov}(\boldsymbol{s},\boldsymbol{t})$。 由第 (a) 小问知 $\mathbb{E}(\boldsymbol{s})=\boldsymbol{0}$，且 $\boldsymbol{t}$ 无偏故 $\mathbb{E}(\boldsymbol{t})=\boldsymbol{\theta}$，从而 \begin{align} \mathbb{C}\mathrm{ov}(\boldsymbol{s},\boldsymbol{t}) &= \mathbb{E}\!\left[(\boldsymbol{s}-\mathbb{E}[\boldsymbol{s}])(\boldsymbol{t}-\mathbb{E}[\boldsymbol{t}])^{\rm T}\right] = \mathbb{E}\!\left[\boldsymbol{s}(\boldsymbol{t}-\boldsymbol{\theta})^{\rm T}\right] = \mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T}) - \mathbb{E}(\boldsymbol{s})\boldsymbol{\theta}^{\rm T} = \mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T}). \end{align} \textbf{第二步：证明} $\mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T}) = \mathcal{I}_k$（$k$ 阶单位矩阵）。 由于 $\boldsymbol{t}=\boldsymbol{t}(\mathcal{X})$ 不显含 $\boldsymbol{\theta}$，故 \[ \frac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}} = \boldsymbol{0}. \] 又由无偏性 $\mathbb{E}(\boldsymbol{t})=\boldsymbol{\theta}$，有 $\mathbb{E}(\boldsymbol{t}^{\rm T})=\boldsymbol{\theta}^{\rm T}$，故 \[ \frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}(\boldsymbol{t}^{\rm T}) = \frac{\partial\boldsymbol{\theta}^{\rm T}}{\partial\boldsymbol{\theta}} = \mathcal{I}_k, \] 其中 $\mathcal{I}_k$ 为 $k$ 阶单位矩阵，其第 $(i,j)$ 元素为 $\partial\theta_j/\partial\theta_i=\delta_{ij}$。 由定理 6.1： \[ \mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T}) = \frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}(\boldsymbol{t}^{\rm T}) - \mathbb{E}\!\left(\frac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}}\right) = \mathcal{I}_k - \boldsymbol{0} = \mathcal{I}_k. \] 综合两步，$\mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T})=\mathbb{C}\mathrm{ov}(\boldsymbol{s},\boldsymbol{t})=\mathcal{I}_k$。\hfill$\square$ \end{enumerate} \item 设 $\boldsymbol{X} \sim N_2 \left( \boldsymbol{\mu},~ \mathnormal{\Sigma} \right)$，其中已知 \begin{equation} \mathnormal{\Sigma} = \left( \begin{array}{rr} 2 & -1 \\ -1 & 2 \end{array} \right) \end{equation} 我们从该总体抽取了容量 $n=6$ 的一个简单随机样本，计算得 \begin{equation} \overline{\boldsymbol{x}} = \left( \begin{array}{c} 1 \\[3mm] \dfrac{1}{2} \end{array} \right) \end{equation} \begin{enumerate} \item {\color{TealBlue} [2 分]} 求解下述假设检验问题. \begin{equation} H_0:\, \boldsymbol{\mu} = \left( \begin{array}{c} 2 \\[3mm] \dfrac{2}{3} \end{array} \right) ~\longleftrightarrow~ H_1:\, \boldsymbol{\mu} \not= \left( \begin{array}{c} 2 \\[3mm] \dfrac{2}{3} \end{array} \right) \end{equation} {\color{red} \heiti 【解】} $\Sigma$ 已知时，使用基于 $\chi^2$ 分布的检验统计量： \[ T^2 = n(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T}\Sigma^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0) \overset{H_0}{\sim} \chi^2(p), \] 其中 $p=2$，$\boldsymbol{\mu}_0=(2,\,2/3)^{\rm T}$。 \textbf{第一步：}计算 $\Sigma^{-1}$。 \[ |\Sigma| = 2\times 2-(-1)\times(-1) = 3,\qquad \Sigma^{-1} = \frac{1}{3}\begin{pmatrix}2&1\\1&2\end{pmatrix}. \] \textbf{第二步：}计算差向量。 \[ \bar{\boldsymbol{x}}-\boldsymbol{\mu}_0 = \begin{pmatrix}1-2\\[1mm]\frac{1}{2}-\frac{2}{3}\end{pmatrix} = \begin{pmatrix}-1\\[1mm]-\frac{1}{6}\end{pmatrix}. \] \textbf{第三步：}计算 $\Sigma^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)$。 \[ \Sigma^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0) = \frac{1}{3}\begin{pmatrix}2&1\\1&2\end{pmatrix}\begin{pmatrix}-1\\-\frac{1}{6}\end{pmatrix} = \frac{1}{3}\begin{pmatrix}-2-\frac{1}{6}\\-1-\frac{1}{3}\end{pmatrix} = \frac{1}{3}\begin{pmatrix}-\frac{13}{6}\\-\frac{4}{3}\end{pmatrix} = \begin{pmatrix}-\frac{13}{18}\\[1mm]-\frac{4}{9}\end{pmatrix}. \] \textbf{第四步：}计算二次型。 \[ (\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T}\Sigma^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0) = (-1)\!\cdot\!\left(-\frac{13}{18}\right)+\left(-\frac{1}{6}\right)\!\cdot\!\left(-\frac{4}{9}\right) = \frac{13}{18}+\frac{4}{54} = \frac{39}{54}+\frac{4}{54} = \frac{43}{54}. \] \textbf{第五步：}计算检验统计量。 \[ T^2 = 6\times\frac{43}{54} = \frac{43}{9} \approx 4.778. \] \textbf{第六步：}作出结论。取显著性水平 $\alpha=0.05$，查表得 $\chi^2_{0.05}(2)=5.991$。 拒绝域为 $W=\{T^2>\chi^2_{\alpha}(2)\}$。 由于 $T^2=43/9\approx 4.778 < 5.991$，\textbf{在 $\alpha=0.05$ 的显著性水平下，不拒绝 $H_0$}。 亦可计算 $p$ 值：$p=P(\chi^2(2)>43/9)=\mathrm{e}^{-43/18}\approx 0.0916>0.05$，与上述结论一致。 \item {\color{TealBlue} [2 分]} 作拒绝域的可视化图形. {\color{red} \heiti 【解】} 拒绝域 $T^2>\chi^2_\alpha(2)$ 等价于样本均值 $\bar{\boldsymbol{x}}$ 落在以 $\boldsymbol{\mu}_0$ 为中心的接受椭圆之外： \[ W = \left\{\bar{\boldsymbol{x}}\;:\; n(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T} \Sigma^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)>\chi^2_\alpha(p)\right\}. \] 以下 R 代码绘制拒绝边界（蓝色椭圆内部为接受域，外部为拒绝域）： \begin{verbatim} # 第6题(b) - Sigma 已知情形的拒绝域可视化 mu0 <- c(2, 2/3) xbar <- c(1, 0.5) Sigma <- matrix(c(2, -1, -1, 2), nrow = 2) n <- 6; p <- 2; alpha <- 0.05 crit <- qchisq(1 - alpha, p) # chi^2_{0.05}(2) = 5.991 # 椭圆参数化：以 mu0 为中心，形状矩阵为 Sigma/n A <- Sigma / n eigA <- eigen(A) th <- seq(0, 2*pi, length.out = 500) ell <- mu0 + sqrt(crit) * eigA$vectors %*% diag(sqrt(eigA$values)) %*% rbind(cos(th), sin(th)) par(mar = c(4, 4, 3, 1)) plot(t(ell), type = "l", col = "blue", lwd = 2, xlab = expression(bar(x)[1]), ylab = expression(bar(x)[2]), main = "Rejection Region (known Sigma, alpha = 0.05)") points(mu0[1], mu0[2], pch = 16, col = "red", cex = 1.5) points(xbar[1], xbar[2], pch = 17, col = "darkgreen", cex = 1.5) abline(h = 0, v = 0, lty = 2, col = "gray70") legend("topright", legend = c(expression(mu[0]), expression(bar(x)), "接受域边界（内部为接受域）"), pch = c(16, 17, NA), lty = c(NA, NA, 1), col = c("red", "darkgreen", "blue"), lwd = c(NA, NA, 2)) \end{verbatim} \begin{figure}[H] \centering \includegraphics[width=0.8\textwidth]{C:/Users/35297/Documents/Rplot_6b.png} \caption{拒绝域可视化（$\Sigma$ 已知，$\alpha=0.05$）：蓝色椭圆为接受域边界，内部为接受域，外部为拒绝域；红色实心圆为 $\boldsymbol{\mu}_0$，绿色三角为 $\bar{\boldsymbol{x}}$（位于椭圆内，不拒绝 $H_0$）。} \label{fig:rej_known} \end{figure} 图中蓝色椭圆为接受域与拒绝域的分界线。$\boldsymbol{\mu}_0$（红色实心圆）为原假设均值，$\bar{\boldsymbol{x}}$（绿色三角）位于椭圆内部，故不拒绝 $H_0$，与第 (a) 小问结论一致。 \end{enumerate} \item 设 $\boldsymbol{X} \sim N_2 \left( \boldsymbol{\mu},~ \mathnormal{\Sigma} \right)$，其中 $\mathnormal{\Sigma}$ 未知. 从中抽取了容量 $n=6$ 的一个样本，计算得样本均值和样本方差如下： \begin{equation} \overline{\boldsymbol{x}} = \left( \begin{array}{c} 1 \\[3mm] \dfrac{1}{2} \end{array} \right) \,, \quad \mathcal{S} = \left( \begin{array}{rr} 2 & -1 \\ -1 & 2 \end{array} \right) \end{equation} \begin{enumerate} \item {\color{TealBlue} [2 分]} 求解下述检验问题. \begin{equation} H_0:~ \boldsymbol{\mu} = \left( \begin{array}{c} 2 \\[3mm] \dfrac{2}{3} \end{array} \right) ~\longleftrightarrow~ H_1:~ \boldsymbol{\mu} \not= \left( \begin{array}{c} 2 \\[3mm] \dfrac{2}{3} \end{array} \right) \end{equation} {\color{red} \heiti 【解】} $\Sigma$ 未知时，使用 Hotelling $T^2$ 统计量： \[ T^2 = n(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T}\mathcal{S}^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0). \] 在 $H_0$ 下，$F=\dfrac{n-p}{(n-1)p}\,T^2\sim F(p,\,n-p)$，其中 $p=2$，$n=6$。 \textbf{第一步：}计算 $\mathcal{S}^{-1}$。 \[ |\mathcal{S}| = 4-1 = 3,\qquad \mathcal{S}^{-1} = \frac{1}{3}\begin{pmatrix}2&1\\1&2\end{pmatrix}. \] \textbf{第二步：}差向量 $\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0=(-1,\,-1/6)^{\rm T}$（同第 6 题）。 \textbf{第三步：}由第 6 题的计算结果： \[ (\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T}\mathcal{S}^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0) = \frac{43}{54}, \] 故 \[ T^2 = 6\times\frac{43}{54} = \frac{43}{9}\approx 4.778. \] \textbf{第四步：}转化为 $F$ 统计量。 \[ F = \frac{n-p}{(n-1)p}\,T^2 = \frac{6-2}{(6-1)\times 2}\times\frac{43}{9} = \frac{4}{10}\times\frac{43}{9} = \frac{172}{90} = \frac{86}{45} \approx 1.911. \] \textbf{第五步：}作出结论。取 $\alpha=0.05$，查表得 $F_{0.05}(2,4)=6.944$。 拒绝域为 $W=\{F>F_\alpha(p,\,n-p)\}$。 由于 $F\approx 1.911 < 6.944$，\textbf{在 $\alpha=0.05$ 的显著性水平下，不拒绝 $H_0$}。 等价地，$T^2$ 的临界值为 $T^2_{\rm crit}=\dfrac{(n-1)p}{n-p}F_{0.05}(p,n-p)=\dfrac{5\times2}{4}\times6.944=17.36$， 由于 $T^2\approx4.778<17.36$，结论相同。 \textbf{注：}与第 6 题相比，$\Sigma$ 未知导致临界值从 $5.991$ 大幅提升至 $17.36$，反映了估计 $\Sigma$ 所带来的额外不确定性（自由度损失）。 \item {\color{TealBlue} [2 分]} 作拒绝域的可视化图形. {\color{red} \heiti 【解】} 拒绝域等价于 \[ W = \left\{\bar{\boldsymbol{x}}\;:\; n(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T} \mathcal{S}^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0) > T^2_{\rm crit}\right\}, \] 其中 $T^2_{\rm crit}=\dfrac{(n-1)p}{n-p}F_\alpha(p,n-p)$。 以下 R 代码同时绘制第 6 题和第 7 题的拒绝边界进行对比： \begin{verbatim} # 第7题(b) - Sigma 未知情形的拒绝域可视化（并与已知 Sigma 作对比） mu0 <- c(2, 2/3) xbar <- c(1, 0.5) S <- matrix(c(2, -1, -1, 2), nrow = 2) n <- 6; p <- 2; alpha <- 0.05 # 第7题（Sigma 未知）：T^2 临界值 F_crit <- qf(1 - alpha, p, n - p) # F_{0.05}(2,4) = 6.944 T2_crit <- (n - 1) * p / (n - p) * F_crit # = 17.36 # 第6题（Sigma 已知）：chi^2 临界值 chi2_crit <- qchisq(1 - alpha, p) # = 5.991 # 椭圆参数化函数 make_ellipse <- function(center, A, radius) { eigA <- eigen(A) th <- seq(0, 2*pi, length.out = 500) pts <- center + sqrt(radius) * eigA$vectors %*% diag(sqrt(eigA$values)) %*% rbind(cos(th), sin(th)) t(pts) } A <- S / n ell_unknown <- make_ellipse(mu0, A, T2_crit) # Sigma 未知（红色，较大椭圆） ell_known <- make_ellipse(mu0, A, chi2_crit) # Sigma 已知（蓝色，较小椭圆） par(mar = c(4, 4, 3, 1)) plot(ell_unknown, type = "l", col = "red", lwd = 2, xlab = expression(bar(x)[1]), ylab = expression(bar(x)[2]), main = "Rejection Regions Comparison (alpha = 0.05)", xlim = range(c(ell_unknown[,1], ell_known[,1])), ylim = range(c(ell_unknown[,2], ell_known[,2]))) lines(ell_known, col = "blue", lwd = 2, lty = 2) points(mu0[1], mu0[2], pch = 16, col = "black", cex = 1.5) points(xbar[1], xbar[2], pch = 17, col = "darkgreen", cex = 1.5) abline(h = 0, v = 0, lty = 2, col = "gray70") legend("topright", legend = c(expression(mu[0]), expression(bar(x)), "Sigma 未知（T^2 临界值 = 17.36）", "Sigma 已知（chi^2 临界值 = 5.991）"), pch = c(16, 17, NA, NA), lty = c(NA, NA, 1, 2), col = c("black", "darkgreen", "red", "blue"), lwd = c(NA, NA, 2, 2)) \end{verbatim} \begin{figure}[H] \centering \includegraphics[width=0.8\textwidth]{C:/Users/35297/Documents/Rplot_7b.png} \caption{拒绝域对比（$\alpha=0.05$）：红色实线椭圆为 $\Sigma$ 未知时的接受域边界（$T^2_{\rm crit}=17.36$），蓝色虚线椭圆为 $\Sigma$ 已知时的接受域边界（$\chi^2_{0.05}(2)=5.991$）；$\bar{\boldsymbol{x}}$（绿色三角）位于两椭圆内部，两种情形下均不拒绝 $H_0$。} \label{fig:rej_unknown} \end{figure} 图中红色实线椭圆为 $\Sigma$ 未知时的接受域边界（$T^2_{\rm crit}=17.36$），蓝色虚线椭圆为 $\Sigma$ 已知时的接受域边界（$\chi^2_{0.05}(2)=5.991$）。 由于 $\mathcal{S}=\Sigma$，两椭圆形状相同，但 $\Sigma$ 未知时临界值更大，接受域更大，故更难拒绝原假设。 $\bar{\boldsymbol{x}}$（绿色三角）位于两个椭圆内部，两种情形下均不拒绝 $H_0$。 \end{enumerate} \end{enumerate} \end{document}