\documentclass[a4paper, 10.5pt, twoside, openany]{book}
\usepackage{amsfonts}
\usepackage{array}
\usepackage{boxedminipage, fancybox}
\usepackage{caption}
\usepackage{color}
\usepackage[colorlinks,linkcolor=blue]{hyperref}
\usepackage{ctex}
\usepackage{datetime}
\usepackage[dvipsnames]{xcolor}
\usepackage{enumerate}
\usepackage{epsfig,graphicx,subfigure}
\usepackage{extarrows}
\usepackage{fancyheadings}
\usepackage{float}
\usepackage{geometry}
\usepackage{listings}
\usepackage{longtable}
\usepackage{makeidx}
\usepackage{mathrsfs}
\usepackage{multirow}
\usepackage{natbib}
\usepackage{pifont}
\usepackage{rotating}
\usepackage{setspace}
\usepackage{shadow}
\usepackage{stmaryrd, amssymb, amsmath}
\usepackage{tabularx}
\usepackage{url}
\usepackage{varioref}
\usepackage{verbatim}
\usepackage{wrapfig}
\usepackage{xcolor}

\geometry{left=2.0cm, right=2.0cm, top=2.5cm, bottom=2.5cm}
\linespread{1.5}
\definecolor{mygray}{rgb}{0.85, 0.85, 0.85}
\newcommand{\codeinline}[1]{\colorbox{mygray}{\lstinline|#1|}}

\lstset{
  language=R,
  basicstyle=\small\ttfamily,
  keywordstyle=\color{blue},
  commentstyle=\color{gray},
  breaklines=true,
  frame=single,
  numbers=left,
  numberstyle=\tiny,
  xleftmargin=2em
}

%% ----------------------------------------------------------------------------------------------------------------------------------------------------------------------

\title{\Huge \bf 《多元统计分析》课后作业}
\author{\kaishu 姓名：\underline{\quad 李倩倩 \quad} \\[5mm]
                 \kaishu 学号：\underline{\quad 2024017349 \quad} \\[5mm]
                 \kaishu 班级：\underline{\quad 统计 24-1 班 \quad} \\[50mm]
                 \kaishu 中国石油大学（北京）克拉玛依校区文理学院数学与统计系
                 }
\date{\today}

\begin{document}

% -------------------------------------------- 封面页 --------------------------------------------
\frontmatter
\maketitle

% -------------------------------------------- 作业要求 --------------------------------------------
\chapter{作业要求}
\begin{enumerate}
	\item 可以和其他同学讨论作业当中的问题，但应当自己独立完成作业
	\item 计算、证明等要有过程，要有主要步骤的说明
	\item 请将计算、绘图所用的 R 代码以及生成的结果和图像一并添加在作业文件当中
	\item 请使用 \LaTeX 编辑并生成 PDF 格式的文件，第 X 周作业文件命名方式：学号-姓名-X.pdf
	\item 评分标准：每一问得分 $\in \left\{ 2 ,\, 1 ,\, 0 \right\}$
		\begin{itemize}
			\item 2:~ 按时完成并上交作业，且答案基本正确
			\item 1:~ 按时完成并上交作业，且答案部分正确
			\item 0:~ 答案完全错误，或者迟交作业(规定时间72小时之后)
		\end{itemize}
	\item 请将完成的 PDF 格式的作业文件发送至邮箱：xiaolei@cup.edu.cn
	\item 每位同学可以有一次迟交作业的机会，但不得晚于规定时间三日之后
	\item 第 6 周作业截止时间：2026年4月24日24:00
\end{enumerate}

\tableofcontents

% -------------------------------------------- 正文部分 --------------------------------------------
\mainmatter



% -------------------------------------------- 第 6 周作业 --------------------------------------------
\chapter{第 6 周作业}

{\kaishu \color{blue} 第 6 周作业截止时间：} 2026年4月24日24:00

{\kaishu \color{blue} 第 6 周作业完成时间：} \today \space \currenttime      % 请勿编辑、删除本行！

\begin{enumerate}
	\item 设有二维分布总体，其概率密度函数为
		\begin{equation}
			f \left( x_1 ,~ x_2 \right) = \frac{1}{\theta_1 \theta_2} \, \exp \left( - \frac{x_1}{\theta_1} - \frac{x_2}{\theta_2} \right) ~, \quad x_1 ~,~ x_2 > 0
		\end{equation}
		从中抽取一个容量为 $n$ 的简单随机样本.
		\begin{enumerate}
			\item {\color{TealBlue} [2 分]} 求 $\boldsymbol{\theta} = \left( \theta_1 ~,~ \theta_2 \right)^{\rm T}$ 的极大似然估计量.

			{\color{red} \heiti 【解】}

			设样本为 $\{(x_{1i},\, x_{2i})\}_{i=1}^{n}$，似然函数为
			\begin{equation}
				L(\boldsymbol{\theta}) = \prod_{i=1}^{n} \frac{1}{\theta_1\theta_2}
				\exp\!\left(-\frac{x_{1i}}{\theta_1}-\frac{x_{2i}}{\theta_2}\right)
				= \frac{1}{(\theta_1\theta_2)^{n}}
				\exp\!\left(-\frac{\sum_{i=1}^n x_{1i}}{\theta_1}-\frac{\sum_{i=1}^n x_{2i}}{\theta_2}\right).
			\end{equation}

			对数似然函数为
			\begin{equation}
				l(\boldsymbol{\theta}) = -n\ln\theta_1 - n\ln\theta_2
				- \frac{1}{\theta_1}\sum_{i=1}^{n}x_{1i}
				- \frac{1}{\theta_2}\sum_{i=1}^{n}x_{2i}.
			\end{equation}

			分别对 $\theta_1$、$\theta_2$ 求偏导并令其等于零：
			\begin{align}
				\frac{\partial l}{\partial\theta_1}
				= -\frac{n}{\theta_1} + \frac{\displaystyle\sum_{i=1}^{n}x_{1i}}{\theta_1^{2}} = 0
				&\implies \hat{\theta}_1 = \frac{1}{n}\sum_{i=1}^{n}x_{1i} = \bar{x}_1, \\
				\frac{\partial l}{\partial\theta_2}
				= -\frac{n}{\theta_2} + \frac{\displaystyle\sum_{i=1}^{n}x_{2i}}{\theta_2^{2}} = 0
				&\implies \hat{\theta}_2 = \frac{1}{n}\sum_{i=1}^{n}x_{2i} = \bar{x}_2.
			\end{align}

			验证二阶偏导数 $\partial^2 l/\partial\theta_j^2 = n/\theta_j^2 - 2\sum x_{ji}/\theta_j^3$，在极值点处代入 $\theta_j=\bar x_j$ 得 $-n/\bar{x}_j^2 < 0$，确为极大值点。故 $\boldsymbol{\theta}$ 的极大似然估计量为
			\begin{equation}
				\hat{\boldsymbol{\theta}} = \left(\bar{x}_1,\; \bar{x}_2\right)^{\rm T} = \bar{\boldsymbol{x}}.
			\end{equation}

			\item {\color{TealBlue} [2 分]} 确定其 Cramer-Rao 下界.

			{\color{red} \heiti 【解】}

			单个观测 $(x_1,x_2)$ 的对数密度为
			\[
				\ln f = -\ln\theta_1 - \ln\theta_2 - \frac{x_1}{\theta_1} - \frac{x_2}{\theta_2}.
			\]

			评分函数分量为
			\[
				s_1 = \frac{\partial\ln f}{\partial\theta_1}
				= -\frac{1}{\theta_1}+\frac{x_1}{\theta_1^2}
				= \frac{x_1-\theta_1}{\theta_1^2},
				\qquad
				s_2 = \frac{\partial\ln f}{\partial\theta_2}
				= \frac{x_2-\theta_2}{\theta_2^2}.
			\]

			由于 $x_j \sim \mathrm{Exp}(\theta_j)$，故 $\mathbb{E}[x_j]=\theta_j$，$\mathrm{Var}(x_j)=\theta_j^2$。
			单个观测的 Fisher 信息矩阵各元素为
			\begin{align}
				\mathcal{I}_{11} &= \mathbb{E}[s_1^2]
				= \frac{\mathrm{Var}(x_1)}{\theta_1^4}
				= \frac{\theta_1^2}{\theta_1^4} = \frac{1}{\theta_1^2}, \\
				\mathcal{I}_{22} &= \mathbb{E}[s_2^2] = \frac{1}{\theta_2^2}, \\
				\mathcal{I}_{12} &= \mathbb{E}[s_1 s_2]
				= \mathbb{E}[s_1]\,\mathbb{E}[s_2] = 0
				\quad (\text{因 }x_1\text{ 与 }x_2\text{ 独立且 }\mathbb{E}[s_j]=0).
			\end{align}

			故单个观测的 Fisher 信息矩阵为
			\[
				\mathcal{I}(\boldsymbol{\theta})
				= \mathrm{diag}\!\left(\frac{1}{\theta_1^2},\;\frac{1}{\theta_2^2}\right).
			\]

			容量为 $n$ 的样本的 Fisher 信息矩阵为
			$\mathcal{I}_n(\boldsymbol{\theta}) = n\,\mathcal{I}(\boldsymbol{\theta}) = \mathrm{diag}(n/\theta_1^2,\, n/\theta_2^2)$。

			$\boldsymbol{\theta}$ 的任意无偏估计量 $\hat{\boldsymbol{\theta}}$ 的协方差矩阵满足
			\begin{equation}
				\mathrm{Cov}(\hat{\boldsymbol{\theta}}) \succeq
				\mathcal{I}_n^{-1}(\boldsymbol{\theta})
				= \mathrm{diag}\!\left(\frac{\theta_1^2}{n},\;\frac{\theta_2^2}{n}\right).
			\end{equation}

			即 Cramer-Rao 下界为 $\mathrm{diag}\!\left(\theta_1^2/n,\, \theta_2^2/n\right)$。

			\item {\color{TealBlue} [2 分]} 能否找到 $\boldsymbol{\theta}$ 的一个最小方差无偏估计量?

			{\color{red} \heiti 【解】}

			可以找到，且极大似然估计量 $\hat{\boldsymbol{\theta}}=\bar{\boldsymbol{x}}$ 即为所求。

			\textbf{充分完备统计量的存在性：}该分布族可以写成指数族形式
			\[
				f(x_1,x_2;\boldsymbol{\theta})
				= \exp\!\left(-\frac{x_1}{\theta_1}-\frac{x_2}{\theta_2}-\ln\theta_1-\ln\theta_2\right),
			\]
			自然参数为 $\eta_j=-1/\theta_j$，充分统计量为 $\boldsymbol{T}=\left(\sum_{i=1}^n x_{1i},\,\sum_{i=1}^n x_{2i}\right)^{\rm T}$。
			由满秩指数族的完备性定理，$\boldsymbol{T}$ 是完全充分统计量。

			\textbf{由 Lehmann-Scheff\'{e} 定理：}$\bar{\boldsymbol{x}}=\boldsymbol{T}/n$ 是 $\boldsymbol{T}$ 的函数，且
			$\mathbb{E}[\bar{x}_j]=\theta_j$（无偏性），故 $\bar{\boldsymbol{x}}$ 是 $\boldsymbol{\theta}$ 的最小方差无偏估计量（MVUE）。

			\textbf{验证：}$\mathrm{Var}(\bar{x}_j)=\theta_j^2/n$，恰好等于 Cramer-Rao 下界，进一步印证上述结论。

		\end{enumerate}

	\item 考虑总体 $N_p \left( \boldsymbol{\mu} ,\, \mathnormal{\Sigma}_0 \right)$，其中 $\mathnormal{\Sigma}_0$ 已知，设 $\left\{ \boldsymbol{x}_i \right\}_{i=1}^n$ 是取自该总体的一个简单随机样本.

		\begin{enumerate}
			\item {\color{TealBlue} [2 分]} 计算 $\boldsymbol{\mu}$ 的 Cramer-Rao 下界.

			{\color{red} \heiti 【解】}

			单个观测 $\boldsymbol{x}\sim N_p(\boldsymbol{\mu},\Sigma_0)$ 的对数密度为
			\[
				\ln f = -\frac{p}{2}\ln(2\pi)
				- \frac{1}{2}\ln|\Sigma_0|
				- \frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{\rm T}\Sigma_0^{-1}(\boldsymbol{x}-\boldsymbol{\mu}).
			\]

			关于 $\boldsymbol{\mu}$ 的评分函数为
			\[
				\boldsymbol{s} = \frac{\partial\ln f}{\partial\boldsymbol{\mu}}
				= \Sigma_0^{-1}(\boldsymbol{x}-\boldsymbol{\mu}).
			\]

			单个观测的 Fisher 信息矩阵为
			\begin{align}
				\mathcal{I}(\boldsymbol{\mu})
				&= \mathbb{E}\!\left[\boldsymbol{s}\boldsymbol{s}^{\rm T}\right]
				= \mathbb{E}\!\left[\Sigma_0^{-1}(\boldsymbol{x}-\boldsymbol{\mu})(\boldsymbol{x}-\boldsymbol{\mu})^{\rm T}\Sigma_0^{-1}\right] \notag \\
				&= \Sigma_0^{-1}\,\mathbb{E}\!\left[(\boldsymbol{x}-\boldsymbol{\mu})(\boldsymbol{x}-\boldsymbol{\mu})^{\rm T}\right]\Sigma_0^{-1}
				= \Sigma_0^{-1}\,\Sigma_0\,\Sigma_0^{-1}
				= \Sigma_0^{-1}.
			\end{align}

			容量为 $n$ 的样本的 Fisher 信息矩阵为 $\mathcal{I}_n(\boldsymbol{\mu})=n\Sigma_0^{-1}$。

			故 $\boldsymbol{\mu}$ 的任意无偏估计量 $\hat{\boldsymbol{\mu}}$ 满足
			\begin{equation}
				\mathrm{Cov}(\hat{\boldsymbol{\mu}}) \succeq
				\mathcal{I}_n^{-1}(\boldsymbol{\mu})
				= \frac{1}{n}\Sigma_0.
			\end{equation}

			即 $\boldsymbol{\mu}$ 的 Cramer-Rao 下界为 $\dfrac{\Sigma_0}{n}$。

			\item {\color{TealBlue} [2 分]} 能否给出 $\boldsymbol{\mu}$ 的一个最小方差无偏估计量?

			{\color{red} \heiti 【解】}

			可以给出，样本均值 $\bar{\boldsymbol{x}}=\dfrac{1}{n}\displaystyle\sum_{i=1}^n\boldsymbol{x}_i$ 即为所求。

			\textbf{无偏性：}$\mathbb{E}[\bar{\boldsymbol{x}}]=\boldsymbol{\mu}$。

			\textbf{协方差达到下界：}$\mathrm{Cov}(\bar{\boldsymbol{x}})=\dfrac{\Sigma_0}{n}$，恰好等于 Cramer-Rao 下界。

			\textbf{完备充分性：}多元正态分布属于满秩指数族，$\displaystyle\sum_{i=1}^n\boldsymbol{x}_i$（从而 $\bar{\boldsymbol{x}}$）是 $\boldsymbol{\mu}$ 的完全充分统计量。

			由 Lehmann-Scheff\'{e} 定理，$\bar{\boldsymbol{x}}$ 是 $\boldsymbol{\mu}$ 的最小方差无偏估计量（MVUE）。
		\end{enumerate}

	\item 假设 $\boldsymbol{X} \sim N_p ( \boldsymbol{\mu} \,,\, \mathnormal{\Sigma} )$，其中 $\mathnormal{\Sigma}$ 未知，但我们已知
		$\mathnormal{\Sigma} = \text{diag} \left( \sigma_{11} ,\, \sigma_{22} ,\, \ldots ,\, \sigma_{pp} \right)$，
		如果 $\left\{ \boldsymbol{x}_i \right\}_{i=1}^n$ 是取自该总体的容量为 $n$ 的一个简单随机样本

		\begin{enumerate}
			\item {\color{TealBlue} [2 分]} 求 $\boldsymbol{\mu}$ 的极大似然估计.

			{\color{red} \heiti 【解】}

			记 $\boldsymbol{x}_i=(x_{i1},\ldots,x_{ip})^{\rm T}$。当 $\Sigma=\mathrm{diag}(\sigma_{11},\ldots,\sigma_{pp})$ 时，
			$|\Sigma|=\prod_{j=1}^p\sigma_{jj}$，$\Sigma^{-1}=\mathrm{diag}(1/\sigma_{11},\ldots,1/\sigma_{pp})$，故对数似然函数为
			\begin{equation}
				l(\boldsymbol{\mu},\Sigma)
				= -\frac{np}{2}\ln(2\pi)
				- \frac{n}{2}\sum_{j=1}^p\ln\sigma_{jj}
				- \frac{1}{2}\sum_{i=1}^n\sum_{j=1}^p\frac{(x_{ij}-\mu_j)^2}{\sigma_{jj}}.
			\end{equation}

			对 $\mu_j$ 求偏导并令其为零：
			\[
				\frac{\partial l}{\partial\mu_j}
				= \frac{1}{\sigma_{jj}}\sum_{i=1}^n(x_{ij}-\mu_j) = 0
				\implies \hat{\mu}_j = \frac{1}{n}\sum_{i=1}^n x_{ij} = \bar{x}_j.
			\]

			故 $\boldsymbol{\mu}$ 的极大似然估计为
			\begin{equation}
				\hat{\boldsymbol{\mu}} = \bar{\boldsymbol{x}} = (\bar{x}_1,\,\bar{x}_2,\,\ldots,\,\bar{x}_p)^{\rm T}.
			\end{equation}

			\item {\color{TealBlue} [2 分]} 求 $\mathnormal{\Sigma}$ 的极大似然估计.

			{\color{red} \heiti 【解】}

			将 $\hat{\boldsymbol{\mu}}=\bar{\boldsymbol{x}}$ 代入对数似然函数，对 $\sigma_{jj}$ 求偏导并令其为零：
			\[
				\frac{\partial l}{\partial\sigma_{jj}}
				= -\frac{n}{2\sigma_{jj}}
				+ \frac{1}{2\sigma_{jj}^2}\sum_{i=1}^n(x_{ij}-\bar{x}_j)^2 = 0
				\implies \hat{\sigma}_{jj} = \frac{1}{n}\sum_{i=1}^n(x_{ij}-\bar{x}_j)^2.
			\]

			验证二阶偏导 $\partial^2 l/\partial\sigma_{jj}^2 = n/(2\sigma_{jj}^2)-\sum(x_{ij}-\bar x_j)^2/\sigma_{jj}^3$，
			在极值点处为负，确为极大值。故 $\Sigma$ 的极大似然估计为
			\begin{equation}
				\hat{\Sigma} = \mathrm{diag}(\hat{\sigma}_{11},\,\hat{\sigma}_{22},\,\ldots,\,\hat{\sigma}_{pp}),
				\qquad
				\hat{\sigma}_{jj} = \frac{1}{n}\sum_{i=1}^n(x_{ij}-\bar{x}_j)^2,\quad j=1,\ldots,p.
			\end{equation}

			即 $\hat{\Sigma}$ 为样本协方差矩阵（除以 $n$）的对角部分。
		\end{enumerate}

	\item {\color{TealBlue} [2 分]} 证明定理 6.1.

		\begin{boxedminipage}[t]{16.0cm}
			{\bf 定理 6.1}: 设 $\boldsymbol{s} = \boldsymbol{s} \left( \mathcal{X} ;~ \boldsymbol{\theta} \right)$ 是评分函数，
			如果 $\widehat{\boldsymbol{\theta}} = \boldsymbol{t} = \boldsymbol{t} \left( \mathcal{X} ;~ \boldsymbol{\theta} \right)$ 是 $\mathcal{X}$
			与 $\boldsymbol{\theta}$ 的任一函数，则在正则条件下有
			\begin{equation}
				\mathbb{E} \left( \boldsymbol{st}^{\rm T} \right) = \frac{\partial}{\partial \boldsymbol{\theta}} \mathbb{E} \left( \boldsymbol{t}^{\rm T} \right) -
				\mathbb{E} \left( \frac{\partial \boldsymbol{t}^{\rm T}}{\partial \boldsymbol{\theta}} \right).
			\end{equation}
		\end{boxedminipage}

		{\bf 提示}：从
		$$ \dfrac{\partial}{\partial \boldsymbol{\theta}} \, \mathbb{E} \left( \boldsymbol{t}^{\rm T} \right) = \dfrac{\partial}{\partial \boldsymbol{\theta}} \int
			\boldsymbol{t}^{\rm T} \left( \mathcal{X} ;~ \boldsymbol{\theta} \right) \cdot L \left( \mathcal{X} ;~ \boldsymbol{\theta} \right) {\rm d} \mathcal{X} $$
		出发，注意到
		$$ \boldsymbol{s} \left( \mathcal{X} ;\, \boldsymbol{\theta} \right) = \dfrac{1}{L \left( \mathcal{X} ;\, \boldsymbol{\theta} \right)} \cdot
		\dfrac{\partial}{\partial \boldsymbol{\theta}} \, L \left( \mathcal{X} ;\, \boldsymbol{\theta} \right) \,. $$

		{\color{red} \heiti 【证】}

		由期望的定义：
		\[
			\frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}\!\left(\boldsymbol{t}^{\rm T}\right)
			= \frac{\partial}{\partial\boldsymbol{\theta}}
			\int \boldsymbol{t}^{\rm T}(\mathcal{X};\boldsymbol{\theta})\cdot L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X}.
		\]

		在正则条件下，可以交换积分与微分顺序（Leibniz 积分法则），并利用乘积法则展开被积函数：
		\begin{align}
			\frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}\!\left(\boldsymbol{t}^{\rm T}\right)
			&= \int \frac{\partial}{\partial\boldsymbol{\theta}}
			\Bigl[\boldsymbol{t}^{\rm T}(\mathcal{X};\boldsymbol{\theta})\cdot L(\mathcal{X};\boldsymbol{\theta})\Bigr]\,\mathrm{d}\mathcal{X}
			\notag \\
			&= \int \frac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}}\cdot L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X}
			+ \int \boldsymbol{t}^{\rm T}(\mathcal{X};\boldsymbol{\theta})\cdot
			\frac{\partial L(\mathcal{X};\boldsymbol{\theta})}{\partial\boldsymbol{\theta}}\,\mathrm{d}\mathcal{X}.
		\end{align}

		第一个积分即为
		$\mathbb{E}\!\left(\dfrac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}}\right)$。

		对于第二个积分，由题意中的关系式
		$\dfrac{\partial L}{\partial\boldsymbol{\theta}} = \boldsymbol{s}(\mathcal{X};\boldsymbol{\theta})\cdot L(\mathcal{X};\boldsymbol{\theta})$，代入得
		\[
			\int \boldsymbol{t}^{\rm T}\cdot\frac{\partial L}{\partial\boldsymbol{\theta}}\,\mathrm{d}\mathcal{X}
			= \int \boldsymbol{s}(\mathcal{X};\boldsymbol{\theta})\cdot\boldsymbol{t}^{\rm T}(\mathcal{X};\boldsymbol{\theta})
			\cdot L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X}
			= \mathbb{E}\!\left(\boldsymbol{s}\boldsymbol{t}^{\rm T}\right).
		\]

		注意此处 $\boldsymbol{s}$ 为 $k\times 1$ 列向量，$\boldsymbol{t}^{\rm T}$ 为 $1\times q$ 行向量，故
		$\boldsymbol{s}\boldsymbol{t}^{\rm T}$ 为 $k\times q$ 矩阵，与左端 $\dfrac{\partial}{\partial\boldsymbol{\theta}}\mathbb{E}(\boldsymbol{t}^{\rm T})$ 维度一致。

		综合以上两项：
		\[
			\frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}\!\left(\boldsymbol{t}^{\rm T}\right)
			= \mathbb{E}\!\left(\frac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}}\right)
			+ \mathbb{E}\!\left(\boldsymbol{s}\boldsymbol{t}^{\rm T}\right).
		\]

		移项即得定理 6.1：
		\[
			\mathbb{E}\!\left(\boldsymbol{s}\boldsymbol{t}^{\rm T}\right)
			= \frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}\!\left(\boldsymbol{t}^{\rm T}\right)
			- \mathbb{E}\!\left(\frac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}}\right).
		\]

		\hfill$\square$

	\item 设 $\boldsymbol{s} ( \mathcal{X} ;~ \boldsymbol{\theta} )$ 是评分函数，$\widehat{\boldsymbol{\theta}} = \boldsymbol{t} = \boldsymbol{t} \left( \mathcal{X} \right)$
		是 $\boldsymbol{\theta}$ 的任意一个无偏估计量，即 $\mathbb{E} (\boldsymbol{t}) = \boldsymbol{\theta}$.
		\begin{enumerate}
			\item {\color{TealBlue} [2 分]} 证明
				\begin{equation}
					{\rm E} \left[ \boldsymbol{s} \left( {\mathcal{X} ;~ \boldsymbol{\theta}} \right) \right] = \boldsymbol{0} \,.
				\end{equation}

			{\color{red} \heiti 【证】}

			由于 $L(\mathcal{X};\boldsymbol{\theta})$ 是概率密度函数，满足归一化条件：
			\[
				\int L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X} = 1.
			\]

			在正则条件下，对 $\boldsymbol{\theta}$ 求导并交换积分与微分顺序：
			\[
				\frac{\partial}{\partial\boldsymbol{\theta}}\int L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X}
				= \int \frac{\partial L(\mathcal{X};\boldsymbol{\theta})}{\partial\boldsymbol{\theta}}\,\mathrm{d}\mathcal{X} = \boldsymbol{0}.
			\]

			将 $\dfrac{\partial L}{\partial\boldsymbol{\theta}} = \boldsymbol{s}\cdot L$ 代入：
			\[
				\int \boldsymbol{s}(\mathcal{X};\boldsymbol{\theta})\cdot L(\mathcal{X};\boldsymbol{\theta})\,\mathrm{d}\mathcal{X} = \boldsymbol{0},
			\]

			即 $\mathbb{E}\!\left[\boldsymbol{s}(\mathcal{X};\boldsymbol{\theta})\right] = \boldsymbol{0}$。\hfill$\square$

			\item {\color{TealBlue} [2 分]} 证明
				\begin{equation}
					\mathbb{E} \left( \boldsymbol{st}^{\rm T} \right) = \mathbb{C}{\rm ov} \left( \boldsymbol{s} ,~ \boldsymbol{t} \right) = \mathcal{I}_k ~.
				\end{equation}

			{\color{red} \heiti 【证】}

			\textbf{第一步：证明} $\mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T}) = \mathbb{C}\mathrm{ov}(\boldsymbol{s},\boldsymbol{t})$。

			由第 (a) 小问知 $\mathbb{E}(\boldsymbol{s})=\boldsymbol{0}$，且 $\boldsymbol{t}$ 无偏故 $\mathbb{E}(\boldsymbol{t})=\boldsymbol{\theta}$，从而
			\begin{align}
				\mathbb{C}\mathrm{ov}(\boldsymbol{s},\boldsymbol{t})
				&= \mathbb{E}\!\left[(\boldsymbol{s}-\mathbb{E}[\boldsymbol{s}])(\boldsymbol{t}-\mathbb{E}[\boldsymbol{t}])^{\rm T}\right]
				= \mathbb{E}\!\left[\boldsymbol{s}(\boldsymbol{t}-\boldsymbol{\theta})^{\rm T}\right]
				= \mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T}) - \mathbb{E}(\boldsymbol{s})\boldsymbol{\theta}^{\rm T}
				= \mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T}).
			\end{align}

			\textbf{第二步：证明} $\mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T}) = \mathcal{I}_k$（$k$ 阶单位矩阵）。

			由于 $\boldsymbol{t}=\boldsymbol{t}(\mathcal{X})$ 不显含 $\boldsymbol{\theta}$，故
			\[
				\frac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}} = \boldsymbol{0}.
			\]

			又由无偏性 $\mathbb{E}(\boldsymbol{t})=\boldsymbol{\theta}$，有 $\mathbb{E}(\boldsymbol{t}^{\rm T})=\boldsymbol{\theta}^{\rm T}$，故
			\[
				\frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}(\boldsymbol{t}^{\rm T})
				= \frac{\partial\boldsymbol{\theta}^{\rm T}}{\partial\boldsymbol{\theta}}
				= \mathcal{I}_k,
			\]
			其中 $\mathcal{I}_k$ 为 $k$ 阶单位矩阵，其第 $(i,j)$ 元素为 $\partial\theta_j/\partial\theta_i=\delta_{ij}$。

			由定理 6.1：
			\[
				\mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T})
				= \frac{\partial}{\partial\boldsymbol{\theta}}\,\mathbb{E}(\boldsymbol{t}^{\rm T})
				- \mathbb{E}\!\left(\frac{\partial\boldsymbol{t}^{\rm T}}{\partial\boldsymbol{\theta}}\right)
				= \mathcal{I}_k - \boldsymbol{0} = \mathcal{I}_k.
			\]

			综合两步，$\mathbb{E}(\boldsymbol{s}\boldsymbol{t}^{\rm T})=\mathbb{C}\mathrm{ov}(\boldsymbol{s},\boldsymbol{t})=\mathcal{I}_k$。\hfill$\square$
		\end{enumerate}

	\item 设 $\boldsymbol{X} \sim N_2 \left( \boldsymbol{\mu},~ \mathnormal{\Sigma} \right)$，其中已知
		\begin{equation}
			\mathnormal{\Sigma} = \left( \begin{array}{rr} 2 & -1 \\ -1 & 2 \end{array} \right)
		\end{equation}
		我们从该总体抽取了容量 $n=6$ 的一个简单随机样本，计算得
		\begin{equation}
			\overline{\boldsymbol{x}} = \left( \begin{array}{c} 1 \\[3mm] \dfrac{1}{2} \end{array} \right)
		\end{equation}

		\begin{enumerate}
			\item {\color{TealBlue} [2 分]} 求解下述假设检验问题.
				\begin{equation}
					H_0:\, \boldsymbol{\mu} = \left( \begin{array}{c} 2 \\[3mm] \dfrac{2}{3} \end{array} \right) ~\longleftrightarrow~
						H_1:\, \boldsymbol{\mu} \not= \left( \begin{array}{c} 2 \\[3mm] \dfrac{2}{3} \end{array} \right)
				\end{equation}

			{\color{red} \heiti 【解】}

			$\Sigma$ 已知时，使用基于 $\chi^2$ 分布的检验统计量：
			\[
				T^2 = n(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T}\Sigma^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)
				\overset{H_0}{\sim} \chi^2(p),
			\]
			其中 $p=2$，$\boldsymbol{\mu}_0=(2,\,2/3)^{\rm T}$。

			\textbf{第一步：}计算 $\Sigma^{-1}$。
			\[
				|\Sigma| = 2\times 2-(-1)\times(-1) = 3,\qquad
				\Sigma^{-1} = \frac{1}{3}\begin{pmatrix}2&1\\1&2\end{pmatrix}.
			\]

			\textbf{第二步：}计算差向量。
			\[
				\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0
				= \begin{pmatrix}1-2\\[1mm]\frac{1}{2}-\frac{2}{3}\end{pmatrix}
				= \begin{pmatrix}-1\\[1mm]-\frac{1}{6}\end{pmatrix}.
			\]

			\textbf{第三步：}计算 $\Sigma^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)$。
			\[
				\Sigma^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)
				= \frac{1}{3}\begin{pmatrix}2&1\\1&2\end{pmatrix}\begin{pmatrix}-1\\-\frac{1}{6}\end{pmatrix}
				= \frac{1}{3}\begin{pmatrix}-2-\frac{1}{6}\\-1-\frac{1}{3}\end{pmatrix}
				= \frac{1}{3}\begin{pmatrix}-\frac{13}{6}\\-\frac{4}{3}\end{pmatrix}
				= \begin{pmatrix}-\frac{13}{18}\\[1mm]-\frac{4}{9}\end{pmatrix}.
			\]

			\textbf{第四步：}计算二次型。
			\[
				(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T}\Sigma^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)
				= (-1)\!\cdot\!\left(-\frac{13}{18}\right)+\left(-\frac{1}{6}\right)\!\cdot\!\left(-\frac{4}{9}\right)
				= \frac{13}{18}+\frac{4}{54}
				= \frac{39}{54}+\frac{4}{54}
				= \frac{43}{54}.
			\]

			\textbf{第五步：}计算检验统计量。
			\[
				T^2 = 6\times\frac{43}{54} = \frac{43}{9} \approx 4.778.
			\]

			\textbf{第六步：}作出结论。取显著性水平 $\alpha=0.05$，查表得 $\chi^2_{0.05}(2)=5.991$。

			拒绝域为 $W=\{T^2>\chi^2_{\alpha}(2)\}$。

			由于 $T^2=43/9\approx 4.778 < 5.991$，\textbf{在 $\alpha=0.05$ 的显著性水平下，不拒绝 $H_0$}。

			亦可计算 $p$ 值：$p=P(\chi^2(2)>43/9)=\mathrm{e}^{-43/18}\approx 0.0916>0.05$，与上述结论一致。

			\item {\color{TealBlue} [2 分]} 作拒绝域的可视化图形.

			{\color{red} \heiti 【解】}

			拒绝域 $T^2>\chi^2_\alpha(2)$ 等价于样本均值 $\bar{\boldsymbol{x}}$ 落在以 $\boldsymbol{\mu}_0$ 为中心的接受椭圆之外：
			\[
				W = \left\{\bar{\boldsymbol{x}}\;:\; n(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T}
				\Sigma^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)>\chi^2_\alpha(p)\right\}.
			\]

			以下 R 代码绘制拒绝边界（蓝色椭圆内部为接受域，外部为拒绝域）：

\begin{verbatim}
# 第6题(b) - Sigma 已知情形的拒绝域可视化
mu0   <- c(2, 2/3)
xbar  <- c(1, 0.5)
Sigma <- matrix(c(2, -1, -1, 2), nrow = 2)
n <- 6; p <- 2; alpha <- 0.05

crit <- qchisq(1 - alpha, p)   # chi^2_{0.05}(2) = 5.991

# 椭圆参数化：以 mu0 为中心，形状矩阵为 Sigma/n
A    <- Sigma / n
eigA <- eigen(A)
th   <- seq(0, 2*pi, length.out = 500)
ell  <- mu0 + sqrt(crit) *
        eigA$vectors %*% diag(sqrt(eigA$values)) %*% rbind(cos(th), sin(th))

par(mar = c(4, 4, 3, 1))
plot(t(ell), type = "l", col = "blue", lwd = 2,
     xlab = expression(bar(x)[1]), ylab = expression(bar(x)[2]),
     main = "Rejection Region (known Sigma, alpha = 0.05)")
points(mu0[1],  mu0[2],  pch = 16, col = "red",       cex = 1.5)
points(xbar[1], xbar[2], pch = 17, col = "darkgreen", cex = 1.5)
abline(h = 0, v = 0, lty = 2, col = "gray70")
legend("topright",
       legend = c(expression(mu[0]), expression(bar(x)),
                  "接受域边界（内部为接受域）"),
       pch = c(16, 17, NA), lty = c(NA, NA, 1),
       col = c("red", "darkgreen", "blue"), lwd = c(NA, NA, 2))
\end{verbatim}

\begin{figure}[H]
    \centering
    \includegraphics[width=0.8\textwidth]{C:/Users/35297/Documents/Rplot_6b.png}
    \caption{拒绝域可视化（$\Sigma$ 已知，$\alpha=0.05$）：蓝色椭圆为接受域边界，内部为接受域，外部为拒绝域；红色实心圆为 $\boldsymbol{\mu}_0$，绿色三角为 $\bar{\boldsymbol{x}}$（位于椭圆内，不拒绝 $H_0$）。}
    \label{fig:rej_known}
\end{figure}

			图中蓝色椭圆为接受域与拒绝域的分界线。$\boldsymbol{\mu}_0$（红色实心圆）为原假设均值，$\bar{\boldsymbol{x}}$（绿色三角）位于椭圆内部，故不拒绝 $H_0$，与第 (a) 小问结论一致。

		\end{enumerate}

	\item 设 $\boldsymbol{X} \sim N_2 \left( \boldsymbol{\mu},~ \mathnormal{\Sigma} \right)$，其中 $\mathnormal{\Sigma}$ 未知.
		从中抽取了容量 $n=6$ 的一个样本，计算得样本均值和样本方差如下：
		\begin{equation}
			\overline{\boldsymbol{x}} = \left( \begin{array}{c} 1 \\[3mm] \dfrac{1}{2} \end{array} \right) \,, \quad
			\mathcal{S} = \left( \begin{array}{rr} 2 & -1 \\ -1 & 2 \end{array} \right)
		\end{equation}
		\begin{enumerate}
			\item {\color{TealBlue} [2 分]} 求解下述检验问题.
				\begin{equation}
					H_0:~ \boldsymbol{\mu} = \left( \begin{array}{c} 2 \\[3mm] \dfrac{2}{3} \end{array} \right)  ~\longleftrightarrow~
					H_1:~ \boldsymbol{\mu} \not= \left( \begin{array}{c} 2 \\[3mm] \dfrac{2}{3} \end{array} \right)
				\end{equation}

			{\color{red} \heiti 【解】}

			$\Sigma$ 未知时，使用 Hotelling $T^2$ 统计量：
			\[
				T^2 = n(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T}\mathcal{S}^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0).
			\]

			在 $H_0$ 下，$F=\dfrac{n-p}{(n-1)p}\,T^2\sim F(p,\,n-p)$，其中 $p=2$，$n=6$。

			\textbf{第一步：}计算 $\mathcal{S}^{-1}$。
			\[
				|\mathcal{S}| = 4-1 = 3,\qquad
				\mathcal{S}^{-1} = \frac{1}{3}\begin{pmatrix}2&1\\1&2\end{pmatrix}.
			\]

			\textbf{第二步：}差向量 $\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0=(-1,\,-1/6)^{\rm T}$（同第 6 题）。

			\textbf{第三步：}由第 6 题的计算结果：
			\[
				(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T}\mathcal{S}^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)
				= \frac{43}{54},
			\]
			故
			\[
				T^2 = 6\times\frac{43}{54} = \frac{43}{9}\approx 4.778.
			\]

			\textbf{第四步：}转化为 $F$ 统计量。
			\[
				F = \frac{n-p}{(n-1)p}\,T^2
				= \frac{6-2}{(6-1)\times 2}\times\frac{43}{9}
				= \frac{4}{10}\times\frac{43}{9}
				= \frac{172}{90}
				= \frac{86}{45}
				\approx 1.911.
			\]

			\textbf{第五步：}作出结论。取 $\alpha=0.05$，查表得 $F_{0.05}(2,4)=6.944$。

			拒绝域为 $W=\{F>F_\alpha(p,\,n-p)\}$。

			由于 $F\approx 1.911 < 6.944$，\textbf{在 $\alpha=0.05$ 的显著性水平下，不拒绝 $H_0$}。

			等价地，$T^2$ 的临界值为
			$T^2_{\rm crit}=\dfrac{(n-1)p}{n-p}F_{0.05}(p,n-p)=\dfrac{5\times2}{4}\times6.944=17.36$，
			由于 $T^2\approx4.778<17.36$，结论相同。

			\textbf{注：}与第 6 题相比，$\Sigma$ 未知导致临界值从 $5.991$ 大幅提升至 $17.36$，反映了估计 $\Sigma$ 所带来的额外不确定性（自由度损失）。

			\item {\color{TealBlue} [2 分]} 作拒绝域的可视化图形.

			{\color{red} \heiti 【解】}

			拒绝域等价于
			\[
				W = \left\{\bar{\boldsymbol{x}}\;:\; n(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0)^{\rm T}
				\mathcal{S}^{-1}(\bar{\boldsymbol{x}}-\boldsymbol{\mu}_0) > T^2_{\rm crit}\right\},
			\]
			其中 $T^2_{\rm crit}=\dfrac{(n-1)p}{n-p}F_\alpha(p,n-p)$。

			以下 R 代码同时绘制第 6 题和第 7 题的拒绝边界进行对比：

\begin{verbatim}
# 第7题(b) - Sigma 未知情形的拒绝域可视化（并与已知 Sigma 作对比）
mu0  <- c(2, 2/3)
xbar <- c(1, 0.5)
S    <- matrix(c(2, -1, -1, 2), nrow = 2)
n <- 6; p <- 2; alpha <- 0.05

# 第7题（Sigma 未知）：T^2 临界值
F_crit  <- qf(1 - alpha, p, n - p)            # F_{0.05}(2,4) = 6.944
T2_crit <- (n - 1) * p / (n - p) * F_crit    # = 17.36

# 第6题（Sigma 已知）：chi^2 临界值
chi2_crit <- qchisq(1 - alpha, p)             # = 5.991

# 椭圆参数化函数
make_ellipse <- function(center, A, radius) {
  eigA   <- eigen(A)
  th     <- seq(0, 2*pi, length.out = 500)
  pts    <- center + sqrt(radius) *
            eigA$vectors %*% diag(sqrt(eigA$values)) %*% rbind(cos(th), sin(th))
  t(pts)
}

A <- S / n
ell_unknown <- make_ellipse(mu0, A, T2_crit)   # Sigma 未知（红色，较大椭圆）
ell_known   <- make_ellipse(mu0, A, chi2_crit)  # Sigma 已知（蓝色，较小椭圆）

par(mar = c(4, 4, 3, 1))
plot(ell_unknown, type = "l", col = "red", lwd = 2,
     xlab = expression(bar(x)[1]), ylab = expression(bar(x)[2]),
     main = "Rejection Regions Comparison (alpha = 0.05)",
     xlim = range(c(ell_unknown[,1], ell_known[,1])),
     ylim = range(c(ell_unknown[,2], ell_known[,2])))
lines(ell_known, col = "blue", lwd = 2, lty = 2)
points(mu0[1],  mu0[2],  pch = 16, col = "black",     cex = 1.5)
points(xbar[1], xbar[2], pch = 17, col = "darkgreen", cex = 1.5)
abline(h = 0, v = 0, lty = 2, col = "gray70")
legend("topright",
       legend = c(expression(mu[0]), expression(bar(x)),
                  "Sigma 未知（T^2 临界值 = 17.36）",
                  "Sigma 已知（chi^2 临界值 = 5.991）"),
       pch = c(16, 17, NA, NA), lty = c(NA, NA, 1, 2),
       col = c("black", "darkgreen", "red", "blue"), lwd = c(NA, NA, 2, 2))
\end{verbatim}

\begin{figure}[H]
    \centering
    \includegraphics[width=0.8\textwidth]{C:/Users/35297/Documents/Rplot_7b.png}
    \caption{拒绝域对比（$\alpha=0.05$）：红色实线椭圆为 $\Sigma$ 未知时的接受域边界（$T^2_{\rm crit}=17.36$），蓝色虚线椭圆为 $\Sigma$ 已知时的接受域边界（$\chi^2_{0.05}(2)=5.991$）；$\bar{\boldsymbol{x}}$（绿色三角）位于两椭圆内部，两种情形下均不拒绝 $H_0$。}
    \label{fig:rej_unknown}
\end{figure}

			图中红色实线椭圆为 $\Sigma$ 未知时的接受域边界（$T^2_{\rm crit}=17.36$），蓝色虚线椭圆为 $\Sigma$ 已知时的接受域边界（$\chi^2_{0.05}(2)=5.991$）。
			由于 $\mathcal{S}=\Sigma$，两椭圆形状相同，但 $\Sigma$ 未知时临界值更大，接受域更大，故更难拒绝原假设。
			$\bar{\boldsymbol{x}}$（绿色三角）位于两个椭圆内部，两种情形下均不拒绝 $H_0$。
		\end{enumerate}
\end{enumerate}

\end{document}
