代数基础 Lecture 10

由于 $A$ 是埃尔米特矩阵，存在酉矩阵 $U$ 使得 $U^H A U = \mathrm{diag}(\lambda_1,\ldots,\lambda_n)$，其中 $\lambda_n = \lambda_{\min} \leq \cdots \leq \lambda_1 = \lambda_{\max}$。

对任意 $x \in \mathbb{C}^n$，令 $y = U^H x$，则

$$x^H(A - \lambda_{\min}I)x = y^H(\Lambda - \lambda_{\min}I)y = \sum_{i=1}^n (\lambda_i - \lambda_{\min})|y_i|^2 \geq 0$$

故 $A - \lambda_{\min}I \geq 0$（半正定）。同理 $\lambda_{\max}I - A \geq 0$。$\blacksquare$

(1) 直接代入：$\mathcal{R}(cx) = \frac{(cx)^H A(cx)}{(cx)^H(cx)} = \frac{|c|^2 x^H A x}{|c|^2 x^H x} = \mathcal{R}(x)$。

(2)(3) 设 $A$ 有谱分解 $A = U\Lambda U^H$，令 $y = U^H x$（坐标变换，$\|y\|=\|x\|$），则

$$\mathcal{R}(x) = \frac{x^H A x}{x^H x} = \frac{y^H \Lambda y}{y^H y} = \frac{\sum_i \lambda_i |y_i|^2}{\sum_i |y_i|^2}$$

这是 $\lambda_i$ 的加权平均（权重 $w_i = |y_i|^2/\|y\|^2 \geq 0$，$\sum w_i = 1$），故

$$\lambda_n = \sum_i \lambda_n w_i \leq \mathcal{R}(x) \leq \sum_i \lambda_1 w_i = \lambda_1$$

取 $x = u_1$（最大特征向量），则 $y = e_1$，$\mathcal{R} = \lambda_1$；取 $x = u_n$，$\mathcal{R} = \lambda_n$。等号均可达。$\blacksquare$

对 $\forall x \in S^{(k)},\ x \neq 0$，写 $x = \sum_{i=1}^k b_i x_i$，则

$$\mathcal{R}(x) = \frac{\sum_{i=1}^k |b_i|^2 \lambda_i}{\sum_{i=1}^k |b_i|^2}$$

这是 $\lambda_1,\ldots,\lambda_k$ 的加权平均，故 $\lambda_k \leq \mathcal{R}(x) \leq \lambda_1$。

取 $x = x_1$ 得 $\mathcal{R} = \lambda_1$；取 $x = x_k$ 得 $\mathcal{R} = \lambda_k$，两个极值均可达。$\blacksquare$

瑞利商把特征值问题转化为连续优化问题。$Ax = \lambda x$ 要求精确解，而 $\mathcal{R}(x)$ 对任意 $x$ 都有定义，且在特征向量处取到特征值。

实用价值：幂法（Power Method）迭代求最大特征值，本质上是迭代最大化瑞利商；Lanczos 方法、瑞利-里兹方法都基于此思想。

设 $A$ 的标准正交特征向量为 $x_1,\ldots,x_n$（对应 $\lambda_1 \geq \cdots \geq \lambda_n$），令 $U_i = \mathrm{span}\{x_i, x_{i+1}, \ldots, x_n\}$（维数 $n-i+1$）。

第一步：证明 $\leq \lambda_i$（上界）。

对任意 $i$ 维子空间 $V_i$，由维数公式

$$\dim(V_i \cap U_i) = \dim V_i + \dim U_i - \dim(V_i + U_i) \geq i + (n-i+1) - n = 1$$

故 $V_i \cap U_i$ 中存在非零向量 $\bar{x}$，写 $\bar{x} = \sum_{k=i}^n a_k x_k$，则

$$\mathcal{R}(\bar{x}) = \frac{\sum_{k=i}^n |a_k|^2 \lambda_k}{\sum_{k=i}^n |a_k|^2} \leq \lambda_i$$

因此 $\min_{x \in V_i} \mathcal{R}(x) \leq \mathcal{R}(\bar{x}) \leq \lambda_i$，取 max 后仍有 $\max_{V_i} \min_{x \in V_i} \mathcal{R}(x) \leq \lambda_i$。

第二步：证明 $\geq \lambda_i$（下界可达）。

取 $V^* = \mathrm{span}\{x_1, \ldots, x_i\}$，对任意 $x = \sum_{k=1}^i b_k x_k \in V^*$，

$$\mathcal{R}(x) = \frac{\sum_{k=1}^i |b_k|^2 \lambda_k}{\sum_{k=1}^i |b_k|^2} \geq \lambda_i$$

故 $\min_{x \in V^*} \mathcal{R}(x) = \lambda_i$（取 $x = x_i$ 时达到），从而

$$\max_{V_i} \min_{x \in V_i} \mathcal{R}(x) \geq \lambda_i$$

综合两步得等号。$\blacksquare$

1. 特征值交错定理（Interlacing）：若 $B$ 是 $A$ 的 $(n-1)$ 阶主子阵，则 $\lambda_{i+1}(A) \leq \lambda_i(B) \leq \lambda_i(A)$，由 C-F 定理直接推导。

2. Weyl 不等式：若 $C = A + E$（$E$ 为埃尔米特扰动），则 $|\lambda_i(C) - \lambda_i(A)| \leq \|E\|_2$。

3. PCA 最优子空间：前 $k$ 个特征向量张成的子空间是保留方差最大的 $k$ 维子空间，正是 C-F 最大化问题的解。

$n=1$ 时平凡成立。

假设对 $n-1$ 阶矩阵成立，证 $n$ 阶情形。

设 $\lambda_1$ 是 $A$ 的任一特征值，$v_1$ 为对应单位特征向量。将 $v_1$ 扩充为 $\mathbb{C}^n$ 的标准正交基 $\{v_1, v_2, \ldots, v_n\}$，令 $U_1 = [v_1\ v_2\ \cdots\ v_n]$（酉矩阵），则

$$U_1^H A U_1 = \begin{bmatrix} \lambda_1 & b^H \\ 0 & A_1 \end{bmatrix}$$

其中 $A_1$ 是 $(n-1)$ 阶矩阵。由归纳假设，$\exists$ 酉矩阵 $\hat{U}$ 使 $\hat{U}^H A_1 \hat{U} = T_1$（上三角）。令

$$U_2 = \begin{bmatrix} 1 & 0 \\ 0 & \hat{U} \end{bmatrix}, \quad U = U_1 U_2$$

则 $U$ 为酉矩阵，且

$$U^H A U = U_2^H (U_1^H A U_1) U_2 = \begin{bmatrix} \lambda_1 & b^H \hat{U} \\ 0 & T_1 \end{bmatrix}$$

这是上三角阵。$\blacksquare$

设 $AA^H = A^H A$。由 Schur 定理，$\exists$ 酉矩阵 $U$ 使 $U^H A U = T$（上三角）。

计算 $TT^H$ 与 $T^H T$：

$$TT^H = U^H A U(U^H A U)^H = U^H A(UU^H)A^H U = U^H AA^H U$$ $$T^H T = (U^H A U)^H(U^H A U) = U^H A^H(UU^H)A U = U^H A^H A U$$

由 $AA^H = A^H A$ 得 $TT^H = T^H T$。

现在逐行证 $T$ 的非对角元为零。比较 $(1,1)$ 元：

$$(TT^H)_{11} = |t_{11}|^2 + |t_{12}|^2 + \cdots + |t_{1n}|^2$$ $$(T^H T)_{11} = |t_{11}|^2$$

（$T$ 是上三角，$T^H$ 是下三角，$(T^H T)_{11}$ 只有 $|t_{11}|^2$ 一项）

由 $(TT^H)_{11} = (T^H T)_{11}$ 得 $t_{12} = \cdots = t_{1n} = 0$。

对第 $k$ 行类推（归纳），可得所有非对角元 $t_{ij} = 0\ (i \neq j)$，即 $T$ 是对角阵。$\blacksquare$

设 $U^H A U = \Lambda = \mathrm{diag}(\lambda_1,\ldots,\lambda_n)$，则 $A = U\Lambda U^H$。

$$AA^H = U\Lambda U^H (U\Lambda U^H)^H = U\Lambda(U^H U)\bar{\Lambda} U^H = U\Lambda\bar{\Lambda} U^H$$ $$A^H A = (U\Lambda U^H)^H U\Lambda U^H = U\bar{\Lambda}(U^H U)\Lambda U^H = U\bar{\Lambda}\Lambda U^H$$

因为 $\Lambda\bar{\Lambda} = \bar{\Lambda}\Lambda$（对角矩阵乘法交换），故 $AA^H = A^H A$。$\blacksquare$

$(\Rightarrow)$ 由定理 3.5.1，正规矩阵酉相似于对角阵：$U^H A U = \Lambda$，$U = [u_1\ \cdots\ u_n]$ 为酉矩阵。则 $Au_i = \lambda_i u_i$，且 $\{u_i\}$ 是标准正交基，即 $n$ 个两两正交的单位特征向量。

$(\Leftarrow)$ 设 $Au_i = \lambda_i u_i$，$u_i^H u_j = \delta_{ij}$，令 $U = [u_1\ \cdots\ u_n]$（酉矩阵），则 $U^H A U = \Lambda$（对角），故 $A = U\Lambda U^H$ 为正规矩阵（必要性已证）。$\blacksquare$

由 Schur 定理，$U^H A U = T$（上三角），$T$ 的对角元为特征值 $\lambda_i$。

酉变换保 Frobenius 范数：$\|A\|_F^2 = \|T\|_F^2 = \sum_{i=1}^n |\lambda_i|^2 + \sum_{i < j} |t_{ij}|^2$。

因 $\sum_{i

等号成立 $\Leftrightarrow$ $t_{ij} = 0\ (i \neq j)$ $\Leftrightarrow$ $T$ 为对角阵 $\Leftrightarrow$ $A$ 为正规矩阵。$\blacksquare$

验证正规性：

$$AA^T = \begin{bmatrix}1&1\\0&0\end{bmatrix}\begin{bmatrix}1&0\\1&0\end{bmatrix} = \begin{bmatrix}2&0\\0&0\end{bmatrix}$$ $$A^T A = \begin{bmatrix}1&0\\1&0\end{bmatrix}\begin{bmatrix}1&1\\0&0\end{bmatrix} = \begin{bmatrix}1&1\\1&1\end{bmatrix}$$

$AA^T \neq A^T A$，故 $A$ 不是正规矩阵，不能酉对角化。

相似对角化：特征多项式 $\det(\lambda I - A) = \lambda(\lambda-1) = 0$，特征值 $\lambda_1 = 0,\ \lambda_2 = 1$。

$\lambda_1 = 0$：$(A - 0)x = 0 \Rightarrow x_1 = (-1, 1)^T$；$\lambda_2 = 1$：$(A-I)x = 0 \Rightarrow x_2 = (1, 0)^T$。

两特征向量线性无关（但不正交），令 $C = \begin{bmatrix}-1&1\\1&0\end{bmatrix}$，则

$$C^{-1}AC = \begin{bmatrix}0&0\\0&1\end{bmatrix}$$

可相似对角化，但 $C$ 不是酉矩阵。$\blacksquare$

埃尔米特矩阵 $\subset$ 正规矩阵。埃尔米特矩阵满足 $A = A^H$，可直接验证 $AA^H = A^2 = A^H A$。

正规矩阵更广泛：酉矩阵、反埃尔米特矩阵也是正规矩阵，但特征值可以是复数。埃尔米特矩阵特征值必为实数，这是关键区别。

存在性：设 $e_1, \ldots, e_m$ 是 $V_1$ 的标准正交基（Gram-Schmidt 得到），将其扩充为 $V^n$ 的标准正交基 $\{e_1, \ldots, e_m, e_{m+1}, \ldots, e_n\}$。令 $V_2 = \mathrm{span}(e_{m+1}, \ldots, e_n)$。

则 $\forall x_1 \in V_1,\ x_2 \in V_2$：$(x_1, x_2) = 0$（标准正交基的正交性），故 $V_1 \perp V_2$。且 $V_1 + V_2 = V^n$（基向量合并覆盖全空间）。

唯一性：设另有 $V_3$ 也满足 $V_1 + V_3 = V^n$，$V_1 \perp V_3$。对任意 $\beta \in V_3,\ \beta \neq 0$：由 $\beta \perp V_1$ 及 $\beta \in V^n = V_1 + V_2$ 知 $\beta \in V_2$，故 $V_3 \subset V_2$。对称地 $V_2 \subset V_3$，故 $V_2 = V_3$。$\blacksquare$

对矩阵 $A \in \mathbb{R}^{m \times n}$，有四个基本子空间：行空间 $\mathrm{Row}(A)$、列空间 $\mathrm{Col}(A)$、零空间 $\mathrm{Null}(A)$、左零空间 $\mathrm{Null}(A^T)$。正交补关系为：

$$\mathrm{Null}(A) = \mathrm{Row}(A)^\perp, \qquad \mathrm{Null}(A^T) = \mathrm{Col}(A)^\perp$$

这是线性代数基本定理（Fundamental Theorem of Linear Algebra）的核心内容。

由推导，在标准正交基下 $A = \begin{pmatrix} I_r & 0 \\ 0 & 0 \end{pmatrix}$。

$A^2 = \begin{pmatrix} I_r & 0 \\ 0 & 0 \end{pmatrix}^2 = \begin{pmatrix} I_r & 0 \\ 0 & 0 \end{pmatrix} = A$（幂等）。

$A^T = \begin{pmatrix} I_r & 0 \\ 0 & 0 \end{pmatrix}^T = \begin{pmatrix} I_r & 0 \\ 0 & 0 \end{pmatrix} = A$（对称）。$\blacksquare$

设 $A^2 = A$（幂等），令 $V_1 = \mathrm{Col}(A)$（像空间），$V_2 = \mathrm{Null}(A)$（零空间）。

直和分解：任意 $x \in \mathbb{R}^n$，令 $x_1 = Ax \in V_1$，$x_2 = x - Ax \in V_2$（因 $A(x-Ax) = Ax - A^2x = 0$），故 $x = x_1 + x_2$，且 $\mathbb{R}^n = V_1 + V_2$。直和性：若 $y \in V_1 \cap V_2$，则 $y = Az$（某 $z$）且 $Ay = 0$，故 $y = Az = A^2z = Ay = 0$。

正交性：对 $x_1 \in V_1 = \mathrm{Col}(A)$ 和 $x_2 \in V_2 = \mathrm{Null}(A)$：

$$x_1^T x_2 = (Av)^T x_2 = v^T A^T x_2 = v^T A x_2 = v^T \cdot 0 = 0$$

（用了 $A^T = A$）。故 $V_1 \perp V_2$，$A$ 是到 $V_1 = \mathrm{Col}(A)$ 的正交投影。$\blacksquare$

$A^2 = A = A^T \Rightarrow A^T A = A \cdot A = A^2 = A$（即条件 2）。

反之，$A = A^T A \Rightarrow A^T = (A^T A)^T = A^T A = A$（对称）；再 $A^2 = A^T A = A$。$\blacksquare$

设 $V_1$ 的基矩阵为 $Q$（列向量为 $V_1$ 的一组基，但未必正交），则投影到 $V_1$ 上的正交投影矩阵为

$$P = Q(Q^T Q)^{-1} Q^T$$

若 $Q$ 的列向量已经是标准正交基（$Q^T Q = I$），则 $P = QQ^T$。验证：$P^2 = QQ^T QQ^T = Q(Q^TQ)Q^T = QQ^T = P$，$P^T = (QQ^T)^T = QQ^T = P$。