一般化的垂直：正交

本文簡介內積空間中的正交（or­thog­o­nal­i­ty）與其相關概念。

$ \gdef\span{\operatorname{span}} $ 以下我們設 $V$ 為體 $F$ 上的內積空間，其中 $F \in \{\RR, \CC\mkern2mu\} \period$我們將 $u$ 與 $v$ 的內積記作 $\langle u, v \rangle \comma$零向量記作 $0_V \period$假設內積對前項線性，對後項共軛線性。

1　正交

若兩向量 $u, v \in V$ 滿足 $\langle u, v \rangle = 0 \comma$則我們稱 $u$ 與 $v$ 為正交（or­thog­o­nal）。

1.1　正交與單位正交集合

若集合 $S \subseteq V$ 且對任意相異 $u, v \in S$ 均有 $\langle u, v \rangle = 0 \comma$則稱 $S$ 正交（or­thog­o­nal）。

若集合 $S \subseteq V$ 正交且對任意 $v \in S$ 均有 $\lVert v \rVert = 1$，則稱 $S$ 單位正交（or­thonor­mal）。

1.2　正交與單位正交基底

我們將 $V$ 中正交的基底稱為 $V$ 的正交基底；將 $V$ 中單位正交的基底稱為 $V$ 的單位正交基底。

定理 1 說明任一基底皆對應至一單位正交基底，故內積空間中必定存在單位正交基底。

定理 1　設 $n = \dim V$ 為有限，並設 $Q = \{u_0 \cm u_1 \cm \ldots \cm u_{n-1}\}$ 為 $V$ 的基底。

證明　首先證明 (a)。對每個 $m \in \{1, 2, \ldots, n\}$，設 \[\begin{split} Q_m &= \{u_0, u_1, \ldots, u_{m-1}\} \comma \\ R_m &= \{v_0, v_1, \ldots, v_{m-1}\} \period \end{split}\] 我們以數學歸納法說明對每個 $m \in \{1, 2, \ldots, n\}$，$R_m$ 是一個線性獨立的正交集合，且 $\span(R_m) = \span(Q_m) \period$

我們有 $R_1 = Q_1$，故 $R_1$ 為線性獨立的正交集合，且 $\span(R_1) = \span(Q_1)$ 亦成立。接著假設 $R_k$ 為線性獨立的正交集合，且有 $\span(R_k) = \span(Q_k)$，其中 $k \in \{1, 2, \ldots, n-1\}$；我們說明 $R_{k+1}$ 也是線性獨立的正交集合，且 $\span(R_{k+1}) = \span(Q_{k+1}) \period$

對每個 $i \in \{0, 1, \ldots, k-2\}$，皆有 \[\begin{split} \langle v_k, v_i \rangle &= \langle u_k, v_i \rangle - \sum_{j=0}^{k-1} \frac{\langle u_k, v_j \rangle}{\lVert v_j \rVert^2} \langle v_j, v_i \rangle \\ &= \langle u_k, v_i \rangle - \frac{\langle u_k, v_i \rangle}{\lVert v_i \rVert^2} \langle v_i, v_i \rangle \\ \rod{3}{0}&= 0 \comma \end{split}\] 故 $R_{k+1}$ 是正交集合。若 $v_k = 0_V$，則 \[\begin{split} u_k = \sum_{j=0}^{k-1} \frac{\langle u_k, v_j \rangle}{\lVert v_j \rVert^2} v_j \in \span(R_k) = \span(Q_k) \comma \end{split}\] 會導致 $Q$ 線性相依，矛盾。故 $v_k \neq 0_V$。由於 $R_{k+1}$ 是不含 $0_V$ 的正交集合，故 $R_{k+1}$ 線性獨立，且我們有 $\span(R_{k+1}) = \span(Q_{k+1}) \period$至此 (a) 得證。

接著證明 (b)。對任意相異 $i, j \in \{0, 1, \ldots, n-1\}$，有 \[\begin{split} \langle w_i, w_j \rangle = \frac{\langle v_i, v_j \rangle}{\lVert v_i \rVert\,\lVert v_j \rVert} = 0 \comma \end{split}\] 故 $S$ 為正交集合；且對每個 $i \in \{0, 1, \ldots, n-1\}$， \[\begin{split} \rod{3.5}{0}\lVert w_i \rVert^2 = \frac{\langle v_i, v_i \rangle}{\lVert v_i \rVert^2} = 1 \comma \end{split}\] 故 $S$ 為單位正交集合。由 $\span(S) = \span(R) = V$ 與 $\lvert S \mkern-1mu \rvert = n$ 可知 $S$ 是 $V$ 的基底，故 (b) 得$\textrm{證。}\mkern6mu\blacksquare$

定理 2　設 $n = \dim V$ 有限，並設 $S = \{v_0 \cm v_1 \cm \ldots \cm v_{n-1}\}$ 為 $V$ 的單位正交基底。則對任意 $x \in V$ 皆有 \[\begin{split} x = \sum_{j=0}^{n-1} \langle x, v_j \rangle v_j \period \end{split}\]

證明　由於 $x \in V = \span S$，我們能找到 $a_0 \cm a_1 \cm \ldots \cm a_{n-1} \in F$ 滿足 \[\begin{split} x = \sum_{i=0}^{n-1} a_iv_i \period \end{split}\] 此時對任意 $j \in \{0, 1, \ldots, n-1\}$ 皆有 \[\begin{split} \langle x, v_j \rangle &= \Biggl\langle \sum_{i=0}^{n-1} a_iv_i \mkern2mu, v_j \mkern-2mu\Biggr\rangle \\ &= \sum_{i=0}^{n-1} a_i \langle v_i, v_j \rangle \\ \rod{2.5}{0}&= a_j \comma \end{split}\] 故 \[\begin{split} x = \sum_{j=0}^{n-1} a_jv_j = \sum_{j=0}^{n-1} \langle x, v_j \rangle v_j \comma \end{split}\] 定理得$\textrm{證。}\mkern6mu\blacksquare$

2　正交分解

2.1　正交補空間

對於任意 $S \subseteq V$，我們將 \[\begin{split} S^\perp = \Bigl\{x \in V: \textrm{對所有}\ y \in S\ \textrm{皆有}\ \langle x, y \rangle = 0\Bigr\} \end{split}\] 稱為 $S$ 的正交補空間（or­thog­o­nal com­ple­ment）。

定理 3　對任意 $S \subseteq V$，$S^\perp$ 均為 $V$ 的子空間。

證明　由於對任意 $z \in S$ 皆有 $\langle 0_V, z \rangle = 0$，故 $0_V \in S^\perp$。若 $x, y \in S^\perp$ 且 $a$ 為一純量，則對任意 $z \in S$ 皆有 \[\begin{split} \langle ax + y, z \rangle = a\langle x, z \rangle + \langle y, z \rangle = 0 \comma \end{split}\] 因此我們有 $ax + y \in S^\perp$。至此定理得$\textrm{證。}\mkern6mu\blacksquare$

2.2　正交分解

定理 4　對任意 $V$ 的子空間 $W$，有 $W \cap W^\perp = \{0_V\} \period$

證明　我們有 $0_V \in W \cap W^\perp \period$若 $w \in W \cap W^\perp \comma$則 $\langle w, w \rangle = 0 \comma$故 $w = 0_V \period \; \blacksquare$

定理 5　設 $W$ 是 $V$ 中有限維的子空間，則對任意 $x \in V$，存在唯一一組 $(y, z) \in W \times W^\perp$ 使得 $x = y + z \period$

證明　設 $k =\dim V \comma$並設 $S = \{w_0, w_1, \ldots, w_k\}$ 為 $W$ 的單位正交基底。對於 $x \in V$，我們設 \[\begin{split} y = \sum_{i=0}^{k-1} \langle x, w_i \rangle w_i \qquad \text{與} \qquad z = x - y \period \end{split}\] 此時我們有 $x = y + z$，且 $y \in \span(S) = W$。

接著我們證明 $z \in W^\perp$。對任意 $j \in \{0, 1, \ldots, n-1\}$，我們有 \[\begin{split} \langle z, w_j \rangle &= \Biggl\langle x - \sum_{i=0}^{k-1} \langle x, w_i \rangle w_i\mkern2mu, w_j\Biggr\rangle \\ &= \langle x, w_j \rangle - \sum_{i=0}^{k-1} \langle x, w_i \rangle \langle w_i, w_j \rangle \\ &= \langle x, w_j \rangle - \langle x, w_j \rangle \\ \rod{3}{0}&= 0 \period \end{split}\] 因而對任意 $v \in W$，我們有 \[\begin{split} \langle z, v \rangle &= \Biggl\langle z, \sum_{j=0}^{k-1} \langle v, w_j \rangle w_j\Biggr\rangle \\ &= \sum_{j=0}^{k-1} \overline{\langle v, w_j \rangle} \, \langle z, w_j \rangle \\ \rod{3}{0}&= 0 \period \end{split}\] 故 $z \in W^\perp$。

最後我們證明 $(y, z) \in W \times W^\perp$ 的唯一性。設 $(y^{\mkern1mu\prime}, z^{\mkern1mu\prime}) \in W \times W^\perp$ 滿足 $y^{\mkern1mu\prime} + z^{\mkern1mu\prime} = y + z$。設 $u = y - y^{\mkern1mu\prime}$，由於 \[\begin{split} u = y - (y + z - z^{\mkern1mu\prime}) = z^{\mkern1mu\prime} - z \comma \end{split}\] 故 $u \in W \cap W^\perp = \{0_V\}$，亦即 $(y, z) = (y^{\mkern1mu\prime}, z^{\mkern1mu\prime})$。至此定理得$\textrm{證。}\mkern6mu\blacksquare$

定理 6　對任意 $V$ 的子空間 $W \comma$下列敘述皆成立。

1. $W \subseteq (W^\perp)^\perp \period$
2. 若 $W$ 的維度有限，則 $W = (W^\perp)^\perp \period$

證明　首先證明 (a)。設 $x \in W \comma$我們說明 $x \in (W^\perp)^\perp$ 成立：對任意 $y \in W^\perp \comma$我們均有 $\langle y, x \rangle = \overline{\langle x, y \rangle} = 0 \comma$故 $x \in (W^\perp)^\perp \period$

接著證明 (b)。設 $x \in (W^\perp)^\perp \comma$我們說明 $x \in W$ 成立。由定理 5，存在唯一一組 $(y, z) \in W \times W^\perp$ 使得 $x = y + z \period$由 (a) 可知 $y \in W \subseteq (W^\perp)^\perp \comma$故 \[\begin{split}z = x - y \in (W^\perp)^\perp \period\end{split}\] 由定理 4 知 $z \in W^\perp \cap (W^\perp)^\perp = \{0_V\} \comma$即 $z = 0_V \period$因此 \[\begin{split}x = y + z = y \in W \comma\end{split}\] (b) 得$\textrm{證。}\mkern6mu\blacksquare$

範例 1　我們給一個定理 6 (b) 在 $W$ 的維度無限時不成立的例子。

設 $V$ 為每一項均在 $F$ 中，且僅有有限項不為 0 的數列 $(a_n)_{n \geq 0}$ 所構成的集合。我們定義 \[\begin{split} (a_n)_{n \geq 0} + (b_n)_{n \geq 0} &= (a_n \varplus b_n)_{n \geq 0} \comma \\[1ex] c(a_n)_{n \geq 0} &= (ca_n)_{n \geq 0} \comma \\[1ex] \bigl\langle (a_n)_{n \geq 0}, (b_n)_{n \geq 0} \bigr\rangle &= \sum_{n \geq 0} a_n\overline{b_n} \period \end{split}\] 可知 $V$ 在上述加法、純量乘法與內積的定義下構成一內積空間。

對任意非負整數 $m \comma$定義 $e_m = (\delta_{m,n})_{n \geq 0} \comma$其中 \[\begin{split} \delta_{m, n} = \begin{cases} 1 & \when m = n \\ 0 & \when m \neq n \end{cases} \period \end{split}\] 則 $S = \{e_0, e_1, \ldots\}$ 為一單位正交基底。設 \[\begin{split}W = \span (\{e_0 \varplus e_1, e_0 \varplus e_2, e_0 \varplus e_3, \ldots\}) \comma\end{split}\] 我們說明下列敘述成立：

1. $W \subsetneq V \period$
2. $W^\perp = \{0_V\}$ 且 $(W^\perp)^\perp = V \period$

首先我們假設 $e_0 \in W$ 成立。此時存在非負整數 $k$ 與 $a_1 \cm a_2 \cm \ldots \cm a_k \in F$ 滿足 \[\begin{split}e_0 = \sum_{i=1}^k a_i(e_0 + e_i) \period\end{split}\] 對任意 $j \in \{1 \cm 2 \cm \ldots \cm k\} \comma$我們有 \[\begin{split}a_j = \sum_{i=1}^k a_i(0 + \delta_{i,j}) = 0 \period\end{split}\] 此時 \[\begin{split}e_0 = \sum_{i=1}^k 0(e_0 + e_i) = 0_V\end{split}\] 具有矛盾。因而 $e_0 \notin W \comma$(a) 成立。

接著我們說明 (b)。對任意 $x \in W^\perp \comma$我們都可以找到非負整數 $k$ 與 $a_0 \cm a_1 \cm \ldots \cm a_{k-1} \in F$ 使得 \[\begin{split}x = \sum_{i=0}^{k-1} a_ie_i \period\end{split}\] 由 \[\begin{split}\langle x, e_k \rangle = \sum_{i=0}^{k-1} a_i\langle e_i, e_k \rangle = 0\end{split}\] 與 $\langle x, e_0 + e_k \rangle = 0 \comma$我們有 \[\begin{split} a_0 &= \langle x, e_0 \rangle \\ &= \langle x, e_0 + e_k \rangle - \langle x, e_k \rangle \\ &= 0 \semicolon \end{split}\] 且對每個 $j \in \{1 \cm 2 \cm \ldots \cm k \varminus 1\} \comma$由 $\langle x, e_0 + e_j \rangle = 0$ 可得 \[\begin{split} a_j &= \langle x, e_j \rangle \\ &= \langle x, e_0 + e_j \rangle - \langle x, e_0 \rangle \\ &= 0 \comma \end{split}\] 故 $x = 0_V \period$因此 $W^\perp = \{0_V\} \comma$且此時我們有 $(W^\perp)^\perp = \{0_V\}^\perp = V \comma$故 (b) 成立。

參考資料

1. Stephen H. Friedberg, Arnold J. Insel, and Lawrence E. Spence. Linear algebra. Pearson Education, fourth edition, 2014.