極值定理
歐氏空間中，若一連續的實數值函數定義在有界閉集合上，則該函數會具有最大、最小值；描述這個性質的定理稱為極值定理（extreme value theorem）。
本文簡介極值定理的證明。
準備工作
以下介紹證明中會使用到的定義。
單調性
設 $(a_n)_{n \geq 0}$ 為一實數數列。
若對所有非負整數 $n$ 均有 $a_n \leq a_{n+1} \comma$則稱 $(a_n)_{n \geq 0}$ 遞增；若對所有非負整數 $n$ 均有 $a_n \geq a_{n+1} \comma$則稱 $(a_n)_{n \geq 0}$ 遞減。
當 $(a_n)_{n \geq 0}$ 為遞增或遞減時，我們稱 $(a_n)_{n \geq 0}$ 為單調。
有界性
設 $d$ 為一正整數。
對任意 $x = (x_0 \cm x_1, \ldots, x_{d-1}) \in \RR^{\.d} \comma$定義 \[\begin{split}\lVert x \rVert = \sqrt{\sum_{i=0}^{d-1} x_i^2} \period\end{split}\]
對任意 $\RR^{\.d}$ 中的序列 $(a_n)_{n \geq 0} \comma$若存在正實數 $M$ 使 $\lVert a_n \rVert < M$ 對所有非負整數 $n$ 均成立，則稱 $(a_n)_{n \geq 0}$ 有界。
子序列
設 $d$ 為一正整數。對任意 $\RR^{\.d}$ 中的序列 $(a_n)_{n \geq 0} \comma$若 $\phi \colon \{0 \cm 1, \ldots\} \to \{0 \cm 1, \ldots\}$ 為一函數，其中對所有非負整數 $n$ 均有 $\phi(n) < \phi(n+1) \comma$則我們稱序列 $(a_{\phi(n)})_{n \geq 0}$ 為 $(a_n)_{n \geq 0}$ 的一個子序列。
閉集合
設 $d$ 為一正整數，並設 $S \subseteq \RR^{\.d}$ 為一集合。
對任意 $x \in \RR^{\.d} \comma$若下列敘述對所有正實數 $\epsilon$ 均成立，則我們稱 $x$ 為 $S$ 的一個邊界點：
- 存在 $y \in S$ 使得 $\lVert x - y \rVert < \epsilon \period$
- 存在 $z \in \RR^{\.d} \setminus S$ 使得 $\lVert x - z \rVert < \epsilon \period$
若 $S$ 的所有邊界點均在 $S$ 中，則 $S$ 為一閉集合。
範例 1 設 $d$ 為正整數。在 $\RR^{\.d}$ 中，\[\begin{split}S = \{x \in \RR^{\.d}: \lVert x \rVert \leq 1 \}\end{split}\] 是一個閉集合。這是因為 \[\begin{split}T = \{x \in \RR^{\.d}: \lVert x \rVert = 1 \}\end{split}\] 恰好包含 $S$ 的所有邊界點，且 $T \subseteq S \period$
定理
極值定理（extreme value theorem）說明歐氏空間中，定義於有界閉集合上的實數值連續函數會具有最大、最小值。
在以下極值定理的證明中，我們會利用到波爾札諾―魏爾施特拉斯定理（Bolzano–Weierstrass theorem）；其說明歐氏空間中任一個有界的序列都會具有收斂子序列。
波爾札諾―魏爾施特拉斯定理
首先我們先證明實數集的波爾札諾―魏爾施特拉斯定理。
定理 1 每個實數數列 $(a_n)_{n \geq 0}$ 均存在一單調子數列 $(a_{\phi(n)})_{n \geq 0} \period$
證明 設 $S$ 為非負整數集 $\{0 \cm 1, \ldots\}$ 的子集，其中 $n \in S$ 的充要條件為對所有整數 $m > n$ 均有 $a_m < a_n \period$
狀況 1：$S$ 為有限集合。設 \[\begin{split}\phi(0) = \begin{cases}0 & \when S = \varnothing \\ \max S + 1 & \when S \neq \varnothing\end{cases} \period\end{split}\]對每個非負整數 $n \comma$由於 $\phi(n) \notin S \comma$我們均能找到一個大於 $\phi(n)$ 的整數 $\phi(n + 1)$ 使得 $a_{\phi(n+1)} \geq a_{\phi(n)} \period$此時 $(a_{\phi(n)})_{n \geq 0}$ 即為一遞增數列。
狀況 2：$S$ 為無限集合。設 $S$ 的元素由小到大依序為 \[\begin{split}\phi(0) \cm \phi(1) \cm \phi(2), \ldots \comma\end{split}\]則 $(a_{\phi(n)})_{n \geq 0}$ 即為一遞減數列。
定理 2（實數集的波爾札諾―魏爾施特拉斯定理） 任一有界實數數列 $(a_n)_{n \geq 0}$ 均存在一收斂子數列 $(a_{\phi(n)})_{n \geq 0} \period$
證明 由定理 1 可知 $(a_n)_{n \geq 0}$ 具有一個單調子數列 $(a_{\phi(n)})_{n \geq 0} \period$此時 $(a_{\phi(n)})_{n \geq 0}$ 亦有界；由於單調有界的實數數列均收斂，故定理得證。
接著我們推廣到一般的歐氏空間。
定理 3（歐氏空間的波爾札諾―魏爾施特拉斯定理） 設 $d$ 為正整數，則任一個 $\RR^{\.d}$ 中的有界序列 $(a_n)_{n \geq 0}$ 均存在一收斂子序列 $(a_{\phi(n)})_{n \geq 0} \period$
證明 我們對 $d$ 使用數學歸納法。由定理 2（實數集的波爾札諾―魏爾施特拉斯定理）可知定理在 $d = 1$ 時成立；以下我們考慮 $d \geq 2$ 的狀況，並假設 $\RR^{\.d-1}$ 中的任一有界序列均有收斂子序列。
對每個非負整數 $n \comma$我們記 \[\begin{split}a_n = \begin{pmatrix} a_{n,0} \\ a_{n,1} \\ \vdots \\ a_{n,d-1} \\ a_{n,d}\end{pmatrix} \comma \quad b_n = \begin{pmatrix} a_{n,0} \\ a_{n,1} \\ \vdots \\ a_{n,d-1}\end{pmatrix} \comma\end{split}\]並設 $c_n = a_{n,d} \period$
由於對所有非負整數 $n$ 均有 \[\begin{split}\rod{2.5}{0}\lVert a_n \rVert^2 = \lVert b_n \rVert^2 + c_n^{\.2} \comma\end{split}\]可知序列 $(b_n)_{n \geq 0}$ 與 $(c_n)_{n \geq 0}$ 均為有界。
由歸納假設，可知 $\RR^{\.d-1}$ 中的序列 $(b_n)_{n \geq 0}$ 具有一個收斂子序列 $(b_{\sigma(n)})_{n \geq 0} \period$
由於 $(c_n)_{n \geq 0}$ 有界，故 $(c_{\sigma(n)})_{n \geq 0}$ 有界。由定理 2（實數集的波爾札諾―魏爾施特拉斯定理）可知 $(c_{\sigma(n)})_{n \geq 0}$ 也具有一個收斂子數列 $(c_{\sigma(\rho(n))})_{n \geq 0} \period$
由於 $(b_{\sigma(n)})_{n \geq 0}$ 收斂，其子序列 $(b_{\sigma(\rho(n))})_{n \geq 0}$ 亦收斂。由 \[\begin{split}(b_{\sigma(\rho(n))})_{n \geq 0} \quad \text{與} \quad (c_{\sigma(\rho(n))})_{n \geq 0}\end{split}\] 均收斂可知 $(a_{\sigma(\rho(n))})_{n \geq 0}$ 收斂，因而定理得證。
極值定理
接著我們利用波爾札諾―魏爾施特拉斯定理來證明極值定理。
定理 4（有界性定理） 設 $d$ 為正整數，$S \subseteq \RR^{\.d}$ 為一有界閉集合。若一函數 $f \colon S \to \RR$ 連續，則 $f$ 有界。
證明 我們依序證明 (a) $f$ 有上界；(b) $f$ 有下界。
首先我們以反證法證明 (a)。假設 $f$ 不具上界。設 $(a_n)_{n \geq 0}$ 為 $S$ 中的序列，其中 $f(a_n) \geq n \period$則由定理 3（歐氏空間的波爾札諾―魏爾施特拉斯定理），可知 $(a_n)_{n \geq 0}$ 有一收斂子數列 $(a_{\phi(n)})_{n \geq 0} \semicolon$設 $(a_{\phi(n)})_{n \geq 0}$ 收斂至 $c \in S \period$由於 $f$ 連續，故 $(\.f(a_{\phi(n)}))_{n \geq 0}$ 收斂至 $f(c) \period$然而此時對任意非負整數 $n \comma$均有 \[\begin{split}f(a_{\phi(n)}) \geq \phi(n) \geq n \comma\end{split}\]即 $(\.f(a_{\phi(n)}))_{n \geq 0}$ 不具上界，因而導致矛盾。由此可知 (a) 成立。
接著證明 (b)：由 (a) 可知 $-f$ 具有一上界 $M \comma$此時 $-M$ 即為 $f$ 的下界。
定理 5（極值定理） 設 $d$ 為一正整數，$S \subseteq \RR^{\.d}$ 為一有界閉集合。若一函數 $f \colon S \to \RR$ 連續，則 $f$ 具有最大值與最小值。
證明 我們依序證明 (a) $f$ 有最大值；(b) $f$ 有最小值。
首先證明 (a)。由定理 4（有界性定理）可知 $f$ 具有最小上界 $M \semicolon$我們需要證明 $M$ 在 $f$ 的值域中。
考慮反證法，假設 $M$ 不在 $f$ 的值域中，即 $f(x) < M$ 對所有 $x \in S$ 都成立。設 $g \colon S \to \RR \comma$其中 \[\begin{split}\rod{4}{0}g(x) = \frac{1}{M - f(x)} \period\end{split}\]由於 $M$ 是 $f$ 的最小上界，對任意正實數 $m \comma$我們均能找到 $c \in S$ 使得 \[\begin{split}\rod{4}{0}M - \frac{1}{m} < f(c) < M \comma\end{split}\]此時由 $0 < M - f(c) < 1/m$ 可得 \[\begin{split}g(c) = \frac{1}{M - f(c)} > \frac{1}{1/m} = m \period\end{split}\]由此可知 $g$ 不具上界，與定理 4（有界性定理）矛盾。因此 $M$ 會在 $f$ 的值域中，即 $M$ 為 $f$ 的最大值，(a) 成立。
接著證明 (b)：由 (a) 可知 $-f$ 具有最大值 $M \comma$此時 $-M$ 即為 $f$ 的最小值。