函数导数十三：极值

定义1

设开集$D \subset \mathbb{R}^n$，函数$f: D \to \mathbb{R}$，点$\boldsymbol{x}_0 \in D$，如果存在一个去心球$B_r(\boldsymbol{\check x}_0) \subset D$，使得对任意的$\boldsymbol{x} \in B_r(\boldsymbol{\check x}_0)$，都有$f(\boldsymbol{x}) \ge f(\boldsymbol{x}_0)(f(\boldsymbol{x}) > f(\boldsymbol{x}_0))$，那么$\boldsymbol{x}_0$称为$f$的一个(严格)极小值点，$f(\boldsymbol{x}_0)$称为函数$f$的一个(严格)极小值。同样可以定义(严格)极大值点与(严格)极大值。极小值与极大值统称为极值。

定义2

设开集$D \subset \mathbb{R}^n$，函数$f: D \to \mathbb{R}$，点$\boldsymbol{x}_0 \in D$，如果$\displaystyle \frac{\partial f}{\partial x_i} (\boldsymbol{a})(i=1,2,\cdots,n)$都存在等于$0$，则称点$\boldsymbol{x}_0$为函数$f$的驻点。

定理1

设$n$元函数$f$在$\boldsymbol{a} = (a_1,\cdots,a_n)$处取得极值，且$\displaystyle \frac{\partial f}{\partial x_i}(\boldsymbol{a})(i=1,2,\cdots,n)$都存在，那么$\boldsymbol{a}$必定是$f$的驻点。

证：不妨设$f$在$\boldsymbol{a}$处取得极小值，那么存在球$B_{r}(\boldsymbol{a})$，使得对任意的$\boldsymbol{x} \in B_{\boldsymbol{r}}(\boldsymbol{a})$，有

$$f(\boldsymbol{x}) \ge f(\boldsymbol{a})$$

考虑单变量$t$的函数

$$\varphi(t) = f(a_1,\cdots,a_{t-1},t,a_{t+1},\cdots,a_n)$$

让$t$满足$|t - a_i| < r$，取$\boldsymbol{x} = (a_1,\cdots,a_{t-1},t,a_{t+1},\cdots,a_n)$，可知$\Vert \boldsymbol{x} - \boldsymbol{a}\Vert = |t - a_i| < r$，即$\boldsymbol{x} \in B_{\boldsymbol{r}}(\boldsymbol{a})$，所以有$f(\boldsymbol{x}) \ge f(\boldsymbol{a})$，即$\varphi(t) \ge \varphi(a_i)$，从而$\varphi$在$a_i$处取得极小值，所以有$\varphi^\prime(a_i) = 0$，即$\displaystyle \frac{\partial f}{\partial x_i} (\boldsymbol{a}) = 0$。

Q.E.D.

定理2

设$\boldsymbol{x}_0$是$n$元函数$f$的一个驻点，函数$f$在$\boldsymbol{x}_0$的某一邻域内有连续的二阶偏导数，
（1）如果Hesse方阵$Hf(\boldsymbol{x}_0)$是严格正(负)定方阵，那么$\boldsymbol{x}_0$是$f$的一个严格极小(大)值点。
（2）如果Hesse方阵$Hf(\boldsymbol{x}_0)$是不定方阵，那么$\boldsymbol{x}_0$不是$f$的极值点。

证：（1）设$Hf(\boldsymbol{x}_0)$是严格正定方阵，由于$f$在$\boldsymbol{x}_0$的某一邻域内有连续的二阶偏导数，从而由函数导数十二的定理5可知

$$f(\boldsymbol{x}_0 + \boldsymbol{h}) = f(\boldsymbol{x}_0) + Jf(\boldsymbol{x}_0)\boldsymbol{h} + \frac{1}{2}\boldsymbol{h}^T Hf(\boldsymbol{x}_0) \boldsymbol{h} + o(\Vert \boldsymbol{h} \Vert^2) \quad (\boldsymbol{h} \to \boldsymbol{0})$$

又因为$\boldsymbol{x}_0$是$f$的驻点，从而上式可写为

$$f(\boldsymbol{x}_0 + \boldsymbol{h}) - f(\boldsymbol{x}_0) = \frac{1}{2} \boldsymbol{h}^T Hf(\boldsymbol{x}_0) \boldsymbol{h} + o(\Vert \boldsymbol{h} \Vert^2) \tag {1}$$

设$\Vert \boldsymbol{y} \Vert = 1$，它的全体是单位球的球面$\partial B_1(\boldsymbol{0})$，因为$Hf(\boldsymbol{x}_0)$是严格正定的，所以

$$(y_1,\cdots,y_n) Hf(\boldsymbol{x}_0) \begin{bmatrix} y_1 \\ \vdots \\ y_m \end{bmatrix} = \sum_{i,j=1}^n \frac{\partial^2 f}{\partial x_i \partial x_j}(\boldsymbol{x}_0) y_iy_j > 0$$

这时单位球面上的连续函数，而单位球面是一个有界闭集，从而它在单位球面上某点取得最小值，设此最小值为$m>0$，从而有

$$\boldsymbol{y}^t Hf(\boldsymbol{x}_0) \boldsymbol{y} \ge m > 0$$

而

$$\frac{1}{2} \boldsymbol{h}^T Hf(\boldsymbol{x}_0) \boldsymbol{h} = \frac{1}{2} \Vert \boldsymbol{h} \Vert^2 \left( \frac{\boldsymbol{h}^T}{\Vert \boldsymbol{h}\Vert} Hf(\boldsymbol{x}_0) \frac{\boldsymbol{h}}{\Vert \boldsymbol{h} \Vert}\right) \ge \frac{m}{2} \Vert \boldsymbol{h} \Vert^2$$

将其代入(1)式中，得

$$f(\boldsymbol{x}_0 + \boldsymbol{h}) - f(\boldsymbol{x}_0) = \Vert \boldsymbol{h} \Vert^2 \left(\frac{m}{2} + o(1) \right) > 0$$

即当$\Vert \boldsymbol{h} \Vert$充分小时，有$f(\boldsymbol{x}_0 + \boldsymbol{h}) > f(\boldsymbol{x}_0)$。
（2）因为$Hf(\boldsymbol{x}_0)$是不定方阵，故存在$\boldsymbol{p},\boldsymbol{q} \in \mathbb{R}^n$，使得

$$\boldsymbol{p}^T Hf(\boldsymbol{x}_0) \boldsymbol{p} < 0 < \boldsymbol{q}^T Hf(\boldsymbol{x}_0) \boldsymbol{q}$$

在式(1)中分别取$\boldsymbol{h}$为$\varepsilon \boldsymbol{p}$和$\varepsilon \boldsymbol{q}$，得

$$\begin{aligned} f(\boldsymbol{x}_0 + \varepsilon \boldsymbol{p}) - f(\boldsymbol{x}_0) & = \frac{1}{2} (\boldsymbol{p}^T Hf(\boldsymbol{x}_0) \boldsymbol{p}) \varepsilon^2 + o(\varepsilon^2) \\ &= \left( \frac{1}{2} \boldsymbol{p}^T Hf(\boldsymbol{x}_0) \boldsymbol{p} + o(1) \right) \varepsilon^2 \\ f(\boldsymbol{x}_0 + \varepsilon \boldsymbol{q}) - f(\boldsymbol{x}_0) &= \left( \frac{1}{2} \boldsymbol{q}^T Hf(\boldsymbol{x}_0) \boldsymbol{q} + o(1) \right) \varepsilon^2 \end{aligned}$$

从而只要$\varepsilon$取得充分小，就有

$$f(\boldsymbol{x}_0 + \varepsilon \boldsymbol{p}) < f(\boldsymbol{x}_0) < f(\boldsymbol{x}_0 + \varepsilon \boldsymbol{q})$$

也就表明$\boldsymbol{x}_0$不是$f$的极值点。

Q.E.D.

定理3

设$(x_0,y_0)$是二元函数$f$的驻点，$f$在$(x_0,y_0)$的某个邻域内有连续的二阶偏导数，记

$$a = \frac{\partial^2 f}{\partial x^2}(x_0, y_0) \quad b=\frac{\partial^2 f}{\partial x \partial y}(x_0, y_0) \quad c=\frac{\partial^2 f}{\partial y^2}(x_0, y_0)$$

那么：
（1）当$ac-b^2 > 0$且$a > 0$时，$f$在$(x_0,y_0)$处有严格极小值；
（2）当$ac-b^2 > 0$且$a < 0$时，$f$在$(x_0,y_0)$处有严格极大值；
（3）当$ac-b^2 < 0$时，$f$在$(x_0,y_0)$处没有极值。

证：由定理2易证。

Q.E.D.

定义3：条件极值

设$D$是$\mathbb{R}^{n+m}$中的开集，

$$f(x_1,\cdots,x_n,y_1,\cdots,y_m) \tag{2}$$

是定义在$D$上的一个函数，先设变量$x_1,\cdots,x_n,y_1,\cdots,y_m$满足以下$m$个条件约束：

$$\left\{ \begin{aligned} & \Phi_1(x_1,\cdots,x_n,y_1,\cdots,y_m) = 0 \\ & \cdots \\ & \Phi_m(x_1, \cdots,x_n,y_1,\cdots,y_m) = 0 \end{aligned} \right. \tag{3}$$

那么函数(2)在条件(3)下的极值称为条件极值。

定理4

设开集$D \subset \mathbb{R}^{n+m}$，函数$f: D \to \mathbb{R}$，映射$\boldsymbol{\Phi}: D \to \mathbb{R}^m$，函数$f$映射$\boldsymbol{\Phi}$满足以下条件：
（a）$f,\boldsymbol{\Phi} \in C^1(D)$
（b）存在$\boldsymbol{z}_0 = (\boldsymbol{x}_0, \boldsymbol{y}_0) \in D$，满足$\boldsymbol{\Phi}(\boldsymbol{z}_0) = 0$，其中$\boldsymbol{x}_0 = (a_1,\cdots,a_n)$，$\boldsymbol{y}_n=(b_1,\cdots,b_m)$；
（c）$\det J_{\boldsymbol{y}}\boldsymbol{\Phi}(\boldsymbol{z}_0) \ne 0$
如果$f$在等式(3)的约束下，在$\boldsymbol{z}_0$处取得极值，那么存在$\boldsymbol{\lambda} \in \mathbb{R}^m$，使得

$$Jf(\boldsymbol{z}_0) + \boldsymbol{\lambda} J\boldsymbol{\Phi}(\boldsymbol{z}_0) = \boldsymbol{0}$$

证：由于$\boldsymbol{\Phi}$满足（a）,（b）,（c）三个条件，根据隐映射定理可知存在$\boldsymbol{z}_0=(\boldsymbol{x}_0, \boldsymbol{y}_0)$的邻域$U = G \times H$，其中$G$和$H$分别是$\boldsymbol{x_0}$和$\boldsymbol{y}_0$的邻域，使得方程

$$\boldsymbol{\Phi}(\boldsymbol{x}, \boldsymbol{y}) = \boldsymbol{0}$$

对任意的$\boldsymbol{x} \in G$，在$H$中有唯一的解$\boldsymbol{\varphi}(\boldsymbol{x})$，并且满足$\boldsymbol{y}_0 = \boldsymbol{\varphi}(\boldsymbol{x}_0)$且

$$J\boldsymbol{\varphi}(\boldsymbol{x}_0) = -(J_y\boldsymbol{\Phi}(\boldsymbol{z}_0))^{-1}J_x\boldsymbol{\Phi}(\boldsymbol{z}_0) \tag{4}$$

由于$\boldsymbol{z}_0$是函数$f$在条件式(2)下的极值点，从而$\boldsymbol{x}_0$便是函数$f(\boldsymbol{x}, \boldsymbol{\varphi}(\boldsymbol{x}))$在$G$中的一个极值点，所以$\boldsymbol{x}_0$必是$f(\boldsymbol{x}, \boldsymbol{\varphi}(\boldsymbol{x}))$的一个驻点，从而有

$$J_xf(\boldsymbol{z}_0) + J_yf(\boldsymbol{z}_0)J\boldsymbol{\varphi}(\boldsymbol{x}_0) = \boldsymbol{0}$$

将(4)式代入上式可得

$$J_xf(\boldsymbol{z}_0) - J_yf(\boldsymbol{z}_0)(J_y\boldsymbol{\Phi}(\boldsymbol{z}_0))^{-1}J_x\boldsymbol{\Phi}(\boldsymbol{z}_0) = \boldsymbol{0} \tag{5}$$

记

$$\boldsymbol{\lambda} = -J_yf(\boldsymbol{z}_0)(J_y\boldsymbol{\Phi}(\boldsymbol{z}_0))^{-1} \tag{6}$$

它是一个$m$维的向量，从而式(5)变成

$$J_xf(\boldsymbol{z}_0) + \boldsymbol{\lambda}J_x\boldsymbol{\Phi}(\boldsymbol{z}_0) = \boldsymbol{0} \tag{7}$$

将式(6)改写为

$$J_yf(\boldsymbol{z}_0) + \boldsymbol{\lambda}J_y\boldsymbol{\Phi}(\boldsymbol{z}_0) = \boldsymbol{0} \tag{8}$$

结合式(7)和式(8)可得

$$Jf(\boldsymbol{z}_0) + \boldsymbol{\lambda}J\boldsymbol{\Phi}(\boldsymbol{z}_0) = \boldsymbol{0}$$

Q.E.D.

定理5

设$\boldsymbol{z}_0$是辅助函数

$$F(\boldsymbol{z}) = f(\boldsymbol{z}) + \sum_{i=1}^m \lambda_i \Phi_i(\boldsymbol{z})$$

的一个驻点，其中$\boldsymbol{z} = (z_1,\cdots,z_{n+m}) = (x_1,\cdots,x_n,y_1,\cdots,y_m)$，记

$$HF(\boldsymbol{z}_0) = \left( \frac{\partial^2 f}{\partial z_j \partial z_k}(\boldsymbol{z}_0) \right)_{i\le j,k \le m+n}$$

（1）如果$HF(\boldsymbol{z}_0)$严格正定，那么$f$在$\boldsymbol{z}_0$处取得严格的极小值；
（2）如果$HF(\boldsymbol{z}_0)$严格负定，那么$f$在$\boldsymbol{z}_0$处取得严格的极大值。

证：记$E$是满足条件式(2)的点的全体，即

$$E = \left\{ \boldsymbol{z} \in \mathbb{R}^{m+n}: \boldsymbol{\Phi}(\boldsymbol{z}) = \boldsymbol{0} \right\}$$

已知$\boldsymbol{z}_0 \in E$，再在$\boldsymbol{z}_0$的附近取点$\boldsymbol{z}_0 + \boldsymbol{h} \in E$，由于

$$\boldsymbol{\Phi}(\boldsymbol{z}_0) = 0, \quad \boldsymbol{\Phi}(\boldsymbol{z}_0 + \boldsymbol{h}) = 0$$

所以

$$F(\boldsymbol{z}_0) = f(\boldsymbol{z}_0), \quad F(\boldsymbol{z}_0 + \boldsymbol{h}) = f(\boldsymbol{z}_0 + \boldsymbol{h})$$

于是对$F$利用Taylor公式得

$$\begin{aligned} f(\boldsymbol{z}_0 + \boldsymbol{h}) - f(\boldsymbol{z}_0) &= F(\boldsymbol{z}_0 + \boldsymbol{h}) - F(\boldsymbol{z}_0) \\ &= \sum_{i=j}^{m+n} \frac{\partial F}{\partial z_j}(\boldsymbol{z}_0)h_i + \frac{1}{2}\sum_{j,k=1}^{m+n} \frac{\partial^2 f}{\partial z_j \partial z_k}(\boldsymbol{z}_0)h_jh_k + o(\Vert \boldsymbol{h} \Vert^2) \\ &= \frac{1}{2} \boldsymbol{h}^T HF(\boldsymbol{z}_0) \boldsymbol{h} + o(\Vert \boldsymbol{h} \Vert^2) \end{aligned}$$

接下来的证明方式与定理2完全一样，不再赘述。

Q.E.D.