二次型优化问题 - 2 - 二次型参数确定

本文属于二次型优化问题系列文章，主要介绍二次型参数的定义由来。

提出问题

• 需要优化的函数二次型的形式：

$$\begin{array}{}\text{(1)}& f(\mathbf{x})=\frac{1}{2}{\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}-{\mathbf{b}}^{\mathbf{T}}\mathbf{x}+\mathbf{c}\end{array}$$

• 而原始n元多项式为：

$$f(x_1,x_2,x_3,\dots ,x_n)=a_{1,1}{x}_1^2+a_{1,2}{x}_1{x}_2+a_{1,3}{x}_1{x}_3+\cdots +a_{1,n}{x}_1{x}_n+a_{2,1}{x}_2{x}_1+a_{2,2}{x}_2^2+a_{2,3}{x}_2{x}_3+\cdots +a_{2,n}{x}_2{x}_n+\cdots +a_{n,n}{x}_n^2+b_1{x}_1+b_2{x}_2+\cdots +b_n{x}_n+c$$

• 其中，表示$\mathbf{A}$：

$$\begin{array}{}\text{(3)}& A=\left[\begin{array}{ccc}{a}_{1,1}^{\bullet }& \cdots & a_{n,n}^{\bullet }\end{array}\right]\end{array}$$

• 将$\mathbf{A}$与多项式系数对应：

$$\begin{array}{}\text{(4)}& a_{i,i}^{\bullet }=a_{i,i},1\le i\le n\end{array}$$

$$\begin{array}{}\text{(5)}& a_{i,j}^{\bullet }+a_{j,i}^{\bullet }=a_{i,j},1\le i<j\le n\end{array}$$

$$\begin{array}{}\text{(6)}& a_{i,j}=0,1\le j<i\le n\end{array}$$

• 那么对应$\mathbf{A}$中非对角线的元素，仅需要保证公式$\text{(5)}$成立即可，那么对于不相等的$i,j$，可以有无数种$a_{i,j}^{\bullet }+a_{j,i}^{\bullet }$的组合满足条件，$\mathbf{A}$该如何确定？

二次型矩阵

• 在定义实数空间内的二次型时，二次型矩阵被要求为对称的，也就是要求：

$$\begin{array}{}\text{(7)}& a_{i,j}^{\bullet }=a_{j,i}^{\bullet }=\frac{1}{2}{a}_{i,j},1\le i<j\le n\end{array}$$

• 也就确定了唯一的$\mathbf{A}$，来表示一个确定的多元二次函数。

为何如此

• 定义的用处就是来确定问题，这种定义可以唯一确定二次函数，没有任何歧义和变化，用于统一数学术语
• 我觉得很关键的问题是如此定义$\mathbf{A}$会给求导带来很大方便
• 我们略去一次项与常数项，得到纯粹的二次型：

$$\begin{array}{}\text{(8)}& f(\mathbf{x})=\frac{1}{2}\mathbf{x}\mathbf{A}\mathbf{x}\end{array}$$

• 即：

$$\begin{array}{}\text{(9)}& f(\mathbf{x})=\frac{1}{2}\sum _{i,j=1}^n{a}_{i,j}^{\bullet }{x}_i{x}_j\end{array}$$

• 仍用$\text{(3)}$表示$\mathbf{A}$，对$\text{(8)}$中的向量$\mathbf{x}$求导：

$$\begin{array}{}\text{(10)}& f^{\prime }(x_i)=\frac{1}{2}[\sum _{j=1,j\ne i}^n(a_{i,j}^{\bullet }+a_{j,i}^{\bullet })x_j+2a_{i,i}^{\bullet }{x}_i]\end{array}$$

• 如果$\mathbf{A}$是对称阵，那么$a_{i,j}^{\bullet }=a_{j,i}^{\bullet }$，有：

$$\begin{array}{}\text{(11)}& f^{\prime }(x_i)=\frac{1}{2}\sum _{j=1}^{n}2a_{i,j}^{\bullet }{x}_j\end{array}$$

$$\begin{array}{}\text{(12)}& f^{\prime }(\mathbf{x}\mathbf{)}\mathbf{=}\mathbf{A}\mathbf{x}\end{array}$$

• 也就是说定义$\mathbf{A}$为对称阵可以唯一确定二次型矩阵，也可以方便地对二次型进行求导。

文章链接：
https://www.zywvvd.com/notes/study/machine-learning/conjugate-gradient-algorithm/quadratic-cofficient/quadratic-cofficient/