Hessian 矩阵的特征值有什么含义

Hessian 矩阵的特征值有什么含义

一矩阵A作用于一向量a，结果只相当于该向量乘以一常数λ。即A*a=λa，则a为该矩阵A的特征向量，λ为该矩阵A的特征值。

设 a 是n阶方阵，如果存在数m和非零n维列向量 x，使得 ax=mx 成立，则称 m 是a的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵a的属于（对应于）特征值m的特征向量或本征向量，简称a的特征向量或a的本征向量。 hessian矩阵的特征值就是形容其在该点附近特征向量方向的凹凸性，特征值越大，凸性越强。你可以把函数想想成一个小山坡，陡的那面是特征值大的方向，平缓的是特征值小的方向。而凸性和优化方法的收敛速度有关，比如梯度下降。如果正定hessian矩阵的特征值都差不多，那么梯度下降的收敛速度越快，反之如果其特征值相差很大，那么收敛速度越慢。