Matrice hessiană

În matematică, matricea hessiană, hessianul sau (mai puțin frecvent) matricea Hesse este o matrice pătrată a derivatelor parțiale de ordinul doi ale unei funcții scalare sau unui câmp scalar. Descrie curbura locală a unei funcții de mai multe variabile. Matricea hessiană a fost dezvoltată în secolul al XIX-lea de către matematicianul german Ludwig Otto Hesse. Hesse i-a dat inițial denumirea de matrice de „determinanți funcționali”. Hessianul este uneori notat cu H sau, în mod ambiguu, cu ∇².

Definiții și proprietăți

Fie$f:\mathbb {R} ^{n}\to \mathbb {R}$ o funcție care relaționează vectorii $\mathbf {x} \in \mathbb {R} ^{n}$ cu scalarii $f(\mathbf {x} )\in \mathbb {R} .$ Dacă toate derivatele parțiale de ordinul doi ale lui $f$ există, se poate forma matricea hessiană $\mathbf {H}$, pătratică, de dimensiune $n\times n$, aranjată ca: $$\mathbf {H} _{f}={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}.$$Care urmează regula ca rândului i și coloanei j să îi corespunde intrarea: $$(\mathbf {H} _{f})_{i,j}={\frac {\partial ^{2}f}{\partial x_{i}\,\partial x_{j}}}.$$

Dacă, în plus, derivatele parțiale de ordin doi sunt toate continue, matricea hessiană este o matrice simetrică datorită simetriei derivatelor (mixte) de ordinul doi.

Determinantul matricei hessiene se numește determinant hessian.

Matricea hessiană a unei funcții $f$ este transpusa matricei jacobiene a gradientului funcției $f$; adica: $\mathbf {H} (f(\mathbf {x} ))=\mathbf {J} (\nabla f(\mathbf {x} ))^{\mathsf {T}}.$

Aplicații

Puncte de inflexiune

Dacă $f$ este un polinom omogen în trei variabile, ecuația $f=0$ este ecuația implicită a unei curbe proiective plane. Punctele de inflexiune ale curbei sunt punctele non-singulare în care determinantul hessian este zero. Prin teorema lui Bézout rezultă că o curbă plană cubică are cel mult 9 puncte de inflexiune, deoarece determinantul hessian este un polinom de gradul 3.

Testul derivatei de ordin doi

Dacă matricea hessiană este pozitiv-definită la $x,$ atunci$f$ atinge un minim local izolat la $x.$ Dacă este negativ-definită la $x,$ atunci$f$ atinge un maxim local izolat la $x.$ Dacă matricea are valori proprii atât pozitive, cât și negative, atunci $x$ este un punct de șa pentru $f.$ În celelalte cazuri, testul este neconcludent.

Pentru matricile hessiene pozitiv-semidefinite și negativ-semidefinite testul este neconcludent (un punct critic în care hessianul este semidefinit, poate fi un punct extrem local sau un punct de șa).

Testul derivatei de ordin doi pentru funcțiile de una sau două variabile este mai simplu decât în cazul general. În cazul funcției de o singură variabilă, hessianul conține o singură derivată de ordin doi; dacă aceasta este pozitivă, atunci $x$ este un punct de minim local, iar dacă este negativă, atunci $x$ este un punct de maxim local; dacă este zero, atunci testul este neconcludent. În cazul funcției de două variabile, determinantul hessianului poate fi folosit, deoarece este produsul valorilor proprii. Când determinantul matricei (hessiene) este pozitiv, iar f''_1,1 este pozitiv, punctul reprezintă un minim local. De asemenea, dacă f''_1,1 este negativ, punctul reprezintă un maxim local. Dacă însă determinantul este zero, sau dacă f''_1,1 este zero, indiferent de valoarea determinantului, testul este neconcludent.

În mod echivalent, condițiile de ordinul doi care sunt suficiente pentru un minim sau maxim local pot fi exprimate în termeni de succesiune a minorilor principali ai hessianului; aceste condiții sunt un caz special al celor date în secțiunea privitoare la matricile hessiene mărginite prin constrângeri — și anume, cazul în care numărul de constrângeri este zero. Mai exact, condiția suficientă pentru un minim este ca toți acești minori principali să fie pozitivi, în timp ce condiția suficientă pentru un maxim este ca minorii să se alterneze în semn, minorul $1\times 1$ fiind negativ.

Puncte critice

Dacă gradientul (vectorul derivatelor parțiale) unei funcții $f$ este zero într-un oarecare punct $\mathbf {x} \in \mathbb {R} ^{n}$ atunci respectivul punct este un punct critic pentru $f$. Determinantul hessianului în $\mathbf {x}$ este numit, în unele contexte, discriminant. Dacă acest determinant este zero, atunci $\mathbf {x}$ se numeste punct critic degenerat al lui $f,$ sau un punct critic non-Morse al lui $f.$ În caz contrar, este un punct nedegenerat, numit și punct critic Morse al lui$f.$

Matricea hessiană joacă un rol important în teoria Morse și în teoria catastrofelor, deoarece nucleul și valorile proprii ale acesteia permit clasificarea punctelor critice.

Determinantul matricei hessiene, atunci când este evaluat într-un punct critic al unei funcții, este echivalent cu curbura Gauss a funcției considerată ca varietate. Valorile proprii ale hessianului în acel punct reprezintă curburile principale ale funcției, iar vectorii proprii sunt direcțiile principale de curbură.

Utilizarea în optimizare

Matricile hessiene sunt utilizate în problemele de optimizare în cadrul metodelor (iterative) de tip Newton, reprezentând coeficientul termenului pătratic al unei expansiuni Taylor locale a unei funcții: $$y=f(\mathbf {x} +\Delta \mathbf {x} )\approx f(\mathbf {x} )+\nabla f(\mathbf {x} )^{\mathsf {T}}\Delta \mathbf {x} +{\frac {1}{2}}\,\Delta \mathbf {x} ^{\mathsf {T}}\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x}$$ unde $\nabla f$ este gradientul $\left({\frac {\partial f}{\partial x_{1}}},\ldots ,{\frac {\partial f}{\partial x_{n}}}\right).$ Calcularea și stocarea întregii matrici hessiene ocupă $\Theta \left(n^{2}\right)$ memorie, ceea ce este nefezabil pentru funcții de dimensiuni mari, cum ar fi funcțiile de pierdere ale rețelelor neurale, câmpurile aleatoare condiționate și alte modele statistice conținând un număr mare de parametri. Pentru astfel de situații, există algoritmii Newton-trunchiat și cvasi-Newton. Cea din urmă familie de algoritmi utilizează aproximări ale hessianului; unul dintre cei mai populari algoritmi cvasi-Newton este BFGS (algoritmul Broyden–Fletcher–Goldfarb–Shanno).

Deoarece hessianul apare și în expansiunea locală a gradientului: $$\nabla f(\mathbf {x} +\Delta \mathbf {x} )=\nabla f(\mathbf {x} )+\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} +{\mathcal {O}}(\|\Delta \mathbf {x} \|^{2})$$

și lăsând $\Delta \mathbf {x} =r\mathbf {v}$ pentru un oarecare scalar $r,$ rezultă: $$\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} =\mathbf {H} (\mathbf {x} )r\mathbf {v} =r\mathbf {H} (\mathbf {x} )\mathbf {v} =\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )+{\mathcal {O}}(r^{2}),$$ adică $$\mathbf {H} (\mathbf {x} )\mathbf {v} ={\frac {1}{r}}\left[\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )\right]+{\mathcal {O}}(r)$$Deci dacă gradientul este deja calculat, hessianul poate fi aproximat printr-un număr de operații liniare. Deși simplu de programat, această schemă de aproximare nu este stabilă numeric deoarece, pe de-o parte $r$ trebuie să fie suficient de mic pentru a micșora erorile (de estimare) datorate termenului ${\mathcal {O}}(r)$, dar, pe de altă parte, suficient de mare pentru a nu face primul termen irelevant (i.e. 1/r[...]).

Alte aplicații

Matricea hessiană este utilizată frecvent pentru exprimarea operatorilor de procesare a imaginii în procesarea digitală a imaginilor și în viziunea computerizată. Poate fi folosită în analiza modului normal pentru a calcula diferitele frecvențe moleculare în spectroscopia în infraroșu. Poate fi folosită și în diagnosticarea statistică și sensibilitatea locală.

Generalizări

Matricea hessiană mărginită

Matricea hessiană mărginită este utilizată pentru testul derivatei de ordin doi, în anumite probleme de optimizare ce presupun diverse constrângeri. Dacă există funcția $f:\mathbb {R} ^{n}\to \mathbb {R}$ și o funcție de constrângere (în literatura românească se mai numește și "ecuație de legătură") $g$ astfel încât $g(\mathbf {x} )=c,$ Hessianul mărginit este hessianul funcției Lagrange: $\Lambda (\mathbf {x} ,\lambda )=f(\mathbf {x} )+\lambda [g(\mathbf {x} )-c]$ : $$\mathbf {H} (\Lambda )={\begin{bmatrix}{\dfrac {\partial ^{2}\Lambda }{\partial \lambda ^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\\\left({\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial g}{\partial x_{2}}}&\cdots &{\dfrac {\partial g}{\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial g}{\partial x_{n}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial \mathbf {x} }}\\\left({\dfrac {\partial g}{\partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}$$

Dacă există, să zicem, $m$ constrângeri, atunci zeroul din colțul din stânga sus devine o matrice de zerouri $m\times m$ și există $m$ rânduri de derivate ale funcțiilor de constrângere (primele m rânduri ale matricii) și $m$ coloane de derivate ale acelorași (primele m coloane ale matricii).

Regulile de mai sus care afirmă că extremele sunt caracterizate (printre punctele critice cu un hessian non-singular) printr-o matrice hessiană pozitiv-definită sau negativ-definită nu se pot aplica aici, deoarece un hessian mărginit nu poate fi nici una, nici alta, întrucât $\mathbf {z} ^{\mathsf {T}}\mathbf {H} \mathbf {z} =0$ dacă $\mathbf {z}$ este orice vector a cărui unică intrare diferită de zero este prima.

Testul derivatei de ordin doi constă aici în restricții de semn ai determinanților unui anumit set de $n-m$ submatrici ale hessianului mărginit. Intuitiv, $m$ constrângerile pot fi considerate ca reducând problema la una cu $n-m$ variabile libere (de exemplu, maximizarea $f\left(x_{1},x_{2},x_{3}\right)$ supusă constrângerii $x_{1}+x_{2}+x_{3}=1$ poate fi redusă la maximizarea $f\left(x_{1},x_{2},1-x_{1}-x_{2}\right)$ fără constrângere).

Concret, condițiile de semn sunt impuse succesiunii de minori principali (determinanți ai submatricilor cu începere din stânga sus) ale hessianului mărginit, pentru care primii $2m$ minori principali sunt ignorați, minorul cel mai mic constând din primele $2m+1$ rânduri și coloane trunchiate, următorul constând din primele $2m+2$ rânduri și coloane trunchiate, și așa mai departe, ultimul fiind întregul hessian mărginit; dacă $2m+1$ este mai mare decât $n+m,$ atunci cel mai mic minor principal este hessianul însuși. Există astfel $n-m$ minori de luat în considerare, fiecare evaluat la punctul specific considerat potențial maxim sau minim. O condiție suficientă pentru un maximum local este ca acești minori să alterneze în semn cu cel mai mic având semnul de $(-1)^{m+1}.$ O condiție suficientă pentru un minimum local este ca toți acești minori să aibă semnul de $(-1)^{m}.$ (În cazul lipsit de constrângeri, unde $m=0$, aceste condiții coincid cu condițiile ca hessianul nemărginit să fie negativ-definit sau, respectiv, pozitiv-definit).

Funcții cu valori vectoriale

Dacă $f$ este în schimb un câmp vectorial $\mathbf {f} :\mathbb {R} ^{n}\to \mathbb {R} ^{m},$ adică $$\mathbf {f} (\mathbf {x} )=\left(f_{1}(\mathbf {x} ),f_{2}(\mathbf {x} ),\ldots ,f_{m}(\mathbf {x} )\right),$$atunci colecția de derivate parțiale de ordin doi nu constituie o matrice $n\times n$, ci mai degrabă un tensor de ordinul trei. Aceasta poate fi considerat ca o matrice de $m$ matrici hessiane, câte una pentru fiecare componentă a $\mathbf {f}$: $$\mathbf {H} (\mathbf {f} )=\left(\mathbf {H} (f_{1}),\mathbf {H} (f_{2}),\ldots ,\mathbf {H} (f_{m})\right).$$ Acest tensor degenerează la matricea hessiană obișnuită când $m=1.$

Generalizare la cazul complex

În contextul mai multor variabile complexe, hessianul poate fi generalizat. Fie $f\colon \mathbb {C} ^{n}\to \mathbb {C} ,$ si $f\left(z_{1},\ldots ,z_{n}\right).$ Identificarea ${\mathbb {C} }^{n}$ cu ${\mathbb {R} }^{2n}$, hessianul „real” normal este o matrice $2n\times 2n$. Întrucât obiectul de studiu în mai multe variabile complexe este constituit de funcțiile olomorfe, adică soluțiile la condițiile Cauchy-Riemann n-dimensionale, de obicei ne uităm la partea hessianului care conține informații invariante la modificările holomorfe de coordonate. Această „parte” este așa-numitul complex hessian, care este matricea $\left({\frac {\partial ^{2}f}{\partial z_{j}\partial {\bar {z}}_{k}}}\right)_{j,k}.$ Dacă $f$ este olomorf, atunci matricea sa complexă hessiană este identică cu zero, deci complexul hessian este folosit pentru a studia funcții netede, dar nu holomorfe (vezi, de exemplu, pseudoconvexitatea Levi). Când avem de-a face cu funcții olomorfe, am putea lua în considerare matricea hessiană $\left({\frac {\partial ^{2}f}{\partial z_{j}\partial z_{k}}}\right)_{j,k}.$

Generalizări la varietățile Riemann

Fie $(M,g)$ fie o varietate Riemann si $\nabla$ conexiunea sa Levi-Civita. Fie $f:M\to \mathbb {R}$ o funcție netedă. Se definește tensorul hessian prin: $$\operatorname {Hess} (f)\in \Gamma \left(T^{*}M\otimes T^{*}M\right)\quad {\text{ prin }}\quad \operatorname {Hess} (f):=\nabla \nabla f=\nabla df,$$unde aceasta profită de faptul că prima derivată covariantă a unei funcții este aceeași cu diferența sa obișnuită. Alegerea coordonatelor locale $\left\{x^{i}\right\}$ dă o expresie locală pentru hessian ca: $$\operatorname {Hess} (f)=\nabla _{i}\,\partial _{j}f\ dx^{i}\!\otimes \!dx^{j}=\left({\frac {\partial ^{2}f}{\partial x^{i}\partial x^{j}}}-\Gamma _{ij}^{k}{\frac {\partial f}{\partial x^{k}}}\right)dx^{i}\otimes dx^{j}$$ unde $\Gamma _{ij}^{k}$ sunt simbolurile Christoffel ale conexiunii. Alte forme echivalente pentru hessian sunt date de: $$\operatorname {Hess} (f)(X,Y)=\langle \nabla _{X}\operatorname {grad} f,Y\rangle \quad {\text{ și }}\quad \operatorname {Hess} (f)(X,Y)=X(Yf)-df(\nabla _{X}Y).$$