Backpropagation

În învățarea automată, backpropagation este o metodă de estimare a gradientului utilizată pentru a antrena modele de rețele neurale. Estimarea gradientului este utilizată de algoritmul de optimizare pentru a calcula actualizările parametrilor rețelei.

Este o aplicare eficientă la astfel de rețele a regulii lanțului^⁠(d) enunțată de Leibniz (1673) pentru calculul derivatelor funcțiilor compuse. Este cunoscut și ca modul invers al diferențierii automate^⁠(d) sau acumularea inversă^⁠(d), datorită lui Seppo Linnainmaa^⁠(d) (1970). Termenul de „corectare a erorilor cu propagare inversă” a fost introdus în 1962 de Frank Rosenblatt^⁠(d), dar el nu știa cum să implementeze acest lucru, chiar dacă Henry J. Kelley^⁠(d) avea un precursor continuu al lui backpropagation deja în 1960 în contextul teoriei controlului^⁠(d).

Backpropagation calculează gradientul unei funcții de cost^⁠(d) în raport cu ponderile rețelei pentru un singur exemplu de intrare-ieșire și face acest lucru eficient, calculând gradientul strat cu strat, iterând^⁠(d) înapoi de la ultimul strat pentru a evita calculele redundante ale termenilor intermediari din regula lanțului; aceasta se poate calcula prin programare dinamică^⁠(d). În mod obișnuit, se utilizează metoda de descreștere a gradientului^⁠(d) sau variante ale ei, cum ar fi cea stochastică^⁠(d).

În sens strict, termenul backpropagation se referă doar la algoritmul de calcul al gradientului, nu la modul în care este utilizat gradientul; dar termenul este adesea folosit în mod liber pentru a se referi la întregul algoritm de învățare – inclusiv la modul în care este utilizat gradientul, cum ar fi descreșterea stochastică. În 1986 David E. Rumelhart^⁠(d) et al. au publicat o analiză experimentală a tehnicii. Aceasta a contribuit la popularizarea tehnicii și a ajutat la inițierea unei perioade active de cercetare în domeniul perceptronilor multistrat^⁠(d).

Generalități

Backpropagation calculează gradientul în spațiul ponderilor^⁠(d) unei rețele neuronale feedforward, în raport cu o funcție de cost^⁠(d). Se notează cu:

• $x$: input (vectorul de caracteristici)
• $y$: ieșirea așteptată

  Pentru clasificare, ieșirea va fi un vector de probabilități pe toate clasele (de ex., $(0.1,0.7,0.2)$, iar ieșirea așteptată este o anumită clasă, codificată prin variabila one-hot (de ex., $(0,1,0)$).

• $C$: funcția de cost^⁠(d)

  Pentru clasificare, aceasta este de obicei entropia încrucișată (XC, cost logaritmic^⁠(d)), în timp ce pentru regresie este de obicei costul erorii la pătrat

  (SEL).

• $L$: numărul de straturi
• $W^{l}=(w_{jk}^{l})$: ponderile legăturilor între straturile $l-1$ și $l$, unde $w_{jk}^{l}$ este ponderea între nodul $k$ din stratul $l-1$ și nodul $j$ din stratul $l$
• $f^{l}$: funcțiile de activare^⁠(d) de pe stratul $l$

  Pentru clasificare, ultimul strat este de regulă funcția logistică^⁠(d) pentru clasificare binară, și softmax^⁠(d) (softargmax) pentru clasificare cu mai multe clase, în timp ce pentru stratele ascunse, aceasta este tradițiomal o funcție sigmoidă^⁠(d) (funcția logistică sau altele) pe fiecare nod (coordonată), dar astăzi gama este mai variată, fiind comună și funcția rectificator^⁠(d) (ramp^⁠(d), ReLU^⁠(d)).

• $a_{j}^{l}$: activarea nodului $j$ din stratul $l$.

În calculul lui backpropagation, se folosesc alte cantități intermediare introducându-le după cum este necesar mai jos. Termenii de bias nu sunt tratați în mod special, deoarece corespund unei ponderi cu o intrare fixă de 1. Pentru backpropagation, funcția de cost și funcțiile de activare specifice nu contează atâta timp cât ele și derivatele lor pot fi evaluate eficient. Printre funcțiile tradiționale de activare se numără sigmoidele, tanh și ReLU. Au mai fost propuse și swish, mish, și alte funcții de activare.

Rețeaua de ansamblu este o combinație de compuneri de funcții^⁠(d) și înmulțiri de matrici:

$g(x):=f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{1}(W^{1}x)\cdots ))$

Ca mulțime de antrenare se ia o mulțime de perechi intrare-ieșire, $\left\{(x_{i},y_{i})\right\}$ . Pentru fiecare pereche intrare-ieșire $(x_{i},y_{i})$ din mulțimea de antrenare, costul modelului pe acea pereche este costul diferenței dintre rezultatul prezis $g(x_{i})$ și rezultatul așteptat $y_{i}$:

$C(y_{i},g(x_{i}))$

În timpul evaluării modelului, ponderile sunt fixe, în timp ce intrările variază (și ieșirea așteptată poate fi necunoscută), iar rețeaua se termină cu stratul de ieșire (nu include funcția de cost). În timpul antrenării modelului, perechea intrare-ieșire este fixă în timp ce ponderile variază, iar rețeaua se termină cu funcția de cost.

Backpropagation calculează gradientul pentru o pereche de intrare-ieșire fixă $(x_{i},y_{i})$, unde ponderile $w_{jk}^{l}$ pot varia. Fiecare componentă individuală a gradientului, $\partial C/\partial w_{jk}^{l},$ poate fi calculată prin regula lanțului; dar a face acest lucru separat pentru fiecare pondere este ineficient. Backpropagation calculează eficient gradientul, evitând calculele duplicate și nu calculează valori intermediare inutile, calculând gradientul fiecărui strat — în special gradientul intrării ponderate a fiecărui strat, notat cu $\delta ^{l}$ – din spate către față.

Cu alte cuvinte, punctul cheie este că, din moment ce singurul mod în care o pondere din $W^{l}$ afectează costul este prin efectul său asupra stratului următor și face acest lucru liniar, rezultă că $\delta ^{l}$ sunt singurele date de care este nevoie pentru a calcula gradienții ponderilor stratului $l$, iar apoi stratul anterior poate fi calculat cu $\delta ^{l-1}$ și repetat recursiv. Aceasta evită ineficiența în două moduri. În primul rând, evită duplicarea, deoarece atunci când se calculează gradientul la stratul $l$ – nu mai este nevoie să se recalculeze toate derivatele pe straturile ulterioare $l+1,l+2,\ldots$ de fiecare dată. În al doilea rând, evită calculele intermediare inutile, deoarece în fiecare etapă calculează direct gradientul ponderilor în raport cu rezultatul final (costul), și nu calculează inutil derivatele valorilor straturilor ascunse în raport cu modificările ponderilor $\partial a_{j'}^{l'}/\partial w_{jk}^{l}$.

Backpropagation poate fi exprimat pentru rețelele simple feedforward în termeni de înmulțire de matrici sau, mai general, în termeni de graf adjunct.

Înmulțire de matrici

Pentru cazul de bază al unei rețele feedforward, în care nodurile din fiecare strat sunt conectate numai la nodurile din stratul imediat următor (fără a sări peste niciun strat) și există o funcție de cost care calculează costul scalar pentru ieșirea finală, backpropagation poate fi înțeles pur și simplu prin înmulțiri de matrici. În esență, backpropagation evaluează expresia derivatei funcției de cost ca un produs al derivatelor între fiecare strat de la dreapta la stânga – „înapoi” – iar gradientul ponderilor dintre fiecare strat este o simplă modificare a produsele parțiale („eroarea propagată înapoi”).

Dacă se dă o pereche intrare-ieșire $(x,y)$, costul este:

$C(y,f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{2}(W^{2}f^{1}(W^{1}x))\cdots )))$

Pentru a-l calcula, se începe cu intrarea $x$ și se merge înainte; se notează intrarea ponderată a fiecărui strat ascuns cu $z^{l}$ și rezultatul stratului ascuns $l$ ca activarea $a^{l}$. Pentru backpropagation, activarea $a^{l}$ precum și derivatele $(f^{l})'$ (evaluat la $z^{l}$) trebuie să fie memorate pentru utilizare în timpul trecerii înapoi.

Derivata costului în termeni de intrări este dată de regula lanțului; fiecare termen este o derivată totală^⁠(d), evaluată la valoarea rețelei (în fiecare nod) pe intrarea $x$:

${\frac {dC}{da^{L}}}\cdot {\frac {da^{L}}{dz^{L}}}\cdot {\frac {dz^{L}}{da^{L-1}}}\cdot {\frac {da^{L-1}}{dz^{L-1}}}\cdot {\frac {dz^{L-1}}{da^{L-2}}}\cdot \ldots \cdot {\frac {da^{1}}{dz^{1}}}\cdot {\frac {\partial z^{1}}{\partial x}},$

Unde ${\frac {da^{L}}{dz^{L}}}$ este o matrice diagonală.

Acești termeni sunt: derivata funcției de cost; derivatele funcțiilor de activare; și matricile ponderilor:

${\frac {dC}{da^{L}}}\circ (f^{L})'\cdot W^{L}\circ (f^{L-1})'\cdot W^{L-1}\circ \cdots \circ (f^{1})'\cdot W^{1}.$

Gradientul $\nabla$ este transpusa derivatei ieșirii în termeni de intrare, deci matricile sunt transpuse și ordinea înmulțirii se inversează, dar intrările sunt aceleași:

$\nabla _{x}C=(W^{1})^{T}\cdot (f^{1})'\circ \ldots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C.$

Backpropagation constă apoi, în esență, în evaluarea acestei expresii de la dreapta la stânga (echivalent, înmulțirea expresiei anterioare pentru derivată de la stânga la dreapta), calculând gradientul la fiecare strat pe parcurs; se mai adaugă un pas, deoarece gradientul ponderilor nu este doar o subexpresie: există o înmulțire suplimentară.

Introducerea mărimii auxiliare $\delta ^{l}$ pentru produsele parțiale (înmulțirea de la dreapta la stânga), interpretată ca „eroare la nivelul $l$” și definită ca gradientul valorilor de intrare la nivelul $l$:

$\delta ^{l}:=(f^{l})'\circ (W^{l+1})^{T}\cdot (f^{l+1})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C.$

Cum $\delta ^{l}$ este un vector, de lungime egală cu numărul de noduri din nivelul $l$, fiecare componentă este interpretată drept „costul atribuibil (valorii) nodului respectiv”.

Gradientul ponderilor din stratul $l$ este atunci:

$\nabla _{W^{l}}C=\delta ^{l}(a^{l-1})^{T}.$

Factorul $a^{l-1}$ este pentru că greutățile $W^{l}$ între nivelele $l-1$ și $l$ afectează $l$ proporțional cu intrările (activările): intrările sunt fixe, ponderile variază.

$\delta ^{l}$ poate fi ușor calculat recursiv, mergând de la dreapta la stânga, după cum urmează:

$\delta ^{l-1}:=(f^{l-1})'\circ (W^{l})^{T}\cdot \delta ^{l}.$

Gradienții ponderilor pot fi astfel calculați folosind câteva înmulțiri de matrici pentru fiecare nivel; aceasta este backpropagation.

Se compară cu calculul naiv înainte (folosind $\delta ^{l}$ pentru ilustrare):

${\begin{aligned}\delta ^{1}&=(f^{1})'\circ (W^{2})^{T}\cdot (f^{2})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\\delta ^{2}&=(f^{2})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\&\vdots \\\delta ^{L-1}&=(f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\\delta ^{L}&=(f^{L})'\circ \nabla _{a^{L}}C,\end{aligned}}$

În backpropagation există două diferențe esențiale:

1. Calculul lui $\delta ^{l-1}$ în termeni de $\delta ^{l}$ evită evidenta dublare a înmulțirii straturilor $l$ și mai departe.
2. Înmulțirea începând de la $\nabla _{a^{L}}C$ – propagarea erorii înapoi – înseamnă că la fiecare pas pur și simplu se înmulțește un vector ($\delta ^{l}$) cu matricile de ponderi $(W^{l})^{T}$ și derivatele activărilor $(f^{l-1})'$. În schimb, înmulțirea înainte, pornind de la modificările de la un strat anterior, înseamnă că la fiecare înmulțire se înmulțește o matrice cu altă matrice. Aceasta este mult mai costisitoare și corespunde urmăririi tuturor căilor posibile ale unei modificări dintr-un singur strat $l$ până în stratul $l+2$ (pentru înmulțirea lui $W^{l+1}$ cu $W^{l+2}$, cu înmulțiri suplimentare pentru derivatele activărilor), care calculează în mod inutil cantități intermediare ale modului în care modificările de pondere afectează valorile nodurilor ascunse.

Graful adjunct

Pentru grafuri mai generale și alte variații avansate, backpropagation poate fi înțeles în termeni de diferențiere automată^⁠(d), unde backpropagation este un caz particular al acumulării inverse (sau „modului invers”).

Motivația

Obiectivul oricărui algoritm de învățare supravegheată^⁠(d) este de a găsi o funcție care mapează cel mai bine un set de intrări la ieșirea lor corectă. Motivația pentru backpropagation este de a antrena o rețea neurală cu mai multe straturi, astfel încât să poată învăța reprezentările interne adecvate pentru a-i permite să învețe orice mapare arbitrară a intrării la ieșire.

Învățarea ca problemă de optimizare

Pentru a înțelege calculul matematic al algoritmului de backpropagation, este nevoie mai întâi de dezvoltarea unei intuiții despre relația dintre produsul real al unui neuron și rezultatul corect pentru un anumit exemplu de antrenament. Fie o rețea neurală simplă cu două unități de intrare, o unitate de ieșire și fără unități ascunse și în care fiecare neuron utilizează o ieșire liniară (spre deosebire de majoritatea lucrărilor pe rețelele neurale, în care maparea de la intrări la ieșiri este neliniară) care este suma ponderată a intrărilor sale.

O rețea neurală simplă cu două unități de intrare (fiecare cu o singură intrare) și o unitate de ieșire (cu două intrări)

Inițial, înainte de antrenare, ponderile pot fi stabilite aleatoriu. Apoi neuronul învață din exemplele de antrenare^⁠(d), care în acest caz constau dintr-o mulțime de tupluri^⁠(d) $(x_{1},x_{2},t)$ unde $x_{1}$ și $x_{2}$ sunt intrările rețelei și t este ieșirea corectă (ieșirea pe care rețeaua ar trebui să o producă când primește acele intrări, la momentul antrenării). Când primește la intrare $x_{1}$ și $x_{2}$, rețeaua inițială va calcula o ieșire y care probabil diferă de t (dat fiind că ponderile sunt aleatorii). O funcție de cost $L(t,y)$ este utilizată pentru măsurarea discrepanței dintre ieșirea așteptată t și ieșirea calculată y. Pentru problemele de analiză de regresie, eroarea pătrată poate fi folosită ca funcție de cost, dar pentru clasificare^⁠(d) se poate folosi entropia încrucișată categorială^⁠(d).

De exemplu, fie o problemă de regresie folosind eroarea pătrată ca funcție de cost:

$L(t,y)=(t-y)^{2}=E,$

unde E este discrepanța sau eroarea.

Fie rețeaua pe un singur caz de antrenare: $(1,1,0)$. Astfel, intrările $x_{1}$ și $x_{2}$ sunt 1 și, respectiv, 1, iar ieșirea corectă t este 0. Acum, dacă este reprezentată relația dintre ieșirea rețelei y pe axa orizontală și eroarea E pe axa verticală, rezultatul este o parabolă. Minimul parabolei corespunde ieșirii y care minimizează eroarea E. Pentru un singur caz de antrenament, minimul atinge și axa orizontală, ceea ce înseamnă că eroarea va fi zero și rețeaua poate produce o ieșire y care se potrivește exact cu ieșirea țintă t. Prin urmare, problema mapării intrărilor la ieșiri poate fi redusă la o problemă de optimizare^⁠(d) a găsirii unei funcții care va produce eroarea minimă.

Suprafața de eroare a unui neuron liniar pentru un singur caz de antrenament

Ieșirea unui neuron depinde însă de suma ponderată a tuturor intrărilor sale:

$y=x_{1}w_{1}+x_{2}w_{2},$

Unde $w_{1}$ și $w_{2}$ sunt ponderile conexiunii de la unitățile de intrare la unitatea de ieșire. Prin urmare, eroarea depinde și de ponderile de intrare ale neuronului, care este în cele din urmă ceea ce trebuie schimbat în rețea pentru a permite învățarea.

În acest exemplu, la injectarea datelor de antrenare $(1,1,0)$, funcția de cost devine

$E=(t-y)^{2}=y^{2}=(x_{1}w_{1}+x_{2}w_{2})^{2}=(w_{1}+w_{2})^{2}.$

Atunci, funcția de cost $E$ ia forma unui cilindru parabolic cu baza îndreptată de-a lungul dreptei $w_{1}=-w_{2}$. Deoarece toate mulțimile de ponderi care satisfac $w_{1}=-w_{2}$ minimizează funcția de cost, în acest caz sunt necesare constrângeri suplimentare pentru a converge către o soluție unică. Constrângerile suplimentare ar putea fi generate fie prin stabilirea unor condiții specifice pentru ponderi, fie prin injectarea de date suplimentare de antrenare.

Un algoritm utilizat în mod obișnuit pentru a găsi mulțimea de ponderi care minimizează eroarea este descreșterea gradientului^⁠(d). Prin backpropagation, se calculează cea mai abruptă direcție de descreștere a funcției de cost față de ponderile sinaptice actuale. Ponderile pot fi apoi modificate pe cea mai abruptă direcție de descreștere, iar eroarea este redusă la minimum într-un mod eficient.

Derivare

cu

$E=L(t,y)$

unde

$L$ este costul pentru ieșirea $y$ și valoarea așteptată $t$ ,

$t$ este rezultatul așteptat pentru un eșantion de antrenare și

$y$ este ieșirea reală a neuronului de ieșire.

Pentru fiecare neuron $j$, ieșirea sa $o_{j}$ este definită ca

$o_{j}=\varphi ({\text{net}}_{j})=\varphi \left(\sum _{k=1}^{n}w_{kj}x_{k}\right),$

unde funcția de activare^⁠(d) $\varphi$ este neliniară^⁠(d) și diferențiabilă în regiunea de activare (ReLU nu este diferențiabilă într-un punct). O funcție de activare folosită istoric este funcția logistică^⁠(d):

$\varphi (z)={\frac {1}{1+e^{-z}}}$

care are o derivată convenabilă:

${\frac {d\varphi }{dz}}=\varphi (z)(1-\varphi (z))$

Prin urmare, derivata în raport cu $o_{j}$ poate fi calculată dacă se cunosc toate derivatele în raport cu ieșirile $o_{\ell }$ ale stratului următor – cele mai apropiate de neuronul de ieșire. Dacă vreunul dintre neuroni din mulțimea $L$ nu este conectat la neuronul $j$, atunci ar fi independent de $w_{ij}$, iar derivata parțială corespunzătoare sub însumare s-ar reduce la 0.

Găsirea derivatei erorii

Diagrama unei rețele neurale artificiale care ilustrează notația folosită aici

Calculul derivatei parțiale a erorii în raport cu o pondere $w_{ij}$ se face folosind regula lanțului^⁠(d) de două ori:

${\frac {\partial E}{\partial o_{j}}}={\frac {\partial E}{\partial y}}$

 

 

 

 

(Eq. 4)

În ultimul factor din partea dreaptă a celor de mai sus, un singur termen din sumă, ${\text{net}}_{j}$, depinde de $w_{ij}$, astfel încât

${\frac {\partial E}{\partial o_{j}}}=\sum _{\ell \in L}\left({\frac {\partial E}{\partial {\text{net}}_{\ell }}}{\frac {\partial {\text{net}}_{\ell }}{\partial o_{j}}}\right)=\sum _{\ell \in L}\left({\frac {\partial E}{\partial o_{\ell }}}{\frac {\partial o_{\ell }}{\partial {\text{net}}_{\ell }}}{\frac {\partial {\text{net}}_{\ell }}{\partial o_{j}}}\right)=\sum _{\ell \in L}\left({\frac {\partial E}{\partial o_{\ell }}}{\frac {\partial o_{\ell }}{\partial {\text{net}}_{\ell }}}w_{j\ell }\right)$

 

 

 

 

(Eq. 5)

Dacă neuronul se află în primul strat după stratul de intrare, $o_{i}$ este doar $x_{i}$.

Intrarea ${\text{net}}_{j}$ a unui neuron este suma ponderată a ieșirilor $o_{k}$ a neuronilor anteriori. Dacă neuronul se află în primul strat după stratul de intrare, atunci $o_{k}$ ale stratului de intrare sunt pur și simplu intrările $x_{k}$ la rețea. Numărul de unități de intrare către neuron este $n$. Variabila $w_{kj}$ denotă ponderea dintre neuronul $k$ din stratului anterior și neuronul $j$ din stratului curent.

$$E(y,y')={\tfrac {1}{2}}\lVert y-y'\rVert ^{2}$$

care pentru funcția de activare logistică^⁠(d)

${\frac {\partial E}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}{\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}o_{i}$

${\frac {\partial E}{\partial w_{ij}}}=o_{i}\delta _{j}$

Acesta este motivul pentru care backpropagation necesită ca funcția de activare să fie diferențiabilă. (Cu toate acestea, funcția de activare ReLU^⁠(d), care este nediferențiabilă în 0, a devenit destul de populară, de exemplu în AlexNet^⁠(d))

Primul factor este simplu de evaluat dacă neuronul se află în stratul de ieșire, pentru că atunci $o_{j}=y$ și

$$E={\frac {1}{2n}}\sum _{x}\lVert (y(x)-y'(x))\rVert ^{2}$$

Dacă jumătate din pătratul erorii este folosit ca funcție de cost, o putem rescrie ca

$\delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}(o_{j}-t_{j})o_{j}(1-o_{j})&{\text{dacă }}j{\text{ este un neuron de ieșire,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell })o_{j}(1-o_{j})&{\text{dacă }}j{\text{ este un neuron interior.}}\end{cases}}$

Dacă însă $j$ se află într-un strat interior arbitrar al rețelei, metoda de găsire a derivatei $E$ în raport cu $o_{j}$ este mai puțin evidentă.

Considerând $E$ o funcție, intrările fiind toți neuronii $L=\{u,v,\dots ,w\}$ care primesc intrare de la neuronul $j$,

${\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\frac {\partial }{\partial {\text{net}}_{j}}}\varphi ({\text{net}}_{j})=\varphi ({\text{net}}_{j})(1-\varphi ({\text{net}}_{j}))=o_{j}(1-o_{j})$

și luând derivata totală^⁠(d) în raport cu $o_{j}$, se obține o expresie recursivă pentru derivată:

Înlocuind Eq. 2, Eq. 3 Eq.4 și Eq. 5 în Eq. 1 se obține:

$\Delta w_{ij}=-\eta {\frac {\partial E}{\partial w_{ij}}}=-\eta o_{i}\delta _{j}$

Metoda descreșterii de gradient implică calculul derivatei funcției de cost în raport cu ponderile rețelei. Aceasta se face în mod normal utilizând backpropagation. Presupunând un neuron de ieșire, funcția de eroare pătrată este

$\delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}{\frac {\partial L(t,o_{j})}{\partial o_{j}}}{\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{dacă }}j{\text{ este un neuron de ieșire,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell }){\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{dacă }}j{\text{ este un neuron interior.}}\end{cases}}$

dacă $\varphi$ este funcția logistică, iar eroarea este pătratul erorii:

${\frac {\partial E}{\partial o_{j}}}={\frac {\partial E}{\partial y}}={\frac {\partial }{\partial y}}{\frac {1}{2}}(t-y)^{2}=y-t$

Pentru a actualiza ponderea $w_{ij}$ folosind descreșterea gradientului, trebuie aleasă o rată de învățare, $\eta >0$ . Modificarea ponderii trebuie să reflecte impactul asupra lui $E$ al unei creșteri sau scăderi a lui $w_{ij}$. Dacă ${\frac {\partial E}{\partial w_{ij}}}>0$, atunci o creștere a lui $w_{ij}$ va face să crească $E$ ; invers, dacă ${\frac {\partial E}{\partial w_{ij}}}<0$, o creștere a lui $w_{ij}$ va face să scadă $E$ . Noul $\Delta w_{ij}$ se adaugă la ponderea veche, iar produsul dintre rata de învățare și gradient, înmulțit cu $-1$ garantează că $w_{ij}$ se schimbă într-un mod care scade întotdeauna $E$. Cu alte cuvinte, în ecuația imediat de mai jos, $-\eta {\frac {\partial E}{\partial w_{ij}}}$ îl schimbă întotdeauna pe $w_{ij}$ în așa fel încât $E$ să se reducă:

$\Delta w_{ij}=-\eta {\frac {\partial E}{\partial w_{ij}}}=-\eta o_{i}\delta _{j}$

Descreșterea gradientului de ordinul doi

Folosind o matrice Hessiană^⁠(d) de derivate de ordinul doi ale funcției de eroare, algoritmul Levenberg-Marquardt^⁠(d) converge adesea mai rapid decât descreșterea gradientului de ordinul întâi, mai ales când topologia funcției de eroare este complicată. De asemenea, el poate găsi soluții cu un număr mai mic de noduri, cu care alte metode ar putea să nu conveargă. Hessiana poate fi aproximată prin matricea de informații Fisher^⁠(d).

Funcția de cost

Funcția de cost este o funcție care mapează valorile uneia sau mai multor variabile pe un număr real reprezentând intuitiv un „cost” asociat cu acele valori. Pentru backpropagation, funcția de cost calculează diferența dintre ieșirea rețelei și rezultatul așteptat, după ce un exemplu de antrenare s-a propagat prin rețea.

Ipoteze

Expresia matematică a funcției de cost trebuie să îndeplinească două condiții pentru ca ea să poată fi utilizată în backpropagation. Prima este că poate fi scrisă ca o medie ${\textstyle E={\frac {1}{n}}\sum _{x}E_{x}}$ a funcțiilor de eroare ${\textstyle E_{x}}$, pentru ${\textstyle n}$ exemple individuale de antrenare, ${\textstyle x}$ . Motivul pentru această ipoteză este că algoritmul backpropagation calculează gradientul funcției de eroare pentru un singur exemplu de antrenare, care trebuie generalizat la funcția de eroare generală. A doua presupunere este că poate fi scrisă în funcție de ieșirile din rețeaua neurală.

Exemplu de funcție de cost

Fie $y,y'$ vectori în $\mathbb {R} ^{n}$.

Se alege o funcție de eroare $E(y,y')$ care măsoară diferența dintre două ieșiri. Alegerea standard este pătratul distanței euclidiene dintre vectori $y$ și $y'$:

$$E={\frac {1}{2n}}\sum _{x}\lVert (y(x)-y'(x))\rVert ^{2}$$

Limitări

Descreșterea gradientului poate găsi un minim local în locul minimului global.

• Descreșterea gradientului din backpropagation nu garantează că va găsi minimul global al funcției de eroare, ci doar un minim local; de asemenea, are probleme la traversarea platourilor^⁠(d) din peisajul funcțiilor de eroare. Această problemă, cauzată de neconvexitatea^⁠(d) funcțiilor de eroare din rețelele neurale, a fost mult timp considerată a fi un dezavantaj major, dar Yann LeCun^⁠(d) et al. susțin că în multe probleme practice, nu este.
• Învățarea prin backpropagation nu necesită normalizarea vectorilor de intrare; totuși, normalizarea ar putea îmbunătăți performanța.
• Backpropagation necesită ca derivatele funcțiilor de activare să fie cunoscute în momentul proiectării rețelei.

Istorie

Precursori

Backpropagation a fost derivată în mod repetat, deoarece este în esență o aplicare eficientă a regulii lanțului^⁠(d) (enunțată în premieră de Gottfried Wilhelm Leibniz în 1676) asupra rețelelor neurale.

Terminologia „corectare a erorilor prin backpropagation” a fost introdusă în 1962 de Frank Rosenblatt^⁠(d), dar el nu știa cum să implementeze acest lucru. În orice caz, el a studiat doar neuronii ale căror ieșiri erau niveluri discrete, care aveau doar derivate zero, făcând backpropagation imposibil.

Precursorii lui backpropagation au apărut în teoria controlului optim^⁠(d) încă din anii 1950. Yann LeCun^⁠(d) et al. creditează lucrările din anii 1950 a lui Pontreaghin^⁠(d) și alții, în teoria controlului optim, în special metoda stării adjuncte^⁠(d), ca fiind o versiune în timp continuu a lui backpropagation. Hecht-Nielsen^⁠(d) creditează algoritmul Robbins–Monro^⁠(d) (1951) și Applied Optimal Control (1969) a lui Arthur Bryson^⁠(d) și Yu-Chi Ho^⁠(d) ca ceva ce anticipa backpropagation. Alți precursori au fost Henry J. Kelley^⁠(d) 1960, și Arthur E. Bryson^⁠(d) (1961). În 1962, Stuart Dreyfus^⁠(d) a publicat un calcul mai simplu bazată doar pe regula lanțului^⁠(d). În 1973, el adapta parametrii controllerelor proporțional cu gradienții de eroare. Spre deosebire de backpropagation modern, acești precursori foloseau calcule standard cu matricea jacobiană de la o etapă la cea anterioară, fără a aborda legăturile directe în mai multe etape și nici potențialele câștiguri suplimentare de eficiență datorate dispersității rețelei.

Algoritmul de învățare ADALINE^⁠(d) (1960) a fost o descreștere de gradient cu funcția de cost pătratul erorii pentru un singur strat. Primul perceptron multistrat^⁠(d) (MLP) cu mai mult de un strat antrenat prin descreșterea de gradient stochastică^⁠(d) a fost publicat în 1967 de Shun'ichi Amari^⁠(d). MLP avea 5 straturi, din care 2 straturi puteau fi învățate, și a învățat să clasifice modele care nu sunt separabile liniar.

Backpropagation modern

Backpropagation modern a fost publicat pentru prima dată de Seppo Linnainmaa^⁠(d) ca „mod invers de diferențiere automată^⁠(d)” (1970) pentru rețele discrete conectate de funcții diferențiabile imbricate.

În 1982, Paul Werbos^⁠(d) a aplicat backpropagation la MLP-uri în modul care a devenit standard. Werbos descria într-un interviu cum a dezvoltat backpropagation. În 1971, în timpul lucrării sale de doctorat, el a dezvoltat backpropagation pentru a matematiciza „fluxul de energie psihică” al lui Freud. S-a confruntat cu dificultăți repetate în publicarea lucrării, reușind abia în 1981.

Prin preajma lui 1982, David E. Rumelhart^⁠(d) a dezvoltat independent backpropagation și a predat algoritmul celor din cercul său de cercetare. El nu cita lucrări anterioare, deoarece nu le cunoștea. A publicat algoritmul mai întâi într-o lucrare din 1985, apoi, într-un articol din Nature din 1986, a descris o analiză experimentală a tehnicii. Aceste lucrări au devenit foarte citate, au contribuit la popularizarea lui backpropagation și au coincis cu renașterea interesului de cercetare în rețelele neurale în anii 1980.

În 1985, metoda a fost descrisă și de David Parker. Yann LeCun^⁠(d) a propus o formă alternativă de backpropagation pentru rețelele neurale în teza sa de doctorat din 1987.

Descreșterea gradientului a avut nevoie de o perioadă considerabilă de timp pentru a ajunge la acceptare. Unele dintre obiecțiile inițiale au fost: că nu existau garanții că descreșterea gradientului poate atinge un minim global, ci doar un minim local; că neuronii erau „cunoscuți” de fiziologi ca producând semnale discrete (0/1), nu continue, iar cu semnale discrete, nu există nici un gradient de luat. Vezi interviul cu Geoffrey Hinton^⁠(d).

Primele succese

La acceptare au contribuit mai multe aplicații de antrenare a rețelelor neurale prin backpropagation, uneori atingând popularitate în afara cercurilor de cercetare.

În 1987, NETtalk^⁠(d) a învățat să convertească textul în limba engleză în pronunție. Sejnowski a încercat să-l antreneze atât cu backpropagation, cât și cu mașina Boltzmann, dar a constatat că backpropagation funcționează mult mai rapid, așa că l-a folosit pentru varianta finală de NETtalk. Programul NETtalk a avut un mare succes și a apărut în emisiunea ''Today''^⁠(d).

În 1989, Dean A. Pomerleau a publicat ALVINN, o rețea neurală antrenată să conducă autonom vehicule^⁠(d) folosind backpropagation.

LeNet^⁠(d), publicat în 1989, recunoștea codurile poștale scrise de mână.

În 1992, TD-Gammon^⁠(d) a atins nivelul unui jucător uman de table. Era un agent de învățare cu întârire, cu o rețea neurală cu două straturi, antrenată prin backpropagation.

În 1993, Eric Wan a câștigat un concurs internațional de recunoaștere a șabloanelor cu backpropagation.

După backpropagation

În anii 2000 a pierdut din popularitate, dar a revenit în anii 2010, beneficiind de sisteme de calcul ieftine și puternice bazate pe GPU-uri. A fost mai ales cazul în domeniul recunoașterii vocale, vederii automate^⁠(d), prelucrării limbajului natural și cercetării învățării structurii limbajului (în care a fost folosită pentru a explica o varietate de fenomene legate de învățarea primei și celei de-a doua limbi).

Backpropagation a fost sugerat pentru a explica componentele ERP^⁠(d) ale creierului uman, cum ar fi N400^⁠(d) și P600^⁠(d).

În 2023, un algoritm de backpropagation a fost implementat pe un procesor fotonic de către o echipă de la Universitatea Stanford.

Lectură suplimentară

• Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). „6.5 Back-Propagation and Other Differentiation Algorithms”. Deep Learning. MIT Press. pp. 200–220. ISBN 9780262035613. 
• Nielsen, Michael A. (2015). „How the backpropagation algorithm works”. Neural Networks and Deep Learning. Determination Press. 
• McCaffrey, James (octombrie 2012). „Neural Network Back-Propagation for Programmers”. MSDN Magazine^⁠(d). 
• Rojas, Raúl (1996). „The Backpropagation Algorithm” (PDF). Neural Networks : A Systematic Introduction. Berlin: Springer. ISBN 3-540-60505-3. 

Legături externe

• Tutorial de rețele neurale cu backpropagation la Wikiversity
• Bernacki, Mariusz; Włodarczyk, Przemysław (2004). „Principles of training multi-layer neural network using backpropagation”. 
• Karpathy, Andrej (2016). „Lecture 4: Backpropagation, Neural Networks 1”. CS231n. Stanford University. Arhivat din original la 12 decembrie 2021 – via YouTube. 
• „What is Backpropagation Really Doing?”. 3Blue1Brown. 3 noiembrie 2017. Arhivat din original la 12 decembrie 2021 – via YouTube. 
• Putta, Sudeep Raja (2022). „Yet Another Derivation of Backpropagation in Matrix Form”.