Metoda celor mai mici pătrate

De la Wikipedia, enciclopedia liberă
Salt la: Navigare, căutare

Metoda celor mai mici pătrate este o metodă matematică de a obține o soluție a unui sistem de ecuații supradeterminat, adică care are mai multe ecuații decât necunoscute. Cele mai mici pătrate înseamnă că soluția obținută minimizează suma pătratelor abaterilor față de valorile ecuațiilor.

Cea mai importantă aplicație este determinarea coeficienților unei funcții matematice care aproximează cât mai bine un set de date.[1] Această cea mai bună aproximație minimizează pătratele abaterilor dintre valorile date și cele calculate cu ajutorul funcției respective.

Există două variante a metodei celor mai mici pătrate:

  • Metoda liniară a celor mai mici pătrate, care rezolvă probleme bazate pe sisteme de ecuații liniare. Un exemplu de astfel de aplicație este regresia liniară, mult folosită în statistică și în prelucrarea datelor experimentale. Rezolvarea sistemului de ecuații rezultat se face de obicei prin metode directe.
  • Metoda neliniară a celor mai mici pătrate, care rezolvă probleme bazate pe sisteme de ecuații neliniare. Rezolvarea sistemului de ecuații rezultat se face de obicei prin metode iterative, la fiecare iterație folosindu-se însă o liniarizare.

Metoda a fost elaborată pentru prima dată de Carl Friedrich Gauss în jurul anului 1794,[2]

Formularea problemei[modificare | modificare sursă]

Obiectivul constă în ajustarea coeficienților funcției model (funcția de aproximare) astfel ca să se potrivească cel mai bine cu setul de date. Un set de date constă de exemplu din n puncte (perechi de valori) (x_i,y_i ) \,, i = 1, ...,n, unde x_i \, este variabila independentă, iar y_i \, este variabila dependentă, a cărei valori au fost obținute experimental. Funcția model are forma f(x,\beta) \,, care are m parametri (coeficienți), plasați în vectorul \boldsymbol \beta \,. Scopul este de a găsi valorile parametrilor astfel încât valorile calculate cu ajutorul funcției model să se potrivească cel mai bine cu valorile experimentale. Soluția optimă conform metodei celor mai mici pătrate este atunci când suma S \, a pătratelor reziduurilor

S = \sum_{i=1}^{n}{r_i}^2

este minimă. Reziduul este abaterea (diferența) între valoarea variabilei dependente și valoarea dată de funcția model:

r_i= y_i - f(x_i, \beta) \,

Un exemplu de funcție model este o linie dreaptă. Considerând ordonata la origine \beta_0 \, și panta \beta_1 \,, funcția model este f(x,\boldsymbol \beta) = \beta_0 + \beta_1 x \,.

Un punct poate fi în funcție de mai multe variabile independente și dependente. De exemplu, dacă funcția model este un plan care aproximează o serie de înălțimi (z) măsurate, acest plan este în funcție de două variabile, să zicem x și y. Analog se pot da exemple cu mai multe variabile dependente.

Rezolvarea problemei prin metoda celor mai mici pătrate[modificare | modificare sursă]

Un minim al unei funcții (aici al sumei pătratelor abaterilor) este acolo unde derivata funcției se anulează. Deoarece funcția model conține m parametri, se vor putea scrie m ecuații diferențiale:

\frac{\partial S}{\partial \beta_j}=2 \sum_i r_i \frac {\partial r_i}{\partial \beta_j} = 0,\ j=1,\ldots, m

și deoarece r_i = y_i - f(x_i,\boldsymbol \beta) \, ecuațiile diferențiale devin:

-2\sum_i \frac {\partial f(x_i,\boldsymbol \beta)}{\partial \beta_j} r_i = 0,\ j=1,\ldots, m

Cele m ecuații cu m parametri (necunoscute) formează un sistem de ecuații determinat, care, prin rezolvare, furnizează valorile parametrilor.

Fiecare tip de problemă necesită propria sa funcție model și propriile derivate ale acestei funcții.

Note[modificare | modificare sursă]

  1. ^ Academia RPR Dicționar Enciclopedic Român, București: Editura Politică, 1962-1966
  2. ^ en Bretscher, Otto (1995). Linear Algebra With Applications, 3rd ed.. Upper Saddle River NJ: Prentice Hall 

Bibliografie suplimentară[modificare | modificare sursă]

  • Mădălina Roxana Buneci, Metode numerice - curs - Metoda celor mai mici pătrate
  • en Å. Björck, Numerical Methods for Least Squares Problems, SIAM, 1996
  • en C.R. Rao, H. Toutenburg, A. Fieger, C. Heumann, T. Nittner and S. Scheid, Linear Models: Least Squares and Alternatives, Springer Series in Statistics, 1999.
  • en T. Kariya, H. Kurata, Generalized Least Squares, Wiley, 2004.
  • en J. Wolberg, Data Analysis Using the Method of Least Squares: Extracting the Most Information from Experiments, Springer, 2005.

Legături externe[modificare | modificare sursă]