Teoria informației

De la Wikipedia, enciclopedia liberă
Salt la: Navigare, căutare

Teoria informației (a nu se confunda cu informatica) este o ramură a matematicii aplicate si a ingineriei electrice care se ocupă cu cuantificarea informației. La începuturi teoria informației s-a dezvoltat în direcția găsirii unor limite fundamentale ale compresiei datelor și comunicațiilor de date. Apoi, cu timpul, teoria informației s-a lărgit, găsind aplicații în multe alte domenii, inclusiv neurobiologie [1], evoluție [2], genetică [3], ecologie [4], termodinamică [5], calculatoare cuantice, detecția plagiatelor [6] și alte discipline care implică analiza datelor și exploatare de date (data mining) [7].

O importantă măsură în teoria informației este entropia informațională, mărime de regulă exprimată prin numărul mediu de biți necesar pentru stocarea sau comunicarea respectivei informații. Intuitiv, entropia cuantifică nivelul de incertitudine implicat de o variabilă aleatoare. De exemplu, o aruncare de monedă va avea entropie informațională mai mică decât o aruncare cu zarul.

Printre aplicațiile teoriei informației se numără compresia datelor fără pierderi (de exemplu algoritmul de compresie ZIP), cea cu pierderi (de exemplu MP3) și codificarea canalelor. Acest domeniu se află la limita mai multor domenii: matematică, statistică, informatică, fizică, neurobiologie și inginerie electrică. Impactul său a fost crucial pentru succesul misiunilor Voyager, inventarea CD-ului, dezvoltarea Internetului, studiile moderne ale lingvisticii și percepției umane, înțelegerii găurilor negre, și multor altor domenii.

Istoric[modificare | modificare sursă]

Teoria informației a fost inițiată de Ralph Hartley în 1928, pornind de la tratarea teoretică a problemelor de telecomunicații.

Evenimentul care a dus la crearea științei teoriei informației și care a adus-o în atenția publicului a fost publicarea de către Claude Shannon, un matematician și inginer american, a lucrării sale "O teorie matematică a comunicațiilor" în revista Bell System Technical Journal în iulie și octombrie 1948, lucrare care demult a devenit o lucrare clasică în domeniu. Shannon și-a propus să studieze din punct de vedere matematic problemele ce apar la transmiterea informațiilor cu ajutorul semnalelor în sistemele comunicațiilor electrice.

Înaintea acestei lucrări la Laboratoarele Bell din Statele Unite fuseseră dezvoltate unele idei limitate legate de teoria informației, toate presupunând evenimente de probabilități egale. Lucrarea din 1924 a lui Harry Nyquist, „Anumiți factori care afectează viteza telegrafului”, conține o secțiune teoretică ce cuantifică "informația" și "viteza liniei" pe care ea poate fi transmisă de către un sistem de comunicații, dând relația W = K \log m, unde W este viteza de transmisie a informației, m este numărul de nivele diferite de tensiune dintre care se poate alege la fiecare tact de timp, iar K este o constantă. Lucrarea lui Ralph Hartley din 1928, Transmisia informației, folosea cuvântul informație drept cantitate măsurabilă, care reflecta capacitatea receptorului de a distinge o secvență de simboluri de o alta, cuantificând astfel informația ca H = \log S^n = n \log S, unde S era numărul de simboluri posibile, iar n numărul de simboluri dintr-o transmisie. Unitatea naturală de informație era deci cifra zecimală, numită mai târziu hartley în cinstea autorului. Și britanicul Alan Turing a folosit în 1940-1942 idei similare în analiza statistică, conducând la spargerea cifrurilor mașinii germane de cifrat Enigma în timpul celui de-al Doilea Război Mondial.

Mare parte din matematica din spatele teoriei informației cu evenimente de probabilități diferite a fost dezvoltată pentru domeniul termodinamicii de către Ludwig Boltzmann și J. Willard Gibbs.

În lucrarea revoluționară a lui Shannon, elaborată în cea mai mare parte la Laboratoarele Bell până în 1944, el a introdus pentru prima oară un model calitativ și cantitativ al comunicației ca proces statistic ce stă la baza teoriei informației, deschizând cu propoziția:

"Problema fundamentală a comunicațiilor este aceea a reproducerii într-un punct, fie aproximativ, fie cu exactitate, a unui mesaj ales la un alt punct."

În această lucrare au fost definite următoarele idei:

Contribuții la dezvoltarea teoriei informației au adus Norbert Wiener (din 1948), Alexander Hincin (ru) (1953), Andrei Kolmogorov (1956). Printre cercetători români cu contribuții în acest domeniu se numără: Octav Onicescu, Silviu Guiașu etc.

Note[modificare | modificare sursă]

  1. ^ F. Rieke, D. Warland, R Ruyter van Steveninck, W Bialek, Spikes: Exploring the Neural Code. The MIT press (1997).
  2. ^ cf. Huelsenbeck, J. P., F. Ronquist, R. Nielsen and J. P. Bollback (2001) Bayesian inference of phylogeny and its impact on evolutionary biology, Science 294:2310-2314
  3. ^ Rando Allikmets, Wyeth W. Wasserman, Amy Hutchinson, Philip Smallwood, Jeremy Nathans, Peter K. Rogan, Thomas D. Schneider, Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences, Gene 215:1, 111-122
  4. ^ Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
  5. ^ Jaynes, E. T. (1957) Information Theory and Statistical Mechanics, Phys. Rev. 106:620
  6. ^ Charles H. Bennett, Ming Li, and Bin Ma (2003) Chain Letters and Evolutionary Histories, Scientific American 288:6, 76-81
  7. ^ David R. Anderson (1 noiembrie 2003). „Some background on why people in the empirical sciences may want to better understand the information-theoretic methods” (pdf). http://www.jyu.fi/science/laitokset/bioenv/en/coeevolution/events/itms/why. Accesat la 30 decembrie 2007.