Teoria informației

De la Wikipedia, enciclopedia liberă
Nu confundați cu Informatica.

Teoria informației este o ramură a matematicii aplicate și a ingineriei electrice care se ocupă cu studierea cuantificării, stocării și comunicării informației. Aceasta a fost propusă inițial de Claude E. Shannon în anul 1948, pentru a găsi limitele fundamentale ale procesării semnalelor și ale operațiilor din telecomunicații, precum compresia datelor, într-un articol remarcabil, intitulat „O teorie matematică a comunicației”. Apoi, cu timpul, teoria informației a fost extinsă, fiind aplicată în multe alte domenii, inclusiv în neurobiologie [1], evoluție [2], genetică [3], ecologie [4], termodinamică [5], calculatoare cuantice, detecția plagiatelor [6] și alte discipline care implică analiza datelor și exploatare de date (data mining) [7].

O importantă măsură în teoria informației este entropia informațională, mărime de regulă exprimată prin numărul mediu de biți necesar pentru stocarea sau comunicarea respectivei informații. Intuitiv, entropia cuantifică nivelul de incertitudine implicat de o variabilă aleatoare. De exemplu, o aruncare de monedă va avea entropie informațională mai mică decât o aruncare cu zarul.

Printre aplicațiile teoriei informației se numără compresia datelor fără pierderi (de exemplu algoritmul de compresie ZIP), cea cu pierderi (de exemplu MP3) și codificarea canalelor telecomunicaționale (codurile detectoare și corectoare de erori).

Acest sector științific se află la intersecția mai multor domenii de studiu tradiționale : matematică, statistică, informatică, fizică, neurobiologie și inginerie electrică. Impactul său a fost crucial pentru succesul misiunilor Voyager, inventarea CD-ului, dezvoltarea Internetului, studiile moderne în lingvistică și psihologia cognitivă (percepția senzorială umană), înțelegerii găurilor negre, genomică și multor altor domenii .

Istoric[modificare | modificare sursă]

Teoria informației a fost inițiată de Ralph Hartley în 1928, pornind de la tratarea teoretică a problemelor de telecomunicații.

Evenimentul care a dus la crearea științei teoriei informației și care a adus-o în atenția publicului a fost publicarea de către Claude Shannon, un matematician și inginer american, a articolului său „O teorie matematică a comunicației” în revista Bell System Technical Journal în iulie și octombrie 1948, articol care a devenit demult o lucrare clasică în domeniu. Shannon și-a propus să studieze din punct de vedere matematic problemele ce apar la transmiterea informațiilor cu ajutorul semnalelor în sistemele comunicațiilor electrice.

Înaintea acestei lucrări la Laboratoarele Bell din Statele Unite se obținuseră unele rezultate limitate privind teoria informației, toate presupunând evenimente de probabilități egale. Lucrarea din 1924 a lui Harry Nyquist, „Anumiți factori care afectează viteza telegrafului”, conține o secțiune teoretică ce cuantifică "informația" și "viteza liniei" pe care ea poate fi transmisă de către un sistem de comunicații, dând relația , unde W este viteza de transmisie a informației, m este numărul de nivele diferite de tensiune dintre care se poate alege la fiecare tact de timp, iar K este o constantă. Lucrarea lui Ralph Hartley din 1928, Transmisia informației, folosea cuvântul informație drept cantitate măsurabilă, care reflecta capacitatea receptorului de a distinge un șir de simboluri de un altul, cuantificând astfel informația ca , unde S era numărul de simboluri posibile, iar n numărul de simboluri dintr-o transmisie. Unitatea naturală de informație era deci cifra zecimală, numită mai târziu hartley în cinstea autorului. Și britanicul Alan Turing a folosit în 1940-1942 idei similare în analiza statistică, conducând la spargerea cifrurilor mașinii germane de cifrat Enigma în timpul celui de-al Doilea Război Mondial.

Mare parte din matematica din spatele teoriei informației cu evenimente de probabilități diferite a fost dezvoltată pentru domeniul termodinamicii de către Ludwig Boltzmann și J. Willard Gibbs.

În lucrarea revoluționară a lui Shannon, elaborată în cea mai mare parte la Laboratoarele Bell până în 1944, el a introdus pentru prima oară un model calitativ și cantitativ al comunicației ca proces statistic ce stă la baza teoriei informației, deschizând cu propoziția:

„Problema fundamentală a comunicației este aceea a reproducerii într-un punct, fie exact, fie aproximativ, a unui mesaj ales dintr-un alt punct.”

În această lucrare au fost definite următoarele idei:

Contribuții la dezvoltarea teoriei informației au adus Norbert Wiener (din 1948), Alexander Hincin (ru) (1953), Andrei Kolmogorov (1956).

Note[modificare | modificare sursă]

  1. ^ F. Rieke, D. Warland, R Ruyter van Steveninck, W Bialek, Spikes: Exploring the Neural Code. The MIT press (1997).
  2. ^ cf. Huelsenbeck, J. P., F. Ronquist, R. Nielsen and J. P. Bollback (2001) Bayesian inference of phylogeny and its impact on evolutionary biology, Science 294:2310-2314
  3. ^ Rando Allikmets, Wyeth W. Wasserman, Amy Hutchinson, Philip Smallwood, Jeremy Nathans, Peter K. Rogan, Thomas D. Schneider Arhivat în , la Wayback Machine., Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences, Gene 215:1, 111-122
  4. ^ Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
  5. ^ Jaynes, E. T. (1957) Information Theory and Statistical Mechanics, Phys. Rev. 106:620
  6. ^ Charles H. Bennett, Ming Li, and Bin Ma (2003) Chain Letters and Evolutionary Histories Arhivat în , la Wayback Machine., Scientific American 288:6, 76-81
  7. ^ David R. Anderson (). „Some background on why people in the empirical sciences may want to better understand the information-theoretic methods”. Arhivat din original (pdf) la . Accesat în . 

Legături externe[modificare | modificare sursă]

Wikicitat
Wikicitat
La Wikicitat găsiți citate legate de Teoria informației.