Computing Machinery and Intelligence

„Computing Machinery and Intelligence”
Autor	Alan Turing
Titlu original	„Computing Machinery and Intelligence”
Limbă	limba engleză
Publicată în	Mind[*][[Mind (journal)|​]]
Data publicării	1950

„Computing Machinery and Intelligence” (în traducere literală, „Mașinile de calcul și inteligența”) este un articol științific de referință scris de Alan Turing pe tema inteligenței artificiale. Lucrarea, publicată în 1950 în revista Mind^⁠(d), a fost prima care a prezentat publicului larg conceptul cunoscut astăzi sub numele de testul Turing.

Articolul lui Turing tratează întrebarea dacă „pot mașinile să gândească”. El spune că, din moment ce cuvintele „gândește” și „mașină” nu pot fi definite clar, ar trebui să „înlocuim întrebarea cu alta, care este strâns legată de ea și este exprimată în cuvinte relativ clare”. Pentru a face acest lucru, el a arătat nevoia de a găsi mai întâi o idee simplă și lipsită de ambiguitate care să înlocuiască cuvântul „gândește”, și în al doilea rând necesitatea de a explica exact ce „mașini” are în vedere și, în final, înarmat cu aceste instrumente, formulează o nouă întrebare, legată de prima, la care crede că poate răspunde afirmativ.

Testul Turing

„Interpretarea standard” a testului Turing, în care interogatorul are sarcina de a încerca să determine care jucător este un calculator și care este un om

Punem acum întrebarea: „Ce se va întâmpla când o mașină își asumă rolul lui A în acest joc?” Va decide greșit interogatorul la fel de des când se joacă jocul așa, față de atunci când se joacă cu un bărbat și o femeie? Aceste întrebări iau locul lui „Pot mașinile să gândească?”

În loc să încerce să stabilească dacă o mașină gândește, Turing sugerează că ar trebui să ne întrebăm dacă mașina poate câștiga un joc, numit „Jocul imitației”. La origine, jocul imitației, descris de Turing, este un simplu joc de societate care implică trei jucători. Jucătorul A este bărbat, jucătorul B este o femeie și jucătorul C (care joacă rolul interogatorului) poate fi de oricare sex. În Jocul imitației, jucătorul C nu poate vedea nici jucătorul A, nici jucătorul B (și îi cunoaște doar ca X și Y) și poate comunica cu ei doar prin note scrise sau orice altă formă care nu oferă detalii despre sexul lor. Punând întrebări jucătorului A și jucătorului B, jucătorul C încearcă să determine care dintre cei doi este bărbatul și care este femeia. Rolul jucătorului A este de a păcăli interogatorul să ia decizia greșită, în timp ce jucătorul B încearcă să-l ajute pe interogator să ia decizia corectă.

Turing propune o variantă a acestui joc care implică calculatorul:

Astfel, jocul modificat devine unul care implică trei participanți în camere izolate: un calculator (care este testat), un om, și un judecător (uman). Judecătorul uman poate conversa atât cu omul, cât și cu calculatorul tastând într-un terminal. Atât calculatorul, cât și omul încearcă să-l convingă pe judecător că ei sunt omul. Dacă judecătorul nu poate spune în mod constant care este care, atunci calculatorul câștigă jocul.

Cercetătorii din Regatul Unit au explorat „inteligența mașinilor” timp de până la zece ani înainte de apariția în 1956 a domeniului de cercetare a inteligenței artificiale (IA). A fost un subiect comun printre membrii Clubului Ratio^⁠(d), un grup informal de cercetători britanici în cibernetică și electronică, din care făcea parte și Alan Turing. Acesta din urmă vehicula noțiunea de inteligență a mașinilor cel puțin din 1941, și în 1947 el a făcut una dintre cele mai vechi mențiuni cunoscute despre „inteligența calculatoarelor”.

După cum consemnează Stevan Harnad^⁠(d), întrebarea a devenit „Pot mașinile să facă ceea ce putem face și noi (ca entități gânditoare)?” Cu alte cuvinte, Turing nu se mai întreabă dacă o mașină poate „gândi”; el se întreabă dacă o mașină poate acționa nediferențiat de felul în care acționează un gânditor. Această întrebare evită problema filozofică dificilă a predefinirii verbului „a gândi” și se concentrează în schimb pe capacitățile de acțiune pe care le face posibile capacitatea de a gândi, și pe modul în care un sistem cauzal le poate genera.

De când Turing și-a prezentat testul, acesta a fost extrem de influent, dar și criticat pe scară largă și a devenit un concept important în filosofia inteligenței artificiale^⁠(d). Unele dintre criticile sale, cum ar fi camera chinezească^⁠(d) a lui John Searle, sunt ele însele controversate. Unii au considerat că întrebarea lui Turing a fost „Poate un calculator, comunicând printr-un teleimprimator, să păcălească o persoană făcându-i să creadă că este uman?” dar pare clar că Turing nu vorbea despre păcălirea oamenilor, ci despre generarea capacității cognitive umane.

Mașini digitale

Turing observă și că trebuie să stabilim ce „mașini” dorim să luăm în considerare. El subliniază că o clonă umană, deși este făcută de om, nu ar fi un exemplu foarte interesant. Turing a sugerat că ar trebui să ne concentrăm pe capacitățile mașinilor digitale — mașini care manipulează cifrele binare de 1 și 0, rescriindu-le în memorie folosind reguli simple. El a dat două motive pentru aceasta.

Primul ar fi că nu există niciun motiv să speculăm dacă pot exista sau nu. Aceasta s-a făcut deja în 1950.

În al doilea rând, mașinile digitale sunt „universale”. Cercetările lui Turing asupra fundamentelor computației au demonstrat că un calculator digital poate, teoretic, simula comportamentul oricărei alte mașini digitale, dacă are suficientă memorie și suficient timp. (Aceasta este ideea esențială a tezei Church-Turing și a celei de mașină Turing universală^⁠(d)) Prin urmare, dacă orice mașină digitală poate „acționa ca și cum ar gândi”, atunci orice mașină digitală suficient de puternică poate face acest lucru. Turing scria: „toate calculatoarele digitale sunt într-un sens echivalente”.

Aceasta permite ca întrebarea inițială să fie și mai precisă. Turing reafirmă acum întrebarea inițială drept: „să ne fixăm atenția asupra unui anume calculator digital C. Este adevărat că modificând acest calculator pentru a avea spațiu adecvat de stocare, și mărindu-i în mod corespunzător viteza de acțiune și oferindu-i un program adecvat, C poate fi făcut să joace în mod satisfăcător rolul lui A în jocul imitației, rolul lui B fiind luat de un om?”

Prin urmare, Turing afirmă că accentul nu se pune pe întrebarea „dacă toate calculatoarele digitale s-ar descurca bine în joc sau dacă calculatoarele care sunt disponibile în prezent s-ar descurca bine, ci dacă ne putem imagina calculatoare care s-ar descurca bine”. Mai important este a considera progresele posibile în starea mașinilor de la acea dată, indiferent dacă există sau nu resursele disponibile pentru a crea așa ceva.

Nouă obiecții comune

După ce a clarificat întrebarea, Turing s-a îndreptat spre răspunsul ei: a luat în considerare următoarele nouă obiecții comune, care cuprind toate argumentele majore împotriva inteligenței artificiale ridicate în anii de când lucrarea sa a fost publicată pentru prima dată.

1. Obiecția religioasă: Aceasta afirmă că gândirea este o funcțiea sufletului nemuritor al omului, și deci o mașină nu poate gândi. „În încercarea de a construi astfel de mașini,” scria Turing, „nu ar trebui să uzurpăm puterea Lui de a crea suflete, cum nu o facem nici când procreăm copii: în oricare din cazuri, noi suntem instrumentele Lui în furnizarea de lăcașuri pentru sufletele pe care El le creează.”
2. Obiecția „capul în nisip”: „Consecințele mașinilor gânditoare ar fi prea înfricoșătoare. Să sperăm și să credem că ele nu vor putea gândi.” Această gândire este populară între intelectuali, întrucât ei cred că superioritatea derivă din inteligența mai mare și că posibilitatea de a fi depășiți în inteligență este o amenințare (întrucât mașinile au capacități eficiente de memorie și putere de procesare, este probabil ca ele să depășească capacitatea de învățare și cunoaștere a omului). Această obiecție este o eroare logică de tipul apel la consecințe^⁠(d), o confuzie între ce ar fi de dorit să se facă, și ce se poate sau nu (Wardrip-Fruin, 56).
3. Obiecția matematică: Această obiecție folosește teoreme matematice, cum ar fi teorema de incompletitudine a lui Gödel^⁠(d), pentru a demonstra că există limite la întrebările la care poate răspunde un sistem de calcul bazat pe logică. Turing sugerează că oamenii se înșeală ei înșiși prea des, și sunt mulțumiți de failibilitatea unei mașini. (Acest argument avea să fie reiterat de filosoful John Lucas în 1961 și de fizicianul Roger Penrose în 1989, și avea să poarte numele de argumentul Penrose–Lucas^⁠(d).)
4. Argumentul din conștiință: Acest argument, sugerat de profesorul Geoffrey Jefferson^⁠(d) în cuvântarea de la decernarea Medaliei Lister^⁠(d) pe 1948) afirmă că „doar când o mașină va putea să scrie un sonet sau să compună un concert din cauza gândurilor și emoțiilor simțite, și nu prin căderea întâmplătoare a simbolurilor, vom putea fi de acord că mașină egal creier.” Turing răspunde afirmând că o persoană nu are cum să știe dacă vreun alt individ în afară de ea are emoții, și ca urmare ar trebui acceptat testul. El adaugă: „nu doresc să dau impresia că nu cred că există vreun mister despre conștiință ... dar nu cred că aceste mistere trebuie neapărat să fie rezolvate înainte să putem răspunde la întrebare [cea dacă mașinile pot gândi].” (Acest argument, că un calculator nu poate avea experiențe sau înțelegere conștiente, avea să fie formulat în 1980 de filosoful John Searle în argumentul camerei chinezești^⁠(d). Răspunsul lui Turing este astăzi cunoscut ca „răspunsul cu celelalte minți^⁠(d)”.)
5. Argumenes din diverse disabilități. Aceste argumente au toate forma „un calculator nu va putea niciodată să facă X”. Turing oferă o selecție:

   Să fie bun, să fie creativ, frumos, prietenos, să aibă inițiativă, să aibă simțul umorului, să facă deosebirea între bine și rău, să facă greșeli, să se îndrăgostească, să îi placă căpșunile cu frișcă, să facă pe cineva să se îndrăgostească de el, să învețe din experiență, să folosească cuvintele corect, să se gândească la el însuși, să aibă diversitatea de comportament a unui om, să facă ceva cu adevărat nou.

   Turing arată că „pentru aceste afirmații nu se oferă de obicei niciun suport”, și că ele depind de presupuneri naive despre versatilitatea mașinilor din viitor, sau sunt „forme deghizate ale argumentului din conștiință”. El alege să răspundă la câteva din ele:
   1. Mașinile nu pot face greșeli. El arată că este ușor să programezi o mașină să lase impresia că face greșeli.
   2. O mașină nu se poate gândi la ea însăși (sau nu poate fi conștientă de sine^⁠(d)). Se poate cu siguranță scrie un program care poate raporta despre starea sa și procesele sale interne, în sensul simplu al unui Debugger^⁠(d). Turing afirmă că „o mașină poate fi fără îndoială propriul subiect de studiu.”
   3. O mașină nu poate avea prea multă diversitate a comportamentului. El arată că, dacă va avea suficientă capacitate de stocare, un calculator se poate comporta într-un număr astronomic de moduri diferite.
6. Obiecția lui Lady Lovelace: Una dintre cele mai celebre obiecții afirmă că calculatoarele nu sunt capabile de originalitate. Aceasta deoarece, conform Adei Lovelace, mașinile sunt incapabile de învățare independentă.

   Motorul Analitic nu are nicio pretenție să fie originea a vreunei idei. El poate face orice știm noi să-i ordonăm să facă. Poate urma o analiză; dar nu are puterea de a anticipa orice relație sau adevăr analitic.

   Turing sugerează că obiecția lui Lovelace se poate reduce la afirmația că calculatoarele „nu pot niciodată să ne ia prin surprindere” și afirmă că, dimpotrivă, calculatoarele pot suprinde oamenii, mai ales dacă consecințele diferitelor fapte nu sunt ușor de recunoscut. Turing afirmă și că Lady Lovelace era limitată de contextul în care scria, și dacă ar fi fost expusă la mai multe cunoștințe științifice din vremea lui Turing, ar fi fost evident că modul de stocare a informațiilor într-un creier este destul de similar celui dintr-un calculator.
7. Argumentul din continuitate în sistemul nervos: Cercetările neurologice moderne au arătat că creierul nu este digital. Chiar dacă neuronii transmit un impuls de tip totul-sau-nimic, atât momentul impulsului cât și probabilitatea ca el să aibă loc au componente analogice. Turing admite acest argument, dar afirmă și că orice sistem analogic poate fi simulat cu un grad rezonabil de acuratețe dacă există suficientă putere de calcul. (Filosoful Hubert Dreyfus avea să susțină acest argument împotriva „prezumției biologice” în 1972.)
8. Argumentul din informalitatea comportamentului: Acest argument spune că orice sistem guvernat de legi va fi predictibil și deci nu va fi cu adevărat inteligent. Turing răspunde că această idee rezultă din confuzia între legile comportamentului și legile generale de conduită, și că, la scară suficient de mare (așa cum e cazul la om) comportamentul mașinii va deveni din ce în ce mai greu de prezis. El afirmă că, doar pentru că nu putem vedea imediat ce legi există, nu înseamnă că ele nu există. El scrie: „cu siguranță nu știm circumstanțe în care am putea spune «am cercetat destul. Nu există asemenea legi.»”.(Hubert Dreyfus avea să susțină în 1972 că rațiunea umană și rezovlarea de probleme nu se bazează pe reguli formale, ci pe instincte sau conștiență care nu pot fi vreodată formalizate în reguli. Cercetări mai recente în domeniul IA, în robotică și inteligență computațională^⁠(d) încearcă să găsească regulile complexe care guvernează aptitudinile „informale” și subconștiente ale percepției, mobilității și identificării de șabloane.). Aici este inclus și argumentul Rămășagului lui Turing^⁠(d).
9. Percepția extrasenzorială: În 1950, percepția extrasenzorială (ESP) era un domeniu de cercetare activă, iar Turing a ales să îi dea credit, afirmând că s-ar putea crea condiții în care cititul minții nu va afecta testul. Turing a recunoscut că există „dovezi statistice covârșitoare” în favoarea telepatiei, referindu-se probabil la experimentele din anii 1940 ale lui Samuel Soal^⁠(d), membru al Societății pentru Cercetări Fizice^⁠(d).

Mașini care învață

În secțiunea finală a articolului, Turing detaliază gândurile sale despre mașinile care învață și cum ar putea juca ele cu succes jocul imitației.

Aici, Turing revine mai întâi la obiecția lui Lady Lovelace că mașina poate face doar ceea ce îi spunem noi să facă, și o aseamănă cu situația în care un om „injectează” o idee în mașină, la care mașina răspunde și apoi rămâne pe gânduri. El extinde acest gând printr-o analogie cu masa radioactivă dintr-un reactor nuclear de dimensiune subcritică, care trebuie asimilat mașinii, și compară ideea injectată cu un neutron care intră în reactor din exteriorul masei; neutronul provoacă o anumită perturbare care în cele din urmă se estompează. Turing se bazează apoi pe acea analogie și menționează că, dacă masa din reactor ar fi suficient de mare încât un neutron care intră în ea ar provoca o perturbare care ar continua să se amplifice până când întreaga masă ar fi distrusă, atunci masa ar fi supercritică. Turing pune apoi întrebarea dacă această analogie cu o masă supercritică ar putea fi extinsă la o minte umană și apoi la o mașină. El concluzionează că o astfel de analogie ar fi într-adevăr potrivită pentru mintea umană, spunând „se pare că există una pentru mintea umană. Majoritatea dintre ele par să fie «subcritice», adică să corespundă în această analogie maselor de dimensiuni subcritice. O idee prezentată unei astfel de minți va da, în medie, mai puțin de o idee ca răspuns. O proporție destul de mică sunt supercritice. O idee prezentată unei astfel de minți ar da naștere unei întregi „teorii” formate din idei secundare, terțiare, sau chiar mai îndepărtate”. În cele din urmă, el întreabă dacă o mașină ar putea fi făcută să fie supercritică.

Turing menționează apoi că sarcina de a putea crea o mașină care să joace jocul imitației este una de programare și el postulează că până la sfârșitul secolului va fi într-adevăr posibil din punct de vedere tehnologic să se programeze o mașină să joace acest joc. Apoi menționează că în procesul încercării de a imita o minte umană adultă devine important să se ia în considerare procesele care fac ca mintea adultă să se afle în starea ei actuală; pe care el le rezumă astfel:

1. Starea inițială a minții, să zicem la naștere,

2. Educația la care a fost supusă,

3. Alte experiențe, care nu trebuie descrise ca educație, la care a fost supusă.

Dat fiind acest proces, el întreabă dacă ar fi mai adecvat să programăm mintea unui copil decât mintea unui adult și apoi să supunem mintea copilului unei perioade de educație. El aseamănă copilul cu un caiet proaspăt cumpărat și speculează că datorită simplității sale ar fi mai ușor de programat. Problema este apoi împărțită în două părți: programarea minții unui copil, și procesul său de educație. El menționează că o minte de copil nu ar fi de așteptat să fie după cum dorește experimentatorul (programatorul) din prima încercare. Trebuie să existe un proces de învățare care implică o metodă cu recompense și pedepse care să selecteze modele dorite în minte. Întregul proces, menționează Turing, este în mare măsură similar cu cel al evoluției prin selecție naturală, unde asemănările sunt:

Structura mașinii copil = material ereditar

Modificări ale mașinii copil = mutații

Selecția naturală = judecata experimentatorului

În urma acestei discuții, Turing abordează anumite aspecte specifice ale mașinii care învață:

• Natura complexității inerente: mașina copil poate fi fie una cât se poate de simplă, pur și simplu menținând coerența cu principiile generale, fie una cu un sistem complet de inferențe logice programat în ea. Acest sistem mai complex este explicat de Turing ca „..ar fi de așa natură încât spațiul de stocare al mașinii ar fi ocupat în mare măsură cu definiții și propoziții. Propozițiile ar avea diverse tipuri de statut, de exemplu, fapte bine stabilite, presupuneri, teoreme demonstrate matematic, enunțuri date de o autoritate, expresii având forma logică de propoziții-valoare, dar nu pot fi descrise ca propoziții, dar nu de convingeri-valori. Unele propoziții ar putea fi descrise ca «imperative». Mașina ar trebui să fie construită astfel încât, de îndată ce un imperativ este clasificat drept «bine stabilit», acțiunea corespunzătoare să aibă loc automat”. În ciuda acestui sistem logic încorporat, inferența logică programată nu ar fi una formală, ci mai degrabă una mai pragmatică. În plus, mașina s-ar baza pe sistemul său logic încorporat printr-o metodă de „inducție științifică”.

• Ignoranța experimentatorului: O caracteristică importantă a unei mașini care învață, pe care Turing o subliniază, este ignoranța de către învățător față de starea internă a mașinii în timpul procesului de învățare. Aceasta este în contrast cu mașinile convenționale cu stări discrete în care obiectivul este de a avea o înțelegere clară a stării interne a mașinii în fiecare moment în timpul calculului. Se va vedea că mașina face lucruri pe care de multe ori nu le putem înțelege sau ceva ce considerăm a fi complet aleatoriu. Turing menționează că acest caracter specific conferă unei mașini un anumit grad din ceea ce noi considerăm a fi inteligență, prin aceea că comportamentul inteligent constă într-o abatere de la determinismul complet al calculului convențional, dar numai atâta timp cât abaterea nu dă naștere la bucle inutile sau la un comportament aleatoriu.

• Importanța comportamentului aleatoriu: deși Turing avertizează cu privire la comportamentul aleatoriu, el menționează că inculcarea unui element de aleatoriu într-o mașină care învață ar fi de valoare într-un sistem. El menționează că aceasta ar putea avea o valoare acolo unde ar putea exista mai multe răspunsuri corecte sau unele la care o abordare sistematică ar investiga mai multe soluții nesatisfăcătoare la o problemă înainte de a găsi soluția optimă care ar face ca procesul sistematic să fie ineficient. Turing mai menționează că procesul de evoluție ia calea mutațiilor aleatorii pentru a găsi soluții în beneficiul unui organism, dar admite și că, în cazul evoluției, metoda sistematică de a găsi o soluție nu ar fi posibilă.

Turing concluzionează speculând despre un moment în care mașinile vor concura cu oamenii în numeroase sarcini intelectuale și sugerează sarcini care ar putea fi folosite pentru a începe acest lucru. Turing sugerează apoi că sarcinile abstracte, cum ar fi jocul de șah, ar putea fi un loc bun ca început pentru o altă metodă pe care el o formulează drept „... cel mai bine este să oferim mașinii cele mai bune organe de simț pe care banii le pot cumpăra și apoi să o învățăm să înțeleagă și să vorbească engleza.”

O examinare a dezvoltării inteligenței artificiale care a urmat dezvăluie că mașina de învățare a urmat calea abstractă sugerată de Turing, ca în cazul Deep Blue, un calculator de joc de șah dezvoltat de IBM, care l-a învins pe campionul mondial Garry Kasparov și numeroasele jocuri de șah pe calculator care pot depăși majoritatea amatorilor. În ceea ce privește a doua sugestie pe care o face Turing, ea a fost comparată de unii autori cu o chemare la găsirea unui simulacru^⁠(d) de dezvoltare cognitivă umană. Asemenea încercări de a găsi algoritmii de bază prin care copiii învață trăsăturile lumii din jurul lor abia încep să fie efectuate.

Bibliografie

• Brooks, Rodney (1990), „Elephants Don't Play Chess” (PDF), Robotics and Autonomous Systems, 6 (1–2), pp. 3–15, CiteSeerX 10.1.1.588.7539 , doi:10.1016/S0921-8890(05)80025-9, accesat în 30 august 2007 
• Crevier, Daniel (1993). AI: The Tumultuous Search for Artificial Intelligence [IA: tumultoasa căutare a inteligenței artificiale] (în engleză). New York, NY: BasicBooks. ISBN 0-465-02997-3. 
• Dreyfus, Hubert (1972), What Computers Can't Do, New York: MIT Press, ISBN 978-0-06-011082-6 
• Dreyfus, Hubert; Dreyfus, Stuart (1986), Mind over Machine: The Power of Human Intuition and Expertise in the Era of the Computer, Oxford, UK: Blackwell 
• Dreyfus, Hubert (1979), What Computers Still Can't Do, New York: MIT Press .
• Harnad, Stevan; Scherzer, Peter (2008), „First, Scale Up to the Robotic Turing Test, Then Worry About Feeling”, Artificial Intelligence in Medicine, 44 (2), pp. 83–9, CiteSeerX 10.1.1.115.4269 , doi:10.1016/j.artmed.2008.08.008, PMID 18930641, arhivat din original la 8 februarie 2012, accesat în 29 august 2010 .
• Haugeland, John (1985), Artificial Intelligence: The Very Idea, Cambridge, Mass.: MIT Press .
• Moravec, Hans (1976), The Role of Raw Power in Intelligence, arhivat din original la 3 martie 2016, accesat în 7 noiembrie 2007 
• Hofstadter, Douglas (1979), Gödel, Escher, Bach: an Eternal Golden Braid .
• Lucas, John (1961), „Minds, Machines and Gödel”, În Anderson, A.R., Minds and Machines, arhivat din original la 19 august 2007, accesat în 2 decembrie 2022 
• Moravec, Hans (1988), Mind Children, Harvard University Press 
• Penrose, Roger (1989), The Emperor's New Mind: Concerning Computers, Minds, and The Laws of Physics, Oxford University Press, ISBN 978-0-14-014534-2 
• Russell, Stuart J.; Norvig, Peter (2003), Artificial Intelligence: A Modern Approach [Inteligența artificială: o abordare modernă] (în engleză) (ed. 2), Upper Saddle River, New Jersey: Prentice Hall, ISBN 0-13-790395-2 
• Searle, John (1980), „Minds, Brains and Programs” (PDF), Behavioral and Brain Sciences, 3 (3), pp. 417–457, doi:10.1017/S0140525X00005756 
• Turing, Alan (octombrie 1950), „Computing Machinery and Intelligence” (PDF), Mind, LIX (236), pp. 433–460, doi:10.1093/mind/LIX.236.433 
• Saygin, A. P. (2000). „Turing Test: 50 years later”. Minds and Machines. 10 (4): 463–518. doi:10.1023/A:1011288000451. 
• Noah Wardrip-Fruin and Nick Montfort, eds. (2003). The New Media Reader. Cambridge: MIT Press. ISBN: 0-262-23227-8ISBN 0-262-23227-8. "Lucasfilm's Habitat" pp. 663–677.

Legături externe

• PDF cu textul integral al lucrării
• Saygin, Ayse Pinar; Cicekli, Ilyas; Akman, Varol (1999). „An analysis and review of the next 50 years”. Minds and Machines: 2000. CiteSeerX 10.1.1.157.1592 .