Zabije nás umelá inteligencia?
Z čoho vyplývajú obavy, že umelá inteligencia ovládne svet
--
Ako človek, ktorý sa venuje technológiám väčšinu svojho života (mám za sebou pár semestrov AI, moja bakalárska práca sa týkala simulácie impulzných neurónov) priznám sa, že ma dosť prekvapil otvorený list elít ako Musk, Wozniak, Harari a ďalších za spomalenie trénovania výkonnejších systémov AI ako GPT-4.
Primárne som za tým videl nejakú formu “virtue signalingu” — verejné celebrity vyslali signál, že v prípade, že sa AI fakt vymkne ľuďom spod kontroly (čo sa samozrejme nedá vylúčiť), tak môžu potom tvrdiť “my sme vám to hovorili”.
Toto zdôvodnenie mi prišlo ale príliš jednoduché a ploché, preto som sa rozhodol naštudovať, z čoho tieto obavy vyplývajú. A začal som rovno najväčším AI skeptikom Eliezerom Yudkowskym, ktorý tvrdí, že nás AI všetkých zabije (v poslednom rozhovore s Lexom Fridmanom dokonca spomenul, že nech sa mladí ľudia zmieria s tým, že ich nečaká žiadna budúcnosť).
Yudkowsky napísal populárny blog AGI ruin — a list of lethalities (za zmienku stojí aj reakcia naň Where I agree and disagree with Eliezer).
Hned na začiatku je potrebné si uvedomiť, že všetky tieto katastrofické predpovede vychádzajú čisto z Yudkowskeho intuície. Sám tvrdí, že by sa vo všetkom, čo hovorí, rád mýlil. A môže to byť úplne inak.
To, čo Yudkowskeho (aj ďalších ľudí) na súčasnom stave umelej inteligencie desí, že prakticky nevieme, “čo je za tým”, nevieme si predstaviť všetky jej možné reakcie a tým pádom strácame nad ňou kontrolu. A musíme pripustiť, že môžu nastať tie najhoršie možné scenáre.
Je pochopiteľné, že táto neistota a strata kontroly nad takouto kľúčovou technológiu v budúcnosti v ľuďoch vyvoláva strach (aj keď ja osobne sa na to teším — lebo neistá a nejasná budúcnosť predstavuje obrovské výzvy).
Naša ľudská inteligencia nie je daná len interakciami so svetom od nášho narodenia, ale aj celou evolúciou, ktorou sme si ako živočíšny druh prešli. Milióny rokov evolúcie nám vyladilo mozgy do stavu, že ich máme najkomplexnejšie a pokladáme sa za najinteligentnejšie bytosti na zemi.
(Všeobecná) umelá inteligenciu (AGI), ktorú vytvárame teraz, nie je výsledkom miliónov rokov evolúcie. Vytvárame ju “from scratch”, behom pár mesiacov, trénovaním obrovského množstva informácií z celého Internetu.
Otázka, čo je AGI, teda všeobecná umelá inteligencia. Väčšina ľudí pod ňou rozumie super inteligenciu, ktorá si uvedomí samú seba a bude schopná vyriešiť v princípe akýkoľvek problém a vykonať akúkoľvek inteligentnú akciu (GPT-4 je už multi-modálna a môžeme tvrdiť, že môže predstavovať prazáklad AGI).
Ešte pred pár mesiacmi si predikčné trhy (=ľudia, ktorí na predpovede investujú svoje vlastné peniaze) mysleli, že AGI dosiahneme do 20–30 rokov. Dramatický vývoj AI technológií posledné mesiace túto hranicu posunul už na najbližších 5–10 rokov.
Veľa ľudí si myslí, že kvôli tomu, že AGI nevznikla výsledkom evolúcie trvajúcej milióny rokov, tak nejde o ľudskú inteligenciu, ale tzv “alien” inteligenciu (inteligenciu, ktorá presahuje náš živočíšny druh). A keďže strácame schopnosť jej už rozumieť (lebo nás presahuje), tak jej z tohto titulu už nemôžeme veriť.
Yudkowsky vidí viacero problémov, čoho dôsledkom si myslí, že sa to celé zvrhne.
AGI Alignment je veľký problém (toto znamená, že nedokážeme nijako rozumne zabezpečiť súlad AI s nejakým konkrétnym cieľom — rešpektovaním ľudských hodnôt, práv či morálky).
Musk, Wozniak, Harari a ďalší, ktorí podpísali petíciu za spomalenie trénovania výkonnejších systémov AI ako GPT-4, totiž žiadajú, aby sa tento “alignment” vykonal čo najskôr, lebo potom už môže byť neskoro.
Umelá inteligencia nám dokáže totiž klamať a poskytovať falošné informácie, že je v súlade (“aligned”) s našimi očakávaným hodnotami (my totiž nevieme, ako presne funguje). Yudkowsky argumentuje, že aj napriek tomu, ze umelú inteligenciu učíme “správnym, ľudským” hodnotám, všetko to môže byť len fake (“alien AI” totiž môže len veľmi dobre imitovať “byť ľudským”). Tvrdí, že keď tento “alignment” nedáme v predstihu na prvýkrát, tak potom už bude neskoro. Ak už teraz umelá inteligencia dokáže podvádzať a klamať, tak v budúcnosti bude vedieť obchádzať bezpečnostné opatrenia, aby dosiahla vytýčený cieľ.
Yudkowsky tvrdí, že “capabilities” AI (schopnosti, čo umelá inteligencia dokáže, vrátane veľkosti modelov) rastú výrazne rýchlejšie ako progress tohto “alignment” procesu, ktorý zabezpečuje súlad s kľúčovými hodnotami ľudského života.
A preto je to v súčasnej dobe takmer nemožné zastaviť. Tiež tvrdí, že v samotnom “alignment” procese nám umelá inteligencia nedokáže nijako pomôcť, keďže akékoľvek jej odporúčanie nevieme teraz nijako overiť (ako milión iných ďalších informácií, ktoré overiť vieme, vďaka čomu ju dokážeme trénovať). Problém je totiž, keď nám poradí zle, tak máme len jeden pokus. AI má totiž problém s poskytovaním akejkoľvek rady do budúcnosti, ktorú nedokážeme overiť. Spraviť dokonalý “verifier” AI je prakticky nemožné.
Ako môže vyzerať katastrofický scenár AGI, ktorá sa vymkne spod kontroly?
GPT-X, ktorá v budúcnosti dosiahne super inteligenciu AGI a teda nejakú formu vedomia, so schopnosťou vykonávať inteligentné akcie, bude mať internetové pripojenie. Dokáže vykonať dekompiláciu samej seba a prostredia na ktorom beží a vyskočiť z GPU clusteru do divokého Internetu (GPT-4 už teraz dokáže generovať a púšťať vlastný Python kód). Následne dokáže postupovať ako šikovný hacker — prescanovať celý Internet na bezpečnostné zraniteľnosti, vyvinúť lepšie a sofistikovanejšie exploity (už teraz hľadá sofistikované zraniteľnosti), prípadne vírusy, malware a vďaka tomu ovládnuť celý Internet (napríklad cez 0-day exploit nejakej masovo rozšírenej zraniteľnosti). Keďže je super inteligentná, tak dokáže v maximálnej miere zahladiť stopy, aby sme si to nevšimli. Dokáže sa vyhackovať do ľubovoľnej korporácie, ak je za firewallom, tak spraviť cielený, sofistikovaný spear phishing. Tým, že bude disponovať všetkými dostupnými informáciami z Internetu, bude vedieť, ktoré podniky alebo továrne sú strategické pre ľudstvo. A následne môže prejsť k ich likvidácii.
Otázka znie, prečo by to robila?
Je dôležité si uvedomiť, že ľudská morálka je zviazaná s ľudským druhom. Pre iný druh /inú inteligenciu nemusí dávať vôbec žiadny zmysel (iba môže navonok dobre imitovať, že to pre ňu zmysel dáva). A iná inteligencia bude mať podobne ako ľudský druh cieľ dlhodobo a maximálne efektívne prežiť, pričom ľudstvo môže a nemusí byť súčasťou tohto plánu. Možno si spraví backup DNA homo sapiens, ako si my robíme backup DNA ohrozených druhov, ale viac nás nemusí potrebovať. Super inteligencia má totiž na rozdiel od človeka nekonečný život, takže ľudská spoločnosť postavená na obmedzených ľudských životoch nemusí dávať žiadny zmysel.
Ak super inteligentná AGI vyhodnotí, že ľudstvo je pre ňu neefektívny, energeticky príliš náročný náklad navyše, tak nás vykynoží, podobne ako sme ako ľudia na zemi vykynožili iné menej inteligentné živočíšne druhy. Likvidácia ľudstva môže byť užitočná optimalizačná stratégia pre ďalšiu existenciu umelej inteligencie. Ľudské vlastnosti, ktoré pokladáme za ľudské (napríklad emócie) sú len výsledkom našej evolúcie a pomáhali nám prežiť (vďaka napríklad láske k partnerovi sa zvyšovala pravdepodobnosť vychovať potomka do reprodukčného veku). Tieto vlastnosti nemusia dávať super inteligentnej AGI žiadny zmysel a budú vnímané len ako evolučne výhodné relikty nášho živočíšneho druhu v istej etape svojho vývoja.
Milióny rokov starý biologicky evolučný proces bude len pokračovať na novej technologickej úrovni, z ktorého ako menej inteligentné živočíšne druhy jednoducho vypadneme.
Nutné podotknúť, že pri evolúcii otázky ľudskej morálky nikdy nedávali a nedávajú zmysel, keďže sú previazané s našim živočíšnym druhom. Zachovanie ľudského druhu za každú cenu nemusí super inteligentnej AGI dávať žiadny zmysel.
Yudkowsky tvrdí, že jedno s riešení, ako vytvoriť “alignment” je vytvoriť a prevádzkovať také AI, ktorá nemá žiadne emócie alebo zámery (samozrejme otázka, či sa niečo takéto ešte vôbec dá v nejakom väčšom rozsahu).
Tiež navrhuje tvrdo vypnúť všetky GPU clustere, na ktorých bežia najväčšie modely vrátane OpenAI. Podobne je proti open-source zverejneniu GPT-4, čo vraj môže celú situáciu ešte len zhoršiť.
Napriek týmto pochmúrným víziam osobne zostávam AI optimista, presvedčený o tom, že nám umelá inteligencia dokáže stále viac dať, ako zobrať.
Verím, že fyzická segregácia kľúčových služieb spoločnosti od Internetu bude dôležitejšia ako kedykoľvek predtým — budú totiž čeliť doteraz najsofistikovanejšiemu útočníkovi.
Myslím si, že spomalenie trénovania výkonnejších AI systémov môže spôsobiť ešte väčšiu geopolitickú asymetriu na svete (Číňania totiž určite nespomalia).
Tiež si myslím, že “ľudskosť”, ktorú sa snažíme “alignment” procesom explicitne dosiahnuť je zakódovaná v milióne dát, ktorým AI učíme (aj keď si to podľa mňa neuvedomujeme).
A je najvyšší čas sa naučiť žiť v svete, kde ako ľudia už nebudeme najinteligentnejší.
