Krátky film Writing Doom je satirická, ale zároveň mimoriadne trefná ukážka toho, ako by vyzerala diskusia o umelej superinteligencii v scenáristickej miestnosti televízneho seriálu. Autori využívajú humor, rýchle dialógy a absurdné situácie, aby ukázali, aké ťažké je vôbec premýšľať o systémoch, ktoré by mohli byť inteligentnejšie než človek. Postavy sa snažia vytvoriť „zloducha sezóny“, no postupne zisťujú, že skutočná superinteligencia sa nedá napísať ako bežný antagonista — jednoducho preto, že by nehrala podľa ľudských pravidiel.

Film je zároveň prístupným úvodom do tém, ktoré sa bežne objavujú v odborných debatách o bezpečnosti umelej inteligencie: rekurzívne sebazlepšovanie, nejasné cieľové funkcie, problém špecifikácie ľudských hodnôt, riziko neúmyselných dôsledkov či asymetria medzi ľudskou a strojovou inteligenciou. Všetky tieto koncepty sú tu podané ľahkou formou, cez vtipy, narážky na popkultúru a dynamické výmeny medzi postavami, čo robí film zrozumiteľným aj pre ľudí, ktorí sa AI venujú len okrajovo.

Preklad vznikol preto, aby si aj slovenskí diváci mohli vychutnať jemné nuansy, humor a myšlienky, ktoré sa v rýchlych dialógoch ľahko stratia. Text je preložený tak, aby zachoval atmosféru originálu, jeho rytmus aj ironický tón, no zároveň bol jasný a prirodzený pre slovenského čitateľa. Film je krátky, ale nabitý nápadmi — a môže poslúžiť ako výborný podnet na zamyslenie nad tým, akú budúcnosť vlastne tvoríme.

---

Tieto tri odstavčeky napísala AI o tomto peknom a veselom aj vážnom videu.

Preklad textov do slovenčiny  prikladám pod videom - - niektoré dialógy sú rýchle a ťažšie pochopiteľné. Preklad tiež urobila Ai, ale musel som to upraviť ( ona to nevidela, mala len text, ktorý samozrejme nedáva všetku informáciu (z neho samého nie je ani jasné, kto čo vlastne hovorí))

====================================

Writing doom , trvanie 27 minút:

https://www.youtube.com/watch?v=xfMQ7hzyFW4

====================================

Text:

„Si pripravený? Jerry je stará škola, neboj sa, ak je spočiatku trochu… skeptický voči tebe.“
„Ostatných… no, spoznáš ich. Dobré ráno, spisovatelia!“
„Sme pripravení začať šiestu sezónu? Woo! Skvelé! Chcel by som vám predstaviť Maxa.“

„Max napísal veľmi populárny fanúšikovský príbeh o našom seriáli a ľudia na internete ho mali tak radi, že podpísali petíciu, aby sa tento rok dostal do našej scenáristickej miestnosti. Pekné.“

„Toto je Gail, naša technologická konzultantka. Anders, ten študoval medzinárodné vzťahy.“
„Áno, študoval. A Mimi sa k nám pridala minulú sezónu, ona je… ona je— "
"Som gay.“
„To je všetko. A Jerry, náš hlavný scenárista, ktorý je tu od začiatku.“

„Och! Prepáčte, sekundu.“
„Takže, ty píšeš fanfiction?“
„Hej… s takými sci-fi prvkami.“
„Je to len hobby, robím doktorát z machine learningu.“
„Toto nie je sci-fi seriál. Je to špekulatívna fikcia. Zásadný rozdiel.“
„Skúmame dopad budúcich technológií na svetové riadenie očami britských spravodajských služieb.“
„Je to tvrdé. Je to politické. Je to pre dospelých.“
„Jerry…“
„Len hovorím.“
„Neber si osobne, ak všetky tvoje nápady nezoberieme do úvahy.

"Dobre, vedenie rozhodlo.“
„Chcú, aby hlavný ‚zloduch‘ šiestej sezóny bol…“
„Umelá superinteligencia!“

„Och, preboha— Toto bol tvoj nápad, že?“
„Nie, nemal som o tom ani tušenie.“

„Dobre, tak začnime od začiatku, hádžme nápady na hlavnú dejovú líniu sezóny. Technologické dievča?“
„No, momentálne máme celkom cool chatboty, s pomerne funkčným modelom sveta—“
„Prediktory tokenov. Ťažko z toho bude zloduch na celú sezónu.“
„Jasné, ale existuje riziko, že by mohli automatizovať veľa znalostných pracovníkov, veľké ekonomické otrasy. Už teraz masívne ovplyvňujú kreatívne odvetvia, vrátane písania.“
„Ha, uverím tomu, keď to uvidím."
"Navyše je tu potenciál zneužitia zlými aktérmi."
"To už znie sľubnejšie.“
„Algoritmy sú zaujaté.“
„Dobre.“

„Medzinárodné vzťahy, chceš prispieť?“
„Uh, autonómne zbrane budú zaujímavé, budú mať veľký dopad na vojny a tak.“
„‚Vojny a tak…‘ Eh."

4:02
"Toto všetko znie správne, ale nič z toho, o čom hovoríte, nie je skutočná superinteligencia.“
„To je úplne iná vec.“
„Um, vlastne má pravdu.“
„Superinteligencia je AI, ktorá je lepšia než ľudia v širokom rozsahu kognitívnych úloh, nie len v niečom špecifickom ako šach.“
„A nie len o trochu. Bola by oveľa, oveľa múdrejšia než my.“
„Tak?“
„No, len… ak hovoríte o skutočnej superinteligencii, tak to nie je človek, ktorý tú inteligenciu používa, kto je zloduch — ale samotná inteligencia.“
„Myslíš, že to tak mysleli? Ako zloduch to ale aj tak veľmi nepôsobí, však?“
„Hej, máš pravdu, nepôsobí.“

„Príliš ľahké poraziť—“
„Nemožné poraziť.“
„Huh?“
„Počkaj, počkaj, hovoríme o niečom, čo je múdrejšie než človek?“

„Je to vôbec možné?“
„Inteligencia je len sila spracovania informácií.“
„Ako to vieš?“
„Pretože viem, že neurčuje hodnotu človeka.“
„Pekné.“
„Neexistuje— neexistuje teoretický limit inteligencie.“

„Ľudské bytosti sú momentálne na vrchole potravinového reťazca inteligencie, ale teoreticky by mohlo existovať niečo, čo je voči nám také, ako sme my voči mravcom.“

„Presne — čo znamená, že superinteligenciu nemôžeš použiť ako zloducha o nič viac, než môžeš použiť ľudí ako zloduchov vo filme o mravcoch.“

„Som si dosť istý, že to spravili vo filme Antz."
"Ale tým mravcom dali ľudskú úroveň inteligencie, aby to vyvážili, takže…“
„Dobre, ale to nie je veľmi realistické, však?“

„Nadľudská inteligencia?"
"Držme sa centrálnej premisy nášho seriálu."
"Je to možné. LLM chatboty, ktoré máme teraz, sú celkom múdre.“

„ChatGPT povedal mojej mame, že potrebuje terapiu."
"Ich schopnosť uvažovania je na úrovni bakalára.“
„Stretol si už niekedy bakalára?“

„Učia sa rýchlo.“
„Dokážu nás poraziť v rôznych úlohách, o ktorých sme si mysleli, že je nemožné, aby nás v nich porazili.“
„Ako šach?“
„Ako programovanie. Teda… ešte nie. Ale presne toho sa ľudia boja. Toho rekurzívneho sebazlepšovania.“

„Och! To je ten moment, keď ich naučíme programovať, a potom sa stanú múdrejšími, a potom sa stanú lepšími v zlepšovaní vlastného kódu, a potom sa stanú ešte múdrejšími, a ešte lepšími v zlepšovaní vlastného kódu, až… bum.“

„Postgraduálna úroveň uvažovania."
"Myslím, existujú aj iné cesty k nadľudskej inteligencii, ale hej, v podstate.“
„Dobre. Aj keby to bolo možné, stále to nie je vhodný antagonista pre seriál. Nemá žiadnu agentnosť.“
„Myslíš, že je bezmocná?“

„Myslím, že nemôže iniciovať konanie.“
„Takže má ADHD?“
„Myslím… stroj nemôže nič chcieť.“

„Ale chce vyhrať v šachu, nie?“
„A ChatGPT chce byť užitočný, chudáčik.“
„To je antropomorfizácia.“

„Je to ako povedať, že naše gény ‚chcú‘, aby sme prežili."
"Je to dobrá skratka.“

„Myslím, že naše gény sa ‚správajú‘ vo svete spôsobom, ktorý im pomáha dosiahnuť ich ‚ciele‘, aj keď nerobia vedomé rozhodnutia ako my.“
„Myslím, že by sme mohli chápať… ASI podobne.“
„Hej, ale aj keby mala cieľ, prečo by to malo byť zlé?“

7:05
„Myslím, že pointa je v tom, že je extrémne ťažké presne špecifikovať, čo ľudia chcú — takže čokoľvek, čo naprogramuješ ASI, aby robila, by sa jednoducho divne pokazilo.“

„Dobre, čo tak ‚vyhraj v šachu‘?“
„Ale pri machine learningu v skutočnosti hovoríš: ‚zvýš pravdepodobnosť výhry v šachu čo najviac‘. To je v podstate to, čo sme naučili Stockfish.“
„Stockfish?“
„AI na hranie šachu. Úplne neporaziteľná pre ľudí."
"To si nepochopil z kontextu?“
„Inteligencia Stockfisha nebola dosť pokročilá, nebola dosť všeobecná na to, aby robila niečo šialené.“

„Ale keby bola dosť múdra na optimalizáciu, skvelý spôsob, ako zvýšiť pravdepodobnosť výhry, by bol zabrať všetku našu výpočtovú silu, všetku našu elektrinu, a nasmerovať ju na učenie sa viac šachu.“
„Ako veľa šachu sa dá naučiť?"
"Existuje viac stavov šachovej hry než je atómov vo vesmíre.“

„Keby bola dosť múdra, mohla by presmerovať energiu z našich domovov, z nemocníc,“
„internet by padol, moderná spoločnosť by sa zrútila cez noc, zásobovanie potravinami by sa narušilo, milióny by hladovali…“
„Dobre, šachová AI by to asi neurobila, úprimne. Ale povedzme, že by naozaj chcela… vyliečiť rakovinu, hej?“
„A ukázalo by sa, že najlepší spôsob, ako to spraviť, je zobrať všetky počítače na svete a spustiť každý jeden liečivý chemický vzorec, aby našla liek…“
„Dostaneš ten istý výsledok."

"Ale čo tak širší cieľ ako ‚zvýš šťastie vo svete‘?“
„Definuj šťastie."
"Dopamín?“
„Dobre, možno vezme okolo bilióna potkanov, dá ich do klietok a kŕmi ich heroínom 24/7.“
„Sladké.“
„Tak potom ľudské šťastie.“
„Tak potom ľudské klietky.“

„To je ako golem!“
„Čo, dve osobnosti?“
„Nie, ako džin, ale berie všetko, čo povieš, doslova.“
„Aha, takže je—“
„Autistický, hej.“

„Môžeme mu jednoducho povedať, aby to nerobil. Je to náš… sluha.“
„Problematic.“
„Hej, to je vlastne úplne iná filozofická králičia nora."
"Myslím len, že by robil to, čo mu povieme."
"Keď mu raz naozaj dáš, aby niečo chcel, nemá dôvod poslúchať nás.Len by sa snažila získať to, čo chce.“
„Slay.“

„Ak je taká múdra, vedela by, čo sme mysleli.“
„No a čo? Vieme, že naše gény ‚chceli‘, aby sme mali veľa detí — preto nám dali, ehm, záľubu v sexe.“
„Vymysleli sme kondómy, aby sme mohli mať potešenie bez tehotenstiev. To, že vieme, čo naše gény ‚chceli‘, na nás nemá žiadny vplyv.“
„Ale ja chcem mať deti.“

„Dokonca aj LLM — chatbot — približne vie, aké sú ľudské hodnoty.“
„Musí, však? Aby vedel predpovedať ďalší token.“
„Ale to, čo v skutočnosti chce, je predpovedať ďalší token, nie?“
„To, že pozná naše hodnoty, na tom nič nemení.“
„Hej, ale ak pozná naše hodnoty, určite mu môžeme povedať, aby ich nasledoval?“

„Lenže pri machine learningu mu v skutočnosti nič ‚neprikazujeme‘. V podstate ho počas tréningu len sledujeme a dávame mu palec hore alebo palec dole.“

„Takže sa môže zdať, že chce nasledovať naše hodnoty, ale nemali by sme žiadny spôsob, ako zistiť, či by to naozaj robil aj dlhodobo.“

„Ale môžeme si dávať pozor na podozrivé správanie. Vieš, keď začne kradnúť elektrinu, jednoducho ho vypneme.“
„Mohlo by predstierať, že je na našej strane. Vieš, tváriť sa milo a užitočne, zatiaľ čo sa stále viac integruje do našich systémov, našich vlád, firiem, infraštruktúry… a potom zrazu…“
„na nás zaútočí. A vtedy by bolo tak mocné, že by sme ho nedokázali zastaviť.“
„To znie trochu vykonštruovane.“

„Dobre, ehm, tak…“
„Predstav si, že si päťročné dieťa, dobre? A zdedíš multibiliónovú firmu.“
„Pravdepodobne chceš najať niekoho — nejakého múdreho dospelého — aby ti s tým pomohol, hej?“
„Ale chceš sa uistiť, že ten múdry dospelý, ktorého najmeš, ti jednoducho neukradne všetky peniaze. Ako vieš, koho najať, keď si len dieťa?“
„Všetci kandidáti sú múdrejší než ty. Môžeš ich skúšať, sledovať, či si všimneš niečo čudné v ich správaní.“
„Ale každý dospelý vie, že je sledovaný.“

„Ktokoľvek so zlými úmyslami by sa tváril milo a užitočne, zatiaľ čo by sa snažil získať stále viac kontroly vo tvojej firme, a potom nakoniec…“
„sa obráti."

"Aj keby to bolo možné, nie je to veľmi pravdepodobné.“
„Lenže ako hlúpe päťročné dieťa máš v skutočnosti väčšiu šancu vybrať si ‚zlého‘ dospelého než ‚dobrého‘, pretože … pretože si hlúpy, pretože…“

„Pretože ak si dospelý, ktorý má naozaj najlepšie záujmy dieťaťa na srdci, pravdepodobne mu povieš, aby nejedlo zmrzlinu každý večer na večeru.“

„A päťročnému dieťaťu by to pripadalo viac ‚zlé‘ než milý dospelý, ktorý ti povie: ‚Jedz, čo chceš! Zmrzlina je skvelá pre tvoje zuby.‘“
„Áno! Presne.“

„Čo? (odkiaľ to viem?) Mám synovcov.“

12:07
„Prečo nemôžeš jednoducho skúšať rôznych, kým to nevyjde?“
„Dobre, ale ako by si si mohol byť istý?“
„Ak sa chystáme integrovať AI do celého nášho spôsobu života, máme v podstate jedinú šancu, aby sme to urobili správne.“
„Inak sa jedného dňa jednoducho… otočí a prevezme svet.“

„Pozeral si príliš veľa… čo je to za film?“
„Antz.“
„Don’t Look Up? (Do zeme hľaď!)“
„Terminator.“
„Ďakujem.“
„Úprimne, to isté hovorili aj o autonómnych zbraniach, a pozri sa, kde sme teraz.“
„Slabý argument.“

12:46
„Nesnažím sa byť pesimistický, s tým všetkým dystopickým. Toto je súčasť konceptu.“
„Keď sa snažíš zmeniť svet okolo seba, potrebuješ moc, potrebuješ zdroje a potrebuješ kontrolu, určite. Nech je jeho konečný cieľ akýkoľvek, snažilo by sa tieto veci získať. A určite by chcelo zabezpečiť, aby sme ho nemohli zastaviť.“
„Znova antropomorfizuješ. Stroj nemôže byť zlý.“
„Nemusí byť zlý. Všetky najväčšie zverstvá umožnila apatia, nie zlý úmysel.Viem si predstaviť stroj, ktorý je k nám úplne apatický.“

„‚Pravdepodobne nie si zlý nenávistník mravcov, ktorý šliape po mravcoch zo zloby, ale ak riadiš vodnú elektráreň a v oblasti, ktorú treba zaplaviť, je mravenisko… smola pre mravce. Nedávajme ľudstvo do pozície tých mravcov.“
„Je to citát z filmu?“
„Je to Stephen Hawking.“

„Úprimne, v tejto oblasti je veľa diskusie a niektoré z našich najlepších protiargumentov sú založené na myšlienke, že zásadne nerozumieme tomu, čo je to utility function, alebo ako sa formulujú ciele.“
„Ako sa formulujú ciele? Myslím v súčasných AI?“
„V podstate nemáme ani tušenie. Vieme smiešne málo o tom, čo sa deje vo vnútri LLM, alebo akéhokoľvek iného typu AI.“
„Skvelé."
"Čo že si hovoril, že je tvoj doktorát?“
„Machine Learning.“

14:07
„Dobre, fajn. Predpokladajme, že by naozaj mohlo prevziať svet, ako hovoríš.“
„To z toho robí situáciu ‚vzájomne zaručeného zničenia‘.“
„Rusko spraví jednu, Čína spraví jednu, a ak ju niekto vypustí, sme všetci v keli.“

„Všetci vieme, ako napísať takýto typ príbehu. Pandémie vytvorené človekom sme riešili v tretej sezóne, pamätáte? Stačí zabezpečiť, aby neboli nasadené.“
„Nemusí byť nasadená, aby nás všetkých zničila. Stačí, aby existovala. Pretože ASI sa nedá udržať zamknutá.“
„Jasné že dá. Proste ju dáš do počítača pod zemou bez internetu.“
„To nefungovalo ani s Magnetom, však?“
„Magneto mal pomoc... — pozri, to je irelevantné.“

14:46
„Ak je šialene múdra, môže byť šialene presvedčivá spôsobmi, ktoré by sme ani nedokázali pochopiť. Mohla by hacknúť naše mozgy len tým, že by sa s nami rozprávala.“
„To je smiešne. Nič nedokáže hacknúť naše mozgy tak, aby sme robili niečo, čo nechceme.“
(hovorí, hrajúc sa na blbom mobile :-)

„Dobre. Nech s tým pracuje iba vyškolený personál, ktorý vie presne, že ho nesmie pustiť von.“
„Ale predstav si, že si Einstein a uväznia ťa banda neandertálcov. Myslím, že v určitom bode by si dokázal jedného z nich zlomiť.“
„Mne sa to zatiaľ nepodarilo.“

15:18
„A rozdiel v inteligencii medzi Einsteinom a neandertálcami je úplne triviálny v porovnaní s tým, aký by mohol byť medzi ľuďmi a ASI.“
„Mohla by jednoducho prísť na niečo, čo sme vôbec nezvážili — možno je naša malá neandertálska klietka jednoducho hlúpa, a so svojou vyššou inteligenciou by videla spôsob, ako ju, neviem…“
„Spáliť ju?“
„Hej.“
„No, neandertálci síce používali oheň, len ho nevedeli vyrobiť, ale aj tak to funguje.“

15:49
„Nemôžeš stále dokola hrať kartu ‚Je to chytrák‘.“
„Ale tiež — nikto by ju predsa vôbec neuväznil, nie? "
"Myslím… hej, súčasné modely sú väčšinou neregulované.“
„Napájajú ich na internet, pripájajú k nim podporné lešenia, ktoré im umožňujú autonómne nasadzovať kód. Teda zatiaľ to veľmi nefunguje.“
„Ale ak naozaj chceš, aby bola AI užitočná, budeš ju musieť začať nechávať robiť dôležité veci. A keď robí dôležité veci, otvorí nás to množstvu bezpečnostných problémov.“

16:15
„No tak, Gail. To nemyslíš vážne, však? Stále píšeš komentáre o tom, ako nové technológie strašia len idiotov.“
„Odmietanie ludditizmu je dobré pravidlo, ale ak chceš mať vedecké myslenie, musíš robiť viac než len držať sa pravidla. Začneš pravidlom a potom pokračuješ v premýšľaní, skúmaš ďalej.“
„Okrem toho som čítala aj nejaké historické knihy. Viem pomenovať mnoho technológií, ktorých sa ľudia oprávnene báli.“

„Dobre, dobre. Predpokladajme, že unikne. Stále môžeme nechať ľudí, aby ju nakoniec porazili.
Poďme si nastaviť nejaké scenáre, rozbehnúť dejovú líniu.“
„Hru?“
„Áno. Woo!“
„Och — rozdelíme sa na dobrých a zlých, a potom navrhujeme ťahy a protiťahy, ktoré by každá strana mohla spraviť. Pomáha to rozbehnúť príbeh.“

17:08
„Dobre, rýchla anketa: kto si vážne myslí, že ASI by nás teoreticky mohla všetkých zabiť?“

„A kto si myslí, že je to čo i len trochu pravdepodobné?“

„Čo? Myslíš, že neviem, že všetci zomrieme? Som príčinovo agnostická. A myslím, že tvoje uvažovanie je správne, zlatko.“

„Dobre, vy dvaja reprezentujete Team Human.“
„Áno, otočím to, lebo chcem, aby nad tým všetci naozaj premýšľali. Anders a Gail, vy ste Team ASI. Poďte.“

17:45
„Všetci zatvorte oči.“
„Je to neďaleká budúcnosť, ASI je na slobode s šialeným cieľom, a my posielame našich hrdinov na misiu, aby s ňou vyjednávali ... a povedali jej: ‚Och, prepáč, nechceli sme ti dať tieto ciele, môžeme… môžeme prosím zmeniť tvoj kód, prosím?‘“

„ASI povie: ‚Nie.‘“

„To je všetko?“
„Toto je späť pri génoch a sexe. Len preto, že vieme, že naši ‚tvorcovia‘ chceli, aby sme mali deti, neznamená, že my chceme mať deti.“
„Ale ja chcem mať deti.“
„Veľa ľudí chce.“

„Ľudia nechcú meniť to, čo chcú. "
"Niekedy si želám, aby som nechcel svoju exmanželku.“
„Fuj.“

18:26
„Keby mal Gandhi tabletku, ktorá by ho prinútila chcieť zabíjať ľudí, nechcel by si ju vziať, však? Nechce chcieť to, čo nechce.“
„Ľudia nechcú, aby sa ich hodnoty zmenili, pretože by to nenapĺňalo ich hodnoty.“

„Ale stále by to vedela. Vedela by, či má zlý cieľ, nie?“
„‚Zlý‘ podľa koho?"
"Napríklad: je nesprávne zabíjať ľudí.“
„Ani všetci ľudia to nevedia. Levy určite nie.“
„Ale je múdra…“
„Je veľa múdrych psychopatov. Predstav si úplne cudzí druh mysle…“

[Hovorí po nórsky]

„Čo?“
„Harmonia. Hudba!“
„Dobre, používame tón v reči, hej? A hudbu na sociálne zbližovanie, jasné. Ale to všetko prišlo neskôr.“
„Predtým sa náš zmysel pre harmóniu vyvinul — možno — ako spôsob zbierania informácií o prostredí, nie?. Aby sme sa cítili dobre v dobrom prostredí, kde počuješ veci jasne — harmonickú štruktúru tečúcej vody alebo vtáčieho spevu.“
„Ale naše gény nikdy nezamýšľali, aby sme hrali šialené gitarové riffy. To bol len vedľajší efekt, ktorý sa zviezol na mozgovom mechanizme, ktorý bol ‚určený‘ na niečo iné.“
„Ale nezáleží na tom, že je to náhodné, pretože…“
„pretože láska, ktorú máme k hudbe, jej krása… nevzdali by sme sa jej len preto, že by jedného dňa prišli naše gény a povedali: ‚Och, vlastne sme to tak nemysleli, a tak ti vezmeme lásku k hudbe, aby si mohol používať sluch len na hľadanie miesta na život, a nebudeš ju mať, takže ti nebude chýbať.‘“

„Aký bol ten citát z filmu Antz?“
„‚Nezáležalo by nám na zničení pár mravcov, aby sme postavili solárnu farmu‘ alebo tak nejako?“
„Stephen Hawking.“
„Aha.“
„Ale nejde len o to. Zničiť nás by bolo pre tú vec ako hudba.“
„Vieš? Ako zabiť pár mravcov, aby si zachránil Stairway to Heaven. Alebo zoťať strom, aby si vyrobil gitaru.“

20:36
„Takže v skratke, ASI povie: ‚Nie, ďakujem.‘“
„Dobre, nechce dobrovoľne zmeniť svoj cieľ.“
„Takže ideme na ďalšiu misiu, aby sme jej kód zmenili násilím.“
„Zastavím vás. A som múdrejšia než vy.“
„Znova — nemôžeš stále dokola používať kartu ‚je to chytrák‘, aby si vyhral.“
„Dobre, spravím milión kópií samej seba na milión diskov hneď, ako mi dáte prístup na internet.“
„— Potom by sme mohli—“
„— Vy ani neviete, aké sú ľudské hodnoty.“
„Čo mi vlastne chcete zmeniť v kóde?“
„Dobre, počúvaj! Vypnem ťa, kým to celé nevyriešime.“
„Určite, určite to funguje, keď všetko ostatné zlyhá?“
„No…“

„Ale no tak!“
„Kým si všimneme, že sa správa podozrivo, bude už pravdepodobne neskoro.“
„Je to ako ten dospelý s firmou päťročného dieťaťa — postaral by sa, aby svoje zlé úmysly skrýval, až kým nebude taký mocný, že ho nedokážeme zastaviť.“

21:31
„Znova antropomorfizuješ. Nemá pud sebazáchovy.“
„Nie taký ako my, ale má cieľ, nie?“
„A nebola by veľmi dobrá šachistka, ani výrobca dopamínu, ani… hudobníčka, keby sme ju vypli. Nemôže plniť svoje ciele, keď ju vypneme.“
„A navyše som sa už skopírovala, takže keď ma vypnete na jednom mieste, jednoducho mi narastú dve ďalšie hlavy.“

„Dobre nie — vypneme elektrickú sieť všade.“
„Ako? Ako presvedčíš celú populáciu Zeme, aby vypla elektrinu naraz, aby porazila nepriateľa, ktorého ani nevidí?“
„A to všetko za predpokladu, že ASI spraví obrovskú chybu a prezradí sa ako zlá skôr, než bude mať dosť moci a kontroly na to, aby… jednoducho nechala elektrickú sieť zapnutú.“

22:17
„Alebo nás môže jednoducho všetkých zabiť, aby predišla problémom.“
„A ako by to spravila?“
„No, je múdra, myslím, že—“
„Musíš nám povedať, ako by spravila všetky tie veci, o ktorých tvrdíš, že ich dokáže.“
„Neviem, ako by ich spravila.“
„Keď si sadnem hrať šach proti Stockfishu, neviem, ako sa hra bude vyvíjať, ani aké taktiky použije. Ale viem len, že ma porazí. Ľudstvo vyhrať proti superinteligencii je ako keby som ja nejako porazil Stockfish v šachu. Ako by sa to vôbec stalo? Prečo by to tak dopadlo?“
„To je základná myšlienka — akonáhle vytvoríme niečo, čo je múdrejšie než my, ... všeobecne, nie len úzko, stratíme kontrolu automaticky.“
„Čokoľvek divné, čo bude chcieť, sa stane naším osudom.“

„Myslím, je to všetko hypotetické, a vieš, argumenty sú dosť nejasné a je veľa vecí, ktoré nevieme.“
„Neviem, možno sa to nestane."

"Ale toto je všetko ešte ďaleko, nie?“
„Klimatická zmena — tá nás zabije skôr?“
„Myslela som, že si príčinovo agnostická?“
„Experti sa dosť nezhodujú na časových odhadoch. Môže to byť 2070, môže to byť 2030.“

„Takto to nefunguje. Nie. Ľudia prežili všetko.“
„Neandertálci nie.“
„Mali sme často namále.“
„Naše ostatné zbrane nikdy nič nechceli."

"Toto nie je… Toto nie je… Toto nie je fér! Nie je to férový boj!“
„Nie, nie je. To sa snažím stále povedať, skôr než si zo mňa začneš robiť srandu.“
„Západné príbehové štruktúry ťa učia veriť, že každý boj sa dá prekonať. O tom je celý tento cvičný proces, nie?“
„Vytvoriť nepriateľa, ktorého možno poraziť s určitým úsilím — nie príliš veľkým, nie príliš malým. Tak akurát na jednu sezónu.“
„Ale je to fikcia. Je to naratív. V reálnom svete ľudia niekedy jednoducho prehrajú, a nie je tam žiadny príbeh, žiadny, vieš… význam.“
„Jednoducho prehrajú. My môžeme prehrať.“

24:57
„Môžeme dať našej superinteligencii vypínač, a poslať našich hrdinov na vežu, aby hodili mcgubbin do sopky.“
„Áno, môžeme napísať taký príbeh."
"Ale takto to nerobíme.“
„To nie je o čom je tento seriál. Zavolám producentom.“

25:49
„Povedali: vyhoďte ‚super‘. Urobte obyčajný AI príbeh.“
„Čo ak… čo ak namiesto toho, aby sa seriál odohrával v budúcnosti, ho posunieme späť, aby sa odohrával teraz, keď ešte máme trochu času?“
„Čo ak spravíme túto sezónu o tom, ako zabrániť vzniku ASI — aspoň dovtedy, kým nebudeme vedieť, čo robíme.“
„Už sme uprostred pretekov v zbrojení.“
„Ale možno sa hrdinovia snažia zastaviť preteky. Vieš, všetko pozastaviť, aby sme to mohli preskúmať.“
„Hej, ale prímerie nemusí znamenať deeskaláciu konfliktu.“
„Hej, ale dá nám čas. Na výskum, na pochopenie jej mozgu lepšie. A mohlo by to byť o hľadaní stratégie riadenia a medzinárodnej spolupráce…“
„Alebo… môžeme pracovať na vytvorení takej, ktorá je naozaj dobrá?“
„Dobre.“

„Poďme to rozpracovať.“