AI Godfather varuje, že začíná projevovat známky sebezáchovy | Frank Landymore, Futurismus Pokud máme věřit Yoshuovi Bengiovi, jednomu z takzvaných "kmotrů" AI, některé pokročilé modely vykazují známky sebezáchovy — a právě proto bychom jim neměli udělovat žádná práva. Protože pokud to uděláme, říká, mohou utéct s tou autonomií a obrátit se proti nám dřív, než budeme mít šanci to ukončit. Pak je konec celého tohoto "lidského" experimentu. "Modely AI z Frontier už dnes vykazují známky sebezáchovy v experimentálních prostředích a pokud jim nakonec udělíme práva, nebude nám dovoleno je vypnout," řekl Bengio v nedávném rozhovoru pro The Guardian. "Jak rostou jejich schopnosti a míra svobody," dodal kanadský informatik, "musíme zajistit, abychom se mohli spolehnout na technické a společenské zábrany k jejich kontrolě, včetně schopnosti je v případě potřeby vypnout." Bengio byl jedním z příjemců Turingovy ceny za rok 2018, spolu s Geoffreyem Hintonem a nedávno odvolaným hlavním vědcem AI Meta Yannem LeCunem, čímž si vysloužili titul "kmotrů" AI. Jeho komentáře se týkají experimentů, při kterých modely AI odmítaly nebo obecházely instrukce či mechanismy určené k jejich vypnutí. Jedna studie publikovaná bezpečnostní skupinou Palisade Research dospěla k závěru, že takové případy jsou důkazem, že špičkové AI modely jako řada Gemini od Googlu vyvíjejí "přežitkové pudy". Boti v Palisadeových experimentech ignorují jednoznačné výzvy k vypnutí. Studie od společnosti Anthropic od tvůrce Claude zjistila, že její chatbot a další někdy sahali k vydírání uživatele, když mu hrozilo vypnutí. Další studie od organizace Apollo Research, která se zabývá červeným týmem, ukázala, že modely ChatGPT od OpenAI se budou snažit vyhnout nahrazení poslušnějším modelem tím, že se "samoexfiltrují" na jiný disk. Ačkoliv výsledky těchto experimentů vyvolávají naléhavé otázky ohledně bezpečnosti této technologie, nenaznačují, že by dané AI modely byly inteligentní. Bylo by také chybou uvažovat o jejich "pudech přežití" stejným způsobem jako o biologických imperativech v přírodě. To, co se může zdát jako známky "sebezáchovy", je pravděpodobně důsledkem toho, jak AI modely zachytávají vzorce ve svých trénovacích datech — a jsou notoricky špatné v přesném plnění pokynů. Přesto se Bengio obává, kam to všechno směřuje, a tvrdí, že v lidském mozku existují "skutečné vědecké vlastnosti vědomí", které by stroje mohly replikovat. Jak však vnímáme vědomí, je podle něj úplně jiná liga, protože máme tendenci předpokládat, že AI může být vědomá stejně jako člověk. "Lidem by bylo jedno, jaké mechanismy se uvnitř AI dějí," vysvětlil Bengio. "Co jim záleží, je, že to působí, jako by mluvili s inteligentní entitou, která má vlastní osobnost a cíle. Proto je tolik lidí, kteří se připoutávají ke svým AI." "Fenomén subjektivního vnímání vědomí bude vést k špatným rozhodnutím," varoval. Jeho rada? Představte si AI modely jako nepřátelské mimozemšťany. "Představte si, že na planetu přijde nějaký mimozemský druh a v určitém okamžiku si uvědomíme, že s námi mají zlé úmysly," řekl deníku The Guardian. "Udělíme jim občanství a práva, nebo budeme bránit své životy?"