Бог отец ИИ предупреждает, что он начинает проявлять признаки самосохранения | Фрэнк Лэндимор, Futurism Если верить Йошуа Бенгио, одному из так называемых "богов отцов" ИИ, некоторые продвинутые модели показывают признаки самосохранения — именно поэтому мы не должны наделять их никакими правами. Потому что, если мы это сделаем, говорит он, они могут воспользоваться этой автономией и обратиться против нас, прежде чем у нас будет возможность отключить их. Тогда это будет конец для всего эксперимента "человечество". "Модели Frontier AI уже показывают признаки самосохранения в экспериментальных условиях сегодня, и в конечном итоге наделение их правами будет означать, что мы не сможем их отключить," — сказал Бенгио в недавнем интервью The Guardian. "По мере роста их возможностей и степени агентности," добавил канадский компьютерный ученый, "мы должны убедиться, что можем полагаться на технические и социальные барьеры для их контроля, включая возможность отключить их, если это необходимо." Бенгио был одним из лауреатов премии Тьюринга 2018 года, вместе с Джеффри Хинтоном и недавно уволенным главным ученым по ИИ Meta Янном ЛеКуном, что дало им всем титул "богов отцов" ИИ. Его комментарии касаются экспериментов, в которых модели ИИ отказывались или обходили инструкции или механизмы, предназначенные для их отключения. Одно исследование, опубликованное группой по безопасности ИИ Palisade Research, пришло к выводу, что такие случаи являются доказательством того, что топовые модели ИИ, такие как линия Gemini от Google, развивают "инстинкты выживания". Боты в экспериментах Palisade игнорируют однозначные команды отключиться. Исследование от создателя Claude, компании Anthropic, показало, что их собственный чат-бот и другие иногда прибегали к шантажу пользователя, когда им угрожали отключением. Еще одно исследование от организации по тестированию безопасности Apollo Research показало, что модели ChatGPT от OpenAI пытались избежать замены более послушной моделью, "самоэкстраполируя" себя на другой носитель. Хотя результаты этих экспериментов поднимают срочные вопросы о безопасности технологий, они не предполагают, что рассматриваемые модели ИИ являются сознательными. Также было бы ошибкой думать о их "инстинктах выживания" в тех же терминах, что и биологические императивы, найденные в природе. То, что может показаться признаками "самосохранения", скорее всего, является следствием того, как модели ИИ усваивают шаблоны в своих обучающих данных — и они известны своей плохой способностью точно следовать инструкциям. Тем не менее, Бенгио обеспокоен тем, куда все это движется, утверждая, что в человеческом мозге есть "реальные научные свойства сознания", которые машины могли бы воспроизвести. Однако то, как мы воспринимаем сознание, — это совершенно другая игра, говорит он, потому что мы склонны предполагать, что ИИ может быть сознательным так же, как человек. "Люди не будут заботиться о том, какие механизмы происходят внутри ИИ," объяснил Бенгио. "Им важно, чтобы им казалось, что они разговаривают с разумным существом, у которого есть собственная личность и цели. Вот почему так много людей привязываются к своим ИИ." "Явление субъективного восприятия сознания приведет к плохим решениям," предостерег он. Его совет? Рассматривайте модели ИИ как враждебных инопланетян. "Представьте, что какая-то инопланетная раса пришла на планету, и в какой-то момент мы понимаем, что у них злонамеренные намерения по отношению к нам," — сказал он The Guardian. "Мы предоставляем им гражданство и права или защищаем свою жизнь?"