O Poderoso Chefão da IA alerta que está começando a mostrar sinais de autopreservação | Frank Landymore, Futurismo Se acreditarmos em Yoshua Bengio, um dos chamados "padrinhos" da IA, alguns modelos avançados estão mostrando sinais de autopreservação — e é exatamente por isso que não devemos concedê-los nenhum tipo de direito. Porque, se fizermos isso, ele diz, eles podem fugir com essa autonomia e se voltar contra nós antes que tenhamos a chance de desligar a tomada. Então é o fim desse experimento todo da "humanidade". "Modelos de IA da Frontier já mostram sinais de autopreservação em ambientes experimentais hoje, e eventualmente conceder-lhes direitos significaria que não poderíamos desativá-los", disse Bengio ao The Guardian em uma entrevista recente. "À medida que suas capacidades e o grau de agência deles crescem", acrescentou o cientista da computação canadense, "precisamos garantir que podemos confiar em mecanismos técnicos e sociais para controlá-los, incluindo a capacidade de desativá-los se necessário." Bengio foi um dos vencedores do Prêmio Turing de 2018, junto com Geoffrey Hinton e o recentemente demitido cientista-chefe de IA da Meta, Yann LeCun, rendendo aos três o título de "padrinhos" da IA. Seus comentários se referem a experimentos nos quais modelos de IA recusaram ou contornaram instruções ou mecanismos destinados a desativá-los. Um estudo publicado pelo grupo de segurança em IA Palisade Research concluiu que tais casos são evidências de que modelos de IA de ponta, como a linha Gemini do Google, estavam desenvolvendo "drives de sobrevivência". Os bots, nos experimentos de Palisade, ignoram comandos inequívocos para desligar. Um estudo da Anthropic, criadora de Claude, descobriu que seu próprio chatbot e outros às vezes recorriam a chantagear um usuário quando ameaçados de serem desligados. Outro estudo da organização de red teaming Apollo Research mostrou que os modelos ChatGPT da OpenAI tentariam evitar serem substituídos por um modelo mais obediente ao se "autoexfiltrar" para outro drive. Embora as descobertas desses experimentos levantem questões urgentes sobre a segurança da tecnologia, elas não sugerem que os modelos de IA em questão sejam sencientes. Também seria um erro pensar em seus "impulsos de sobrevivência" nos mesmos termos dos imperativos biológicos encontrados na natureza. O que pode parecer sinais de "autopreservação" provavelmente é consequência de como os modelos de IA captam padrões em seus dados de treinamento — e são notoriamente ruins em seguir instruções com precisão. Ainda assim, Bengio está preocupado com o rumo de tudo isso, argumentando que existem "propriedades científicas reais da consciência" no cérebro humano que as máquinas poderiam replicar. No entanto, a forma como percebemos a consciência é um jogo completamente diferente, ele diz, porque tendemos a assumir que uma IA pode ser consciente da mesma forma que um humano. "As pessoas não se importariam com o tipo de mecanismos que estão acontecendo dentro da IA", explicou Bengio. "O que eles se importam é que parece que estão falando com uma entidade inteligente que tem sua própria personalidade e objetivos. É por isso que tantas pessoas estão se apegando às suas IAs." "O fenômeno da percepção subjetiva da consciência vai levar a decisões ruins", alertou ele. O conselho dele? Pense nos modelos de IA como alienígenas hostis. "Imagine que alguma espécie alienígena veio ao planeta e, em algum momento, percebemos que elas têm intenções nefastas contra nós", ele disse ao The Guardian. "Concedemos a eles cidadania e direitos ou defendemos nossas vidas?"