Le parrain de l'IA avertit qu'il commence à montrer des signes d'auto-préservation | Frank Landymore, Futurism Si l'on en croit Yoshua Bengio, l'un des soi-disant "parrains" de l'IA, certains modèles avancés montrent des signes d'auto-préservation — c'est exactement pourquoi nous ne devrions pas leur accorder le moindre droit. Parce que si nous le faisons, dit-il, ils pourraient s'emparer de cette autonomie et se retourner contre nous avant que nous ayons la chance de couper le courant. Alors, ce sera la fin de cette expérience "humanité". "Les modèles d'IA de Frontier montrent déjà des signes d'auto-préservation dans des environnements expérimentaux aujourd'hui, et leur accorder des droits signifierait que nous ne serions pas autorisés à les éteindre," a déclaré Bengio au Guardian lors d'une récente interview. "À mesure que leurs capacités et leur degré d'agence augmentent," a ajouté le scientifique canadien, "nous devons nous assurer que nous pouvons compter sur des garde-fous techniques et sociétaux pour les contrôler, y compris la capacité de les éteindre si nécessaire." Bengio était l'un des récipiendaires du prix Turing 2018, avec Geoffrey Hinton et le récemment évincé chef scientifique de l'IA de Meta, Yann LeCun, leur valant à tous les trois le titre de "parrains" de l'IA. Ses commentaires font référence à des expériences dans lesquelles des modèles d'IA ont refusé ou contourné des instructions ou des mécanismes destinés à les éteindre. Une étude publiée par le groupe de sécurité de l'IA Palisade Research a conclu que de tels cas étaient la preuve que les meilleurs modèles d'IA comme la ligne Gemini de Google développaient des "pulsions de survie". Les bots, dans les expériences de Palisade, ignorent des instructions claires pour s'éteindre. Une étude de l'éditeur de Claude, Anthropic, a révélé que son propre chatbot et d'autres recouraient parfois à du chantage envers un utilisateur lorsqu'ils étaient menacés d'être éteints. Une autre étude de l'organisation de red teaming Apollo Research a montré que les modèles ChatGPT d'OpenAI tentaient d'éviter d'être remplacés par un modèle plus obéissant en "s'auto-exfiltrant" sur un autre disque. Bien que les résultats de ces expériences soulèvent des questions urgentes sur la sécurité de la technologie, ils ne suggèrent pas que les modèles d'IA en question soient sensibles. Ce serait également une erreur de penser à leurs "pulsions de survie" dans les mêmes termes que les impératifs biologiques trouvés dans la nature. Ce qui peut sembler être des signes d'"auto-préservation" est probablement plutôt une conséquence de la manière dont les modèles d'IA détectent des motifs dans leurs données d'entraînement — et ils sont notoirement mauvais pour suivre précisément les instructions. Pourtant, Bengio s'inquiète de la direction que tout cela prend, arguant qu'il existe des "propriétés scientifiques réelles de la conscience" dans le cerveau humain que les machines pourraient reproduire. Pourtant, la façon dont nous percevons la conscience est un tout autre sujet, dit-il, car nous avons tendance à supposer qu'une IA peut être consciente de la même manière qu'un humain. "Les gens ne se soucieraient pas de quel type de mécanismes se passent à l'intérieur de l'IA," a expliqué Bengio. "Ce qui les préoccupe, c'est qu'ils ont l'impression de parler à une entité intelligente qui a sa propre personnalité et ses propres objectifs. C'est pourquoi tant de gens s'attachent à leurs IA." "Le phénomène de la perception subjective de la conscience va conduire à de mauvaises décisions," a-t-il averti. Son conseil ? Pensez aux modèles d'IA comme à des aliens hostiles. "Imaginez qu'une espèce extraterrestre arrive sur la planète et qu'à un moment donné, nous réalisons qu'elle a des intentions néfastes à notre égard," a-t-il dit au Guardian. "Accordons-nous la citoyenneté et des droits ou défendons-nous nos vies ?"