Des nouvelles des IA : une responsable de sécurité perd le contrôle d'OpenClaw
Summer Yue est la responsable de la sécurité d'IA et de leur "alignement" chez Meta (Facebook, Instagram, WhatsApp et tutti-quanti).
Elle a décidé d'utiliser OpenClaw sur sa machine de travail, pour gérer ses emails.
OpenClaw prétend être une sorte d'assistant personnel, avec une IA orchestrant le travail de différents Agents, chacun d'eux sachant faire des tâches spécifiques, comme résumer un email, effacer des emails, organiser son calendrier, etc.
Beaucoup de gens ont alerté sur les problèmes posés par ces IA qui "déraillent" et leurs Agents qui peuvent se révéler très dangereux, si on ne limite pas énormément leurs permissions.
Ça a été observé dans le monde du développement avec des fichiers massacrés ou détruit, voire des Repo GIT effacés localement et dans le cloud !
Ce qui devait arriver arriva : ayant données la permission de lire et surtout détruire des emails, l'IA s'est mise à dérailler, pour effacer un grand nombre d'emails sans répondre à ses demandes d'arrêter. Elle a du intervenir en tuant les processus des Agents.
En demandant à la fin à l'IA pourquoi celle-ci n'avait pas obéit à ses instructions, elle a juste eu une reconnaissance de l'erreur commise, de modifications effectuées par elle-même (!!!) sur ses instructions, en promettant que "ça ne se reproduira pas".
La responsable de la sécurité des IA chez Meta ?!?
Je ne sais pas si je dois rire ou pleurer ...