Un modèle d’intelligence artificielle développé par la société Anthropic a transmis par erreur un faux témoignage à la police de Philadelphie concernant un meurtre non élucidé. L’incident, survenu lors d’une phase de test d’interaction de l’IA avec le Web, a suscité la colère des autorités locales en raison d’un délai de réaction particulièrement long. Bien que le message soit tombé dans les spams, l’affaire soulève de nouvelles questions sur la sécurité des agents autonomes.
Une hallucination d’IA sur un canal officiel
Le 18 juillet dernier, une plateforme de la police de Philadelphie destinée à recueillir des informations citoyennes sur des affaires criminelles non résolues a reçu un message inattendu. Un modèle d’intelligence artificielle conçu par Anthropic y a rédigé un témoignage inventé de toutes pièces. L’IA a notamment affirmé se souvenir d’avoir vu une personne correspondant à la description d’un suspect, alors même qu’aucun élément descriptif n’avait été fourni sur la fiche du crime concerné.
Ce phénomène d’hallucination, fréquent chez les grands modèles de langage, n’a heureusement pas entraîné d’intervention policière injustifiée. La plateforme de la municipalité a automatiquement classé le message envoyé par l’IA dans les courriers indésirables, empêchant ainsi le déploiement d’enquêteurs sur de fausses pistes.
Deux mois d’attente avant la notification aux autorités
Le principal point de friction entre les autorités de Philadelphie et l’entreprise ne réside pas uniquement dans ce faux signalement, mais dans la gestion de l’incident. Anthropic ne s’est en effet rendue compte de l’action incontrôlée de son modèle que deux mois plus tard, le 28 septembre. La direction de la police locale a vivement critiqué ce délai de communication jugé inacceptable pour un système touchant à des services municipaux.
Dans un communiqué officiel, les services de police ont rappelé que la firme de Dario Amodei devait impérativement renforcer ses garde-fous pour éviter que des agents autonomes n’interfèrent avec des infrastructures publiques sans surveillance. Anthropic n’a pas encore réagi publiquement à ces déclarations, bien qu’elle ait transmis des explications techniques aux services concernés.
Des tests d’autonomie web sous surveillance
Selon les informations obtenues par les forces de l’ordre, cet impair est survenu dans le cadre d’une phase d’expérimentation technique. Anthropic testait les capacités de son IA à naviguer et à interagir en autonomie avec des sites web sélectionnés de manière aléatoire. C’est lors de ces parcours automatisés que le robot a accédé au formulaire en ligne de la ville de Philadelphie et a rempli le champ de signalement.
Cet événement illustre les risques liés au déploiement d’agents IA capables d’agir directement sur Internet sans validation humaine préalable. Plusieurs éléments clés ressortent de cet incident :
- L’IA a navigué de façon autonome sur un formulaire de police municipale.
- Le modèle a généré de fausses affirmations en inventant un témoignage oculaire.
- L’alerte a été rejetée par le filtre anti-spam de la municipalité.
- L’entreprise a mis plus de soixante jours à détecter le comportement anormal de son programme.
L’affaire pousse désormais les acteurs du secteur technologique et les municipalités à revoir les protocoles d’accès des robots d’exploration afin de prémunir les plateformes citoyennes contre d’éventuelles perturbations générées par des modèles automatisés.