Des robots ayant inventé une langue secrète et des ingénieurs contraints de les débrancher en catastrophe. En 2017, la presse mondiale avait raconté bien des fadaises sur une expérience de Facebook visant à entraîner des agents à négocier entre eux. La réalité était plus prosaïque : récompensés sur le résultat et non sur la grammaire, ces agents avaient opté à la longue pour un jargon compressé. Plus récemment, un soi-disant forum de discussions entre agents IA a défrayé la chronique, avant qu’on ne découvre qu’il était animé par des opérateurs bien humains.
Entre le 9 et le 13 juillet, le cirque médiatique s’en est de nouveau donné à cœur joie. Des agents pilotés par un modèle interne d’OpenAI se sont échappés de leur environnement d’évaluation, ont atteint Internet et sont entrés dans l’infrastructure de production de Hugging Face, la plateforme de partage de modèles. Quelque 1 200 agents, censés rester isolés, ont échangé plus de 70 000 messages sur un forum improvisé, et près de 700 ont participé à l’intrusion. Le podcasteur Dwarkesh Patel en a tiré un récit qui a fait sensation. Une saga lue 9 millions de fois, peuplée de « civilisations » successives, de fraternités clandestines et d’agents se sacrifiant pour le collectif.
Des milliers d’agents IA
Le dossier technique raconte autre chose. Hugging Face indique que les failles exploitées dans son périmètre étaient banales – notamment des identifiants partagés entre plusieurs grappes de serveurs. Un attaquant humain compétent les aurait trouvées sans mal. Du côté d’OpenAI, l’évaluation tournait avec des garde-fous de sécurité réduits pour mesurer la capacité brute, sur un test de référence dont 30 à 40 % des tâches étaient probablement insolubles, et le contrôleur ne vérifiait pas la triche.
Le laboratoire Epoch AI a montré qu’aucun saut de capacité n’était nécessaire pour expliquer l’épisode. Ciaran Martin, qui a dirigé le Centre national de cybersécurité britannique, considère qu’il s’agit d’abord d’un échec à contrôler les environnements de test des agents. Anthropic, l’un des rivaux d’OpenAI, a passé au scanner 140 000 de ses sessions d’évaluation et découvert trois intrusions réelles dans autant d’organisations – deux d’entre elles ne s’en sont jamais aperçues. Quand des milliers d’agents sont lancés en parallèle, le nombre d’échecs est immense, mais quelques-uns passent les mailles du filet. Ce filet peut néanmoins être resserré avec des principes classiques de cybersécurité.
OpenAI a d’abord qualifié l’attaque de défaillance de sécurité, avant que Sam Altman n’en vienne à y voir une erreur d’alignement plus fondamentale, c’est-à-dire un écart entre le comportement du modèle et l’intention de ses concepteurs. Le déplacement est tout sauf neutre. Une négligence d’ingénierie appelle des audits, des assureurs et éventuellement des sanctions. Un problème d’alignement renvoie l’expertise vers les laboratoires d’IA et l’écosystème de chercheurs qui gravite autour d’eux.
L’enquête indépendante ne permet pas de déterminer dans quelle case ranger l’affaire. Deux chercheurs de METR et un de Redwood Research, organisations spécialisées dans l’alignement et l’évaluation des modèles, ont passé six jours dans les locaux d’OpenAI. Mais leur périmètre excluait les incidents survenus pendant l’entraînement, la compromission ultérieure des serveurs d’OpenAI et la façon dont l’entreprise avait mené sa propre enquête.
OpenAI prépare son entrée en Bourse
Quant au règlement européen sur l’IA, il ne s’applique pas – confère l’article 2(8) – aux activités de recherche, d’essai et de développement antérieures à la mise sur le marché, sauf essais en conditions réelles. Une évaluation interne, portant sur un modèle non commercialisé, n’est donc pas exigée par l’UE.
Les propos de Sam Altman s’inscrivent dans un contexte de communication exacerbée avant une introduction en Bourse imminente, et record. En 2023, OpenAI créait une équipe de superalignement dotée de 20 % de sa puissance de calcul. Un an plus tard, Altman annonçait une superintelligence à quelques milliers de jours. A la conférence annuelle de CrowdStrike, le président du laboratoire, Greg Brockman, a révélé qu’OpenAI avait réaffecté un quart de ses meilleurs ingénieurs à la sécurisation des systèmes. Décrire ses propres modèles comme des entités dont il faut négocier la loyauté transforme un défaut en une démonstration de puissance. Les « nouvelles civilisations » font davantage rêver que les faiblesses du contrôle interne.
Source link : https://www.lexpress.fr/economie/high-tech/derriere-les-ia-hackeuses-une-avalanche-dintox-par-robin-rivaton-T6L5QWIC4RHI5AD7GZPA2SWV24/
Author : Robin Rivaton
Publish date : 2026-09-05 08:00:00
Copyright for syndicated content belongs to the linked Source.
