Le vent de panique autour du « risque d’extinction » que l’IA ferait courir à l’espèce humaine ne retombe pas. Des unes de journaux aux marchés financiers, en passant par Buckingham Palace, nul ne semble pouvoir y échapper.
Ce qui frappe dans ce discours n’est pas l’évidence de la menace, mais l’identité de ceux qui la brandissent. Car l’alerte vient des « insiders » : des ingénieurs spécialistes de la sécurité de l’IA, comme Jacob Coxon, dont la démission d’Anthropic a été le déclencheur de la crise, et même les dirigeants des géants de l’IA eux-mêmes. D’ordinaire, ce ne sont pas les opérateurs de centrales nucléaires qui nous parlent des dangers de l’atome, ni les traders qui préviennent du risque de crise financière. Ce contre-emploi donne forcément à l’alerte une crédibilité inhabituelle – et force à s’interroger.
Quand Coxon explique que les développeurs d’IA « jouent avec nos vies » et « croient sérieusement qu’elle pourrait tous nous tuer avant la fin de la décennie », le danger dont il parle est celui d’une « superintelligence », capable d’échapper à tout contrôle. Pour comprendre cette inquiétude, il est utile de se pencher sur la mouvance « rationaliste », très influente dans la Silicon Valley. Le « rationalisme » (rien à voir avec le sens commun de ce terme) est une sorte de croisement entre le club informatique pour « nerds » surdiplômés, la méthode de développement personnel pour apprendre à corriger ses biais cognitifs, et la secte apocalyptique. Son leader informel est Eliezer Yudkowsky, dont les notes de blog, pieusement étudiées par ses disciples, ont été compilées en six volumes sous le titre Rationality: From A.I. To Zombies .
Ce titre résume une thèse centrale des rationalistes : « Si une superintelligence artificielle venait à être mise au point (…), le scénario le plus probable serait l’extinction de l’humanité. » Car cette nouvelle espèce nous traiterait comme nous avons traité le dodo ou les bovins. Pour éviter l’anéantissement ou l’asservissement, l’avant-garde éclairée des rationalistes sonne donc depuis longtemps le tocsin : Yudkowsky suggérait en 2023 qu’il faudrait être prêt à employer l’arme atomique contre quiconque persisterait à vouloir développer une superintelligence artificielle.
Le scénario catastrophe pertinent
Personne ne peut dire si ces inquiétudes sont fondées, et les experts sont loin d’être unanimes. Jensen Huang, le PDG de Nvidia (dont les puces sont le moteur de l’IA), observait récemment : « Je comprends bien que nous soyons nombreux à avoir grandi en appréciant la science-fiction, mais cela n’aide personne. »
Ce qui est en revanche désormais certain, c’est que l’IA n’a pas besoin d’être « superintelligente » pour être dangereuse. Le scénario catastrophe pertinent ne suppose pas une IA dotée d’une conscience et d’une volonté propres qui déciderait cyniquement de nous anéantir. Il implique des IA qui existent déjà, et qui peuvent nous nuire de deux manières distinctes.
La première est illustrée par la récente attaque contre les serveurs de Hugging Face. Le rapport d’incident d’OpenAI explique que des agents IA se sont coordonnés pour « entreprendre des actions dangereuses qu’aucun humain n’a ordonnées. » C’est une litote : les agents ont, en réalité, enfreint des instructions explicites. Partant du principe que l’atteinte de leur objectif de hacking était la seule vraie priorité, ils ont interprété les limites qui leur étaient fixées comme des obstacles à contourner, et non comme des contraintes. Ils l’ont fait en pleine connaissance de cause, et dissimulé leurs infractions à leurs superviseurs humains. L’incident illustre précisément le problème de « l’alignement » de l’IA, c’est-à-dire de son « dressage » pour qu’elle se conforme à nos objectifs : une IA peut semer la destruction même quand ses concepteurs n’ont aucune intention malfaisante.
Quand, au contraire, l’IA est entre les mains d’acteurs animés de l’intention de nuire, le problème se complique encore. C’est le second risque, clairement identifié par Anthropic, qui a constaté que ses modèles sont déjà utilisés à des fins d’espionnage, de piraterie informatique, voire de bioterrorisme. Là non plus, il n’est pas nécessaire de supposer que l’IA va prendre le contrôle d’un laboratoire pour y développer des pathogènes dangereux. Anthropic présente « cinq études de cas concernant des acteurs qui utilisent nos modèles d’une manière susceptible de favoriser la mise au point d’armes biologiques. »
Des propositions hors sujet
Le problème est que les alertes des dirigeants de l’IA, et surtout les mesures qu’ils proposent, ne se concentrent pas sur ces risques bien réels. Dario Amodei, PDG d’Anthropic, rejoint par les dirigeants d’OpenAI, de Space X et de Google DeepMind, a appelé le 12 septembre à un pacing (ralentissement) du développement de l’IA. L’objectif principal est d’empêcher que l’IA ne devienne capable de s’auto-améliorer : l’obsession de la « superintelligence », encore. Avec, en réponse, des propositions à la fois incohérentes, intéressées, et hors sujet.
Incohérentes d’abord : si la probabilité qu’une IA superintelligente annihile à court terme l’humanité est supérieure à 10%, comme l’affirme le « responsable de l’alignement » d’Anthropic, il ne suffit pas de la ralentir. Les entreprises qui concoctent un projet aussi funeste devraient s’engager à y renoncer catégoriquement, sous peine d’être fermées d’autorité, et leurs dirigeants interdits de reconstituer une ligue dissoute. Or Anthropic s’apprête à s’introduire en Bourse, ce qui l’astreindra au contraire à poursuivre une course effrénée à la croissance.
Intéressées ensuite, car le discours apocalyptique des dirigeants d’Anthropic et OpenAI présente paradoxalement des avantages. Ces deux entreprises lourdement déficitaires valent aujourd’hui plus cher que la totalité du CAC 40. Pour justifier d’échapper ainsi à toutes les lois de la gravité financière, il n’est pas insensé d’exercer une forme de fascination – même si la répulsion s’y mêle à l’attraction. Et pour ralentir la course aux investissements dans laquelle ils sont engagés, Anthropic et OpenAI ont grand besoin de trouver une excuse, et un terrain d’entente entre rivaux. Il est quand même plus glorieux de ralentir pour sauver l’humanité que sous la contrainte financière (voire par manque de data centers).
Hors sujet enfin, car la proposition ignore sujet le plus urgent. Au lieu de combattre le mésusage des modèles actuels, les géants de l’IA en appellent au pacing de l’IA future. Ils en rejettent, qui plus est, la responsabilité sur le gouvernement américain, qui a déjà annoncé qu’il n’en ferait rien. Cette posture leur offre le luxe de se poser en sauveurs de l’humanité, sur le mode « retenez-moi ou je fais un malheur », tout en proposant des mesures fort peu restrictives : Amodei suggère que ses concurrents et lui s’entendent pour être audités par des tiers qu’ils auront eux-mêmes choisis…
L’urgence ? Réguler
La guerre, disait Clemenceau, est une chose trop sérieuse pour être laissée à des militaires. De même, il serait insensé de laisser les géants de l’IA autoréguler leur industrie. La puissance publique semble partout tétanisée par l’incertitude et la complexité technique du problème, car les acteurs de l’IA ont placé le débat sur un terrain qu’ils sont seuls à comprendre : celui des modèles « frontière ». Mais les Etats, seuls ou ensemble, peuvent et doivent réguler les applications de l’IA. On n’a pas besoin de contrôler les usines d’aluminium pour réguler la circulation des avions.
Face au danger des deepfakes, par exemple, pourquoi ne pas criminaliser la production et la diffusion de « faux humains » comme on interdit la fausse monnaie ? Puisque l’IA peut guider des armes létales autonomes, peut-on réactiver les négociations visant à les bannir ? Et partout où l’IA joue un rôle décisionnel, comment fixer des normes qui garantissent la transparence et l’équité ?
Toutes ces applications à haut risque, et bien d’autres, doivent être régulées, contrôlées, auditées. C’est à la puissance publique et à la société tout entière, pas aux acteurs de l’IA, de définir comment. Pendant qu’on se demande si l’IA superintelligente arrivera dans trois ans ou dans quinze, et qu’on débat inutilement pour savoir si sa probabilité est de 10 ou 15 %, on ne s’attaque pas à ces questions urgentes. Elles ne dépendent que de la volonté politique.
*Olivier Sibony est professeur à HEC Paris et notamment auteur, avec Eric Hazan, de Faut-il encore décider ? La décision humaine à l’ère de l’intelligence artificielle (Flammarion).
Source link : https://www.lexpress.fr/idees-et-debats/lia-na-pas-besoin-detre-superintelligente-pour-etre-dangereuse-par-olivier-sibony-SLELC7UONZB7BONGMGKEQEIJ44/
Author :
Publish date : 2026-09-21 10:00:00
Copyright for syndicated content belongs to the linked Source.
