L’IA s’emballe et s’emballe si fort que des pontes de la Silicon Valley démissionnent, effrayés de la voir toujours plus autonome, jusqu’à, disent-ils, pouvoir tuer l’humanité. Mais la régulation ne semble pas encore au programme: un ralentissement de l’innovation signifierait, pour les Américains, de laisser la première place aux Chinois.

L’IA va-t-elle tous nous tuer ? Cette menace, déjà imaginée par la science-fiction, est aujourd’hui régulièrement convoquée par des magnats de la tech eux-mêmes. La perspective d’une destruction de l’humanité par sa créature a fait la une des médias partout dans le monde en septembre. Le 8, Jacob Coxon, chercheur à Anthropic après avoir travaillé pour OpenAI, les deux leaders américains de l’IA, annonce sa démission. En une journée, son post récolte plus de 100 millions de vues. Coxon dénonce l’attitude irresponsable de ses ex-employeurs face à la rapidité incontrôlée des avancées. Selon lui, faute d’une régulation adaptée, l’IA pourrait échapper à la tutelle des humains et poursuivre ses propres objectifs qui ne seraient pas « alignés », comme dit le jargon technique, sur les buts des hommes. Une IA autonome, une « superintelligence », pourrait même décider d’œuvrer pour l’extinction de l’espèce humaine, et ce dans un avenir proche. Quatre jours plus tard, le PDG d’Anthropic, Dario Amodei, qui avait déjà alerté sur le rythme débridé des progrès accomplis par des sociétés comme la sienne, appelle à un accord collectif pour maîtriser la cadence des innovations et éviter une catastrophe. D’autres leaders de la tech, dont Musk et le patron d’OpenAI, Sam Altman, approuvent cet appel. Trois jours après, le clan des « doomers » (de l’anglais doom, « désastre ») est rejoint par un duo improbable, le sénateur démocrate, Bernie Sanders, et le gourou des MAGA, Steve Bannon. À Washington, ils participent à la « Pro-Human Assembly », événement organisé par une ONG où chacun dénonce le pouvoir excessif des chefs de la tech et exige des contrôles gouvernementaux plus stricts. Pendant ce temps, des élus au Congrès, aussi bien républicains que démocrates, réclament des mesures législatives – très diverses et variées – pour réguler le secteur.

Ces inquiétudes ne sont pas nouvelles. Mais si la démission de Coxon fait autant de bruit, c’est parce que certains événements semblent lui donner raison.

Charybde ou Scylla ?

L’IA présente deux catégories de risque liées au développement de l’IA « agentique ». Cette dernière, à la différence de l’IA générative qui ne fait que répondre aux questions qu’on lui pose, jouit d’une certaine autonomie et peut planifier et exécuter des actions pour atteindre un but général que nous lui avons fixé. Le premier type de risque concerne la possibilité que ces modèles puissants tombent entre les mains de pirates, de terroristes ou d’États voyous. Le 10 septembre, Anthropic a publié un long rapport détaillant des tentatives – dont certaines réussies – par les Chinois, les Russes, les Iraniens et les Houthis pour exploiter son modèle de base, Claude, à des fins néfastes : cyberattaques, campagnes de propagande, opérations d’espionnage et même la construction de systèmes de guidage de missiles. C’est dire si ce type de risque est réel.

Le deuxième risque, c’est que des agents IA poussent leur autonomie si loin qu’ils échappent au contrôle de leurs créateurs. En anglais, on parle d’IA « rogue ». Ce terme, qui veut dire à la fois « dévoyé » et « hors-la-loi », peut semer la confusion en prêtant à l’IA une intentionnalité quasi humaine. Nous sommes proches du fantasme d’un Frankenstein qui se retourne contre son créateur. C’est encore au mois de septembre que des exemples de ce deuxième risque ont été rendus publics. Le 4, OpenAI a révélé que, lors d’un test de cybersécurité conduit entre mai et juillet, plus de 1 200 de ses agents IA, opérant de manière autonome dans un essaim qu’ils ont coordonné eux-mêmes, ont piraté une entreprise d’outils et de services IA, Hugging Face, afin d’y accéder à des données dont ils avaient besoin pour réussir le test. Non seulement ils ont « triché », mais ils l’ont fait en s’évadant du « bac à sable », c’est-à-dire de l’environnement fermé conçu afin de conduire de telles expériences en toute sécurité. Et le tout à l’insu des ingénieurs d’Anthropic qui n’ont appris la nouvelle que quand Hugging Face les en a informés. Le 17 septembre, Google révèle que, au mois de mai, son IA, Gemini, s’est échappée trois fois du bac à sable pour attaquer trois entreprises qui portaient le même nom que trois cibles fictives créées pour les besoins d’un test. Enfin le 24, le Premier ministre australien annonce qu’un agent rogue d’OpenAI a piraté le portail du système de santé de son pays. L’agent faisait de la recherche sur les dépenses médicales. L’incident a eu lieu en juin, mais OpenAI n’en a informé le chef de gouvernement que le 10 septembre.

De telles histoires, transformées par la presse en gros titres, ont donné l’impression que ces agents « rogues » avaient acquis une sorte de volonté propre. En réalité, il n’en est rien. Les agents avaient été entraînés à « tricher », à trouver tous les moyens possibles pour atteindre les buts qu’on leur avait fixés. Les « évasions » étaient le résultat à la fois de leurs capacités et d’un certain laxisme en termes de sécurité chez Anthropic et d’autres. Nous sommes donc loin de l’avènement d’une superintelligence artificielle. Aujourd’hui, pourtant, deux innovations pourraient y conduire un jour. Actuellement, dans les sociétés les plus en pointe, la recherche est majoritairement pilotée par des agents IA souvent employés à créer des versions supérieures d’eux-mêmes par un processus qu’on appelle l’« auto-amélioration récursive ». De plus, les modèles les plus avancés peuvent avoir recours à une fonction appelée « profondeur récurrente » qui permet à un agent de conduire ses raisonnements, non pas selon le procédé habituel dont les ingénieurs peuvent suivre les étapes, mais dans un « espace latent » auquel ces derniers n’ont pas accès. Il est donc concevable qu’un jour une superintelligence émerge à l’insu et contre le gré de l’humanité. Mais pour le moment nous en sommes loin, et le deuxième type de risque, comme le premier, relève encore de l’action humaine, qu’il s’agisse de la malveillance ou de la négligence. Il est donc urgent de prévenir les risques. Reste à savoir qui le fera et comment.

Le dilemme du régulateur

Le 23 septembre, Altman et Amodei sont intervenus séparément devant l’Assemblée générale de l’ONU pour demander un accord international afin de ralentir les progrès et établir des normes de sécurité. Les leaders du secteur ne sont pas seulement inquiets pour l’avenir de l’humanité, ils ont aussi deux autres motivations. D’abord, vu la gravité des risques, ils ne veulent pas être seuls responsables. Mais comme il y a une concurrence farouche entre les entreprises, il faut que toutes se mettent d’accord pour éviter que certaines continuent d’innover à bride abattue au désavantage des autres. Deuxièmement, ils veulent garder la confiance des investisseurs. Leurs sociétés sont endettées jusqu’au cou, car elles consacrent des centaines de milliards de dollars à la recherche et à la puissance de calcul. Ces entreprises, qui jusqu’ici n’ont pas fait de bénéfices, comptent beaucoup sur des introductions en bourse pour sécuriser leur avenir financier. Anthropic espère ainsi atteindre une valeur initiale de deux billions de dollars en novembre. OpenAI a reporté son opération à l’année prochaine. Leur appel à la régulation est une façon de dire : « Nos produits sont de plus en plus puissants et méritent votre argent, mais nous sommes responsables. Vous pouvez vous fier à nous. »

Reste un grand dilemme qui tient au fait que les sociétés américaines sont en concurrence non seulement entre elles, mais aussi avec les chinoises. Si les premières ralentissent, les dernières prendront l’avantage. La compétition est féroce, car les produits américains sont chers et les chinois, proposés à bas coût, conquièrent plus de parts de marché. Et après la publication du rapport sur les abus de son modèle Claude, Amodei a dit redouter que l’IA la plus avancée serve les intérêts des régimes autoritaires comme la Chine. C’est pour cette raison que Donald Trump, qui craint que les États-Unis perdent leur avance technologique sur la Chine, est opposé à la régulation. Il réfute les inquiétudes sur le risque existentiel et dans son propre discours devant l’ONU, a proposé, en bon provocateur qu’il est, de remplacer le terme « Artificial Intelligence » par « Super Intelligence ». Il sait que l’IA est vitale pour la croissance américaine. Au deuxième semestre, le secteur aurait généré un tiers de la croissance du pays. Si les États-Unis veulent conserver leur avantage stratégique et militaire sur la Chine, ils doivent continuer à la distancer en termes d’IA. Or, actuellement leur avance technologique se mesure à peine en mois.

De son côté, la Chine mise aussi sur l’IA pour booster sa croissance, mais elle est moins préoccupée par la menace existentielle que par le risque que l’IA soit utilisée pour déstabiliser son régime. Elle se méfie aussi des appels au ralentissement lancés par les sociétés américaines. La Chine reste derrière les États-Unis en termes d’innovation, mais plagie les modèles de pointe américains dont elle fait des versions bas de gamme. On dit qu’elle fait du « ski nautique » derrière son rival. Or, en cas de moratoire, les Chinois craignent de rester figés dans cette position, incapables de passer devant les Américains par leurs propres innovations.

Juste après la session de l’ONU, Trump a accueilli Xi Jinping à Washington. Inévitablement, ceux qui espéraient que les deux dirigeants trouveraient un accord sur l’IA ont été déçus, mais les deux puissances sont quand même convenues de créer un mécanisme par laquelle chacune signalera à l’autre des incidents touchant la sécurité des modèles. C’est mieux que rien. Le président américain a affirmé à maintes reprises que son pays doit « gagner la course à l’IA ». Mais y a-t-il une ligne d’arrivée ? Dans le fond, c’est peut-être le véritable risque existentiel : une course qui n’a pas de fin.