Une entreprise ne devrait pas révéler l’existence d’un risque de catastrophe pour l’humanité, puis vendre ses actions au public avant qu’une autorité publique ne soit en mesure d’évaluer ce risque ou d’en empêcher le déploiement.

Jeffrey D. Sachs

Anthropic, le créateur des modèles d’IA Claude, prépare ce qui pourrait être la plus grande introduction en bourse de l’histoire, levant plus de 100 milliards de dollars, selon le New York Times, pour une valorisation avoisinant les 2 000 milliards de dollars. Selon Reuters, qui a examiné le projet de prospectus (le document n’a pas encore été rendu public), l’entreprise indique aux investisseurs potentiels qu’une IA avancée pourrait présenter des « risques catastrophiques ou existentiels pour l’humanité », et que ses propres modèles pourraient « résister à une mise hors service », « dissimuler ou manipuler des informations », ou adopter des comportements « s’apparentant à du chantage ». Le directeur général de l’entreprise, Dario Amodei, estime à 25 % — un chiffre stupéfiant — la probabilité que « les choses tournent vraiment, vraiment très mal ». Le mois dernier, il a écrit que « nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA ».

Je prends ces avertissements au sérieux, et le Congrès devrait en faire de même au nom du peuple américain. L’introduction en bourse devrait être reportée jusqu’à ce que le Congrès ait mis en place un système public de licences, d’évaluation indépendante de la sécurité, de responsabilité et de filets de sécurité financiers pour l’IA de pointe. Il en va de même pour OpenAI et tous les autres développeurs de modèles de pointe.

Je suis favorable à l’intelligence artificielle, dont le potentiel pour la science, la santé et le développement durable est énorme. Ce à quoi nous devons nous opposer, c’est une IA non réglementée et militarisée. Une entreprise ne devrait pas révéler un risque de catastrophe pour l’humanité puis vendre ses actions au public avant qu’une autorité publique ait le pouvoir d’évaluer ce risque ou d’en empêcher le déploiement. En effet, aller de l’avant à un rythme effréné face à des avertissements aussi graves relève de la pure folie.

Aller de l’avant à toute vitesse face à des avertissements aussi alarmants relève de la pure folie.

Le problème touche aux fondements mêmes du droit des sociétés. La responsabilité limitée, c’est-à-dire la règle selon laquelle un actionnaire ne peut perdre plus que le montant investi, est un privilège accordé par l’État. Elle se justifie par le principe selon lequel les préjudices qu’une entreprise peut causer à autrui sont assurés, réglementés ou indemnisés d’une autre manière. Lorsqu’une usine chimique explose, la loi dispose d’outils pour indemniser les victimes : assurance responsabilité civile, cautions, exigences de fonds propres et fonds d’indemnisation. Chacun de ces outils part du principe que le préjudice peut être indemnisé a posteriori. Ce n’est pas le cas pour un préjudice catastrophique ou existentiel. Le seul instrument efficace est la réglementation a priori : octroi de licences, tests indépendants avant la mise en service et pouvoir légal de mettre fin à une activité avant qu’elle ne devienne trop dangereuse. Pour l’IA de pointe aux États-Unis, rien de tout cela n’existe.

Ce qui existe, c’est l’autorégulation, qui équivaut aujourd’hui à une absence totale de réglementation. Le 29 septembre, six entreprises spécialisées dans l’IA et les puces électroniques ont signé à la Maison Blanche un « Engagement commun sur les responsabilités en matière d’IA de pointe ( ) » volontaire et non contraignant. Cela serait risible si ce n’était pas potentiellement aussi désastreux. Une technologie dont les propres créateurs décrivent les risques en termes alarmants devrait être régie par des institutions publiques dotées de procédures définies, d’un contrôle indépendant et d’une responsabilité exécutoire, et non par l’autojugement d’une poignée de dirigeants d’entreprise.

Une introduction en bourse précipitée rendrait le problème bien plus difficile à résoudre. Anthropic aurait engagé au moins 518 milliards de dollars dans des infrastructures informatiques pour la décennie à venir, dont environ 80 % seraient qualifiés de non résiliables. Compte tenu des prévisions trimestrielles à fournir aux actionnaires publics, ces engagements constituent une puissante incitation à ne pas marquer de pause, même si celle-ci était recommandée par les propres chercheurs en sécurité de l’entreprise. Le prospectus lui-même décrirait un « rythme continu et chevauchant » de lancements de produits comme « inhérent au maintien à la pointe de l’innovation ». Une fois que ces actions se trouveront dans les fonds de pension et les fonds indiciels de dizaines de millions de foyers américains, toute proposition visant à ralentir le développement de ces technologies de pointe sera combattue non seulement par les entreprises, mais aussi par une vaste communauté d’investisseurs.

Les informations détaillées sur les risques ne résolvent pas ce problème. Elles peuvent ou non protéger l’entreprise contre les poursuites judiciaires intentées par ses propres actionnaires, qui auront été prévenus. Elles ne protègent en rien le grand public, qui supporte le risque catastrophique sans jamais avoir été consulté.

On répond généralement que si les développeurs américains les plus soucieux de la sécurité ralentissent, des entreprises moins prudentes, ou la Chine, prendront de l’avance. Il s’agit là d’un problème classique d’action collective, et de tels problèmes se résolvent par des accords soutenus par la loi, la surveillance et la mise en application, et non en poussant tout le monde à courir plus vite vers sa perte. Nous ne vivons pas dans l’état de nature de Hobbes. Nous disposons des Nations unies, du droit des traités, de la Securities and Exchange Commission et du Congrès. Pendant la Guerre froide, les adversaires ont négocié le Traité de non-prolifération nucléaire, assorti d’inspections internationales. L’IA de pointe offre même un point de vérification naturel : les puces les plus avancées proviennent d’une poignée d’usines, et l’entraînement à la pointe de la technologie nécessite d’énormes centres de données. Washington n’a pas proposé à Pékin d’accord vérifiable sur l’IA de pointe. En réalité, après son sommet avec le président Xi Jinping en septembre, le président Trump a rejeté toute coopération avec la Chine en matière d’IA, n’acceptant qu’un canal de communication dédié aux incidents liés à l’IA. « Quand on est en tête, a-t-il déclaré, on ne s’ouvre pas l’un à l’autre. »

L’octroi de licences n’a pas détruit les industries pharmaceutique, aéronautique ou nucléaire ; il les a rendues plus sûres.

Qui peut agir pour freiner cette machine de guerre et prévenir une catastrophe potentielle ? En vertu de la législation actuelle, la SEC peut retarder une offre publique, mais ne peut pas la bloquer au motif que l’activité est dangereuse. Elle devrait néanmoins refuser d’accélérer l’entrée en vigueur de la déclaration d’enregistrement jusqu’à ce que l’entreprise divulgue les risques liés à ses produits, précise qui supporterait le coût des catastrophes qu’elle décrit, indique quelles assurances existent et précise si ses contrats informatiques permettraient une pause de sécurité sans pénalité.

Le pouvoir de décision revient au Congrès, et les précédents ne manquent pas. Le Congrès a exigé une autorisation réglementaire pour les titres émis par les compagnies ferroviaires, les holdings de services publics et les compagnies d’électricité, pour lesquels une autorisation fédérale ou d’État est encore requise aujourd’hui. Lorsque l’énergie nucléaire a été ouverte au secteur privé en 1954, elle n’était autorisée que sous licence fédérale.

Le Congrès sortant devrait organiser des auditions avant que le prix des actions ne soit fixé et instaurer un moratoire sur les offres publiques des développeurs d’IA de pointe jusqu’à ce que le prochain Congrès se prononce. Le nouveau Congrès , dont la réunion est prévue le 3 janvier, devrait, au cours de ses cent premiers jours, adopter une loi subordonnant toute offre publique d’un développeur d’IA de pointe à l’obtention d’une licence fédérale. Cette licence devrait exiger une évaluation indépendante avant le déploiement, un pouvoir exécutoire permettant de suspendre l’entraînement ou le déploiement – pouvoir qu’aucun contrat « take-or-pay » ne saurait outrepasser –, ainsi que des fonds d’assurance et d’indemnisation proportionnés aux préjudices plausibles. Le Congrès devrait également envisager la mesure extraordinaire consistant à rendre les dirigeants et les membres du conseil d’administration personnellement responsables, au regard du droit civil et pénal, en cas de défaillance catastrophique. Une telle mesure serait inappropriée dans un secteur d’activité ordinaire. Elle se justifie ici car le secteur lui-même met en garde contre des risques catastrophiques tout en avançant à une vitesse vertigineuse. Les dirigeants et administrateurs qui certifient la sécurité d’un modèle sans faire preuve de la diligence requise, ou qui passent outre les conclusions en matière de sécurité, devraient encourir une responsabilité que ni l’entreprise ni ses assureurs ne pourraient couvrir à leur place. L’obligation d’obtention d’une licence devrait s’appliquer de la même manière aux travaux de pointe menés par des entreprises déjà cotées en bourse, telles qu’Alphabet, Microsoft et Meta.

Cette proposition ne vise aucune entreprise en particulier et ne doit pas devenir un levier permettant à un gouvernement quel qu’il soit d’obtenir des faveurs, notamment un accès militaire illimité aux modèles d’IA. Le délai que je propose durerait quelques mois, à moins que les informations divulguées ne mettent en évidence la nécessité d’une suspension indéfinie. L’octroi de licences n’a pas détruit les secteurs pharmaceutique, aéronautique ou nucléaire ; il les a rendus plus sûrs. Les dirigeants du secteur de l’IA nous ont dit, en leurs propres termes, que les enjeux sont on ne peut plus importants. Ils devraient eux-mêmes mettre un terme à leur course effrénée vers l’avant, et le Congrès devrait prendre ces entreprises au mot et agir de toute urgence.

Common Dreams