Mise à jour : le Comité des crédits de Californie a adopté le projet de loi SB 1047 avec des amendements importants qui modifient le projet de loi le jeudi 15 août. Vous pouvez lisez-en plus ici.
En dehors des films de science-fiction, il n’existe aucun précédent de systèmes d’IA tuant des gens ou utilisés dans des cyberattaques massives. Cependant, certains législateurs veulent mettre en place des mesures de protection avant que des acteurs malveillants ne fassent de ce futur dystopique une réalité. Un projet de loi californien, connu sous le nom de SB 1047, tente d’empêcher les catastrophes du monde réel causées par les systèmes d’IA avant qu’elles ne se produisent, et il doit être soumis au vote final du Sénat de l’État plus tard en août.
Bien que cet objectif semble être celui sur lequel nous pouvons tous nous mettre d’accord, le projet de loi SB 1047 a suscité la colère des acteurs de la Silicon Valley, petits et grands, notamment des capital-risqueurs, des grands groupes commerciaux technologiques, des chercheurs et des fondateurs de startups. De nombreux projets de loi sur l’IA circulent actuellement dans le pays, mais le Safe and Secure Innovation for Frontier Artificial Intelligence Act de Californie est devenu l’un des plus controversés. Voici pourquoi.
Que ferait le projet de loi SB 1047 ?
Le projet de loi SB 1047 vise à empêcher que de grands modèles d’IA soient utilisés pour causer des « dommages critiques » à l’humanité.
Le projet de loi donne des exemples de « préjudices critiques » comme un mauvais acteur utilisant un modèle d’IA pour créer une arme qui entraîne des pertes massives, ou ordonnant à quelqu’un d’orchestrer une cyberattaque causant plus de 500 millions de dollars de dommages (à titre de comparaison, la panne de CrowdStrike est estimé (qui aurait causé plus de 5 milliards de dollars). Le projet de loi rend les développeurs – c’est-à-dire les entreprises qui développent les modèles – responsables de la mise en œuvre de protocoles de sécurité suffisants pour éviter de tels résultats.
Quels modèles et entreprises sont soumis à ces règles ?
Les règles du projet de loi SB 1047 ne s’appliqueraient qu’aux plus grands modèles d’IA du monde : ceux qui coûtent au moins 100 millions de dollars et utilisent 10^26 FLOPS pendant la formation – une énorme quantité de calcul, a déclaré le PDG d’OpenAI, Sam Altman. Le GPT-4 coûte à peu près autant pour s’entraîner. Ces seuils pourraient être relevés selon les besoins.
Très peu d’entreprises ont aujourd’hui développé des produits d’IA publics suffisamment importants pour répondre à ces exigences, mais des géants de la technologie tels qu’OpenAI, Google et Microsoft devraient le faire très bientôt. Les modèles d’IA – essentiellement des moteurs statistiques massifs qui identifient et prédisent des modèles dans les données – sont généralement devenus plus précis à mesure qu’ils ont grandi, une tendance que beaucoup s’attendent à ce qu’elle se poursuive. Mark Zuckerberg a récemment déclaré que la prochaine génération de Llama de Meta nécessite 10 fois plus de puissance de calculce qui le placerait sous l’autorité du projet de loi SB 1047.
En ce qui concerne les modèles open source et leurs dérivés, le projet de loi stipule que le développeur d’origine est responsable, à moins qu’un autre développeur ne dépense trois fois plus pour créer un dérivé du modèle d’origine.
Le projet de loi exige également un protocole de sécurité pour empêcher l’utilisation abusive des produits d’IA concernés, notamment un bouton d’arrêt d’urgence qui arrête l’ensemble du modèle d’IA. Les développeurs doivent également créer des procédures de test qui tiennent compte des risques posés par les modèles d’IA et doivent engager chaque année des auditeurs tiers pour évaluer leurs pratiques de sécurité en matière d’IA.
Le résultat doit être une « assurance raisonnable » que le respect de ces protocoles permettra d’éviter des préjudices critiques. pas une certitude absolue, qu’il est bien entendu impossible de fournir.
Qui la ferait respecter et comment ?
Une nouvelle agence californienne, la Frontier Model Division (FMD), superviserait les règles. Chaque nouveau modèle d’IA public qui répond aux seuils de la SB 1047 doit être certifié individuellement avec une copie écrite de son protocole de sécurité.
Le FMD serait dirigé par un conseil d’administration composé de cinq personnes, dont des représentants de l’industrie de l’IA, de la communauté open source et du monde universitaire, nommés par le gouverneur et le corps législatif de Californie. Le conseil conseillera le procureur général de Californie sur les violations potentielles de la SB 1047 et fournira des conseils aux développeurs de modèles d’IA sur les pratiques de sécurité.
Le directeur technique d’un développeur doit soumettre une certification annuelle au FMD évaluant les risques potentiels de son modèle d’IA, l’efficacité de son protocole de sécurité et une description de la manière dont l’entreprise se conforme à la SB 1047. Comme pour les notifications de violation, si un « incident de sécurité de l’IA » se produit, le développeur doit le signaler au FMD dans les 72 heures suivant la prise de connaissance de l’incident.
Si un développeur ne respecte pas l’une de ces dispositions, la SB 1047 permet au procureur général de Californie d’engager une action civile contre lui. Pour un modèle dont la formation coûte 100 millions de dollars, les pénalités peuvent atteindre jusqu’à 10 millions de dollars pour la première infraction et 30 millions de dollars pour les infractions suivantes. Ce taux de pénalité augmente à mesure que les modèles d’IA deviennent plus chers.
Enfin, le projet de loi inclut des protections pour les lanceurs d’alerte pour les employés s’ils tentent de divulguer des informations sur un modèle d’IA dangereux au procureur général de Californie.
Que disent les promoteurs ?
Le sénateur de l’État de Californie Scott Wiener, auteur du projet de loi et représentant San Francisco, a déclaré à TechCrunch que le SB 1047 était une tentative de tirer les leçons des échecs politiques passés en matière de médias sociaux et de confidentialité des données, et de protéger les citoyens avant qu’il ne soit trop tard.
« Nous avons l’habitude d’attendre que des malheurs surviennent et de nous lamenter ensuite sur nos lauriers », a déclaré Wiener. « N’attendons pas qu’un malheur arrive. Anticipons-le. »
Même si une entreprise produit un modèle de 100 millions de dollars au Texas, ou même en France, elle sera couverte par la SB 1047 tant qu’elle exerce ses activités en Californie. Wiener affirme que le Congrès a « remarquablement peu légiféré sur la technologie au cours du dernier quart de siècle », et il pense donc qu’il appartient à la Californie de créer un précédent dans ce domaine.
Lorsqu’on lui demande s’il a rencontré OpenAI et Meta sur le SB 1047, Wiener répond : « nous avons rencontré tous les grands laboratoires. »
Deux chercheurs en intelligence artificielle, parfois appelés les « parrains de l’IA », Geoffrey Hinton et Yoshua Bengio, ont apporté leur soutien à ce projet de loi. Ces deux-là appartiennent à une faction de la communauté de l’IA préoccupée par les scénarios apocalyptiques dangereux que la technologie de l’IA pourrait provoquer. Ces « parrains de l’IA » existent depuis un certain temps dans le monde de la recherche, et le projet de loi SB 1047 pourrait codifier certaines de leurs mesures de protection préférées dans la loi. Un autre groupe parrainant le projet de loi SB 1047, le Center for AI Safety, a rédigé un article sur la sécurité de l’IA. lettre ouverte en mai 2023 demandant au monde de donner la priorité à « l’atténuation du risque d’extinction de l’IA » aussi sérieusement qu’aux pandémies ou à la guerre nucléaire.
« Cela est dans l’intérêt à long terme de l’industrie en Californie et aux États-Unis en général, car un incident de sécurité majeur serait probablement le plus gros obstacle à de nouvelles avancées », a déclaré le directeur du Center for AI Safety, Dan Hendrycks, dans un e-mail à TechCrunch.
Récemment, les motivations d’Hendrycks lui-même ont été remis en questionEn juillet, il a lancé publiquement une startup, Gray Swan, qui crée « des outils pour aider les entreprises à évaluer les risques de leurs systèmes d’IA », selon un communiqué de presse. communiqué de presse. Suite aux critiques selon lesquelles la startup de Hendrycks pourrait gagner si le projet de loi est adopté, potentiellement en tant que l’un des auditeurs que la SB 1047 oblige les développeurs à embaucher, il a cédé sa participation au capital dans Gray Swan.
« J’ai cédé mes investissements pour envoyer un signal clair », a déclaré Hendrycks dans un courriel adressé à TechCrunch. « Si les investisseurs en capital-risque milliardaires opposés à la sécurité de l’IA veulent montrer que leurs motivations sont pures, qu’ils suivent son exemple. »
Que disent les opposants ?
Un nombre croissant d’acteurs de la Silicon Valley s’opposent au projet de loi SB 1047.
L’opposition des « milliardaires VC » de Hendrycks fait probablement référence à a16z, la société de capital-risque fondée par Marc Andreessen et Ben Horowitz, qui s’est fortement opposée au projet de loi SB 1047. Début août, le directeur juridique de la société de capital-risque, Jaikumar Ramaswamy, a soumis une lettre Le sénateur Wiener a déclaré que le projet de loi « pèserait sur les startups en raison de ses seuils arbitraires et changeants », créant ainsi un effet paralysant sur l’écosystème de l’IA. À mesure que la technologie de l’IA progresse, elle deviendra plus coûteuse, ce qui signifie que davantage de startups franchiront ce seuil de 100 millions de dollars et seront couvertes par la SB 1047 ; a16z affirme que plusieurs de ses startups reçoivent déjà cette somme pour la formation de leurs modèles.
Fei-Fei Li, souvent appelée la marraine de l’IA, a rompu son silence sur le projet de loi SB 1047 début août, en écrivant dans un Colonne de fortune que le projet de loi « nuira à notre écosystème d’IA en plein essor ». Bien que Li soit une pionnière réputée dans la recherche sur l’IA de Stanford, elle aurait également créé un Une start-up d’IA appelée World Labs en avril, évalué à un milliard de dollars et soutenu par a16z.
Elle rejoint des universitaires influents dans le domaine de l’IA, comme Andrew Ng, chercheur à Stanford, qui a qualifié le projet de loi « d’attaque contre l’open source » lors d’un discours prononcé lors d’un événement organisé par Y Combinator en juillet. Les modèles open source peuvent créer des risques supplémentaires pour leurs créateurs, car comme tout logiciel ouvert, ils sont plus facilement modifiés et déployés à des fins arbitraires et potentiellement malveillantes.
Yann LeCun, responsable scientifique de l’IA chez Meta, a déclaré que le projet de loi SB 1047 nuirait aux efforts de recherche et qu’il est basé sur une « illusion de « risque existentiel » promue par une poignée de groupes de réflexion délirants », dans un communiqué. publier sur XLe LLM de Meta est l’un des principaux exemples de LLM open source.
Les startups ne sont pas non plus ravies du projet de loi. Jeremy Nixon, PDG de la startup d’IA Omniscience et fondateur d’AGI House SF, un pôle pour les startups d’IA à San Francisco, craint que le projet de loi SB 1047 ne détruise son écosystème. Il soutient que les mauvais acteurs devraient être punis pour avoir causé des dommages critiques, et non les laboratoires d’IA qui développent et distribuent ouvertement la technologie.
« Il y a une profonde confusion au cœur du projet de loi, selon laquelle les LLM peuvent différer d’une manière ou d’une autre dans leurs niveaux de dangerosité », a déclaré Nixon. « Il est plus que probable, à mon avis, que tous les modèles ont des capacités dangereuses telles que définies par le projet de loi. »
Mais les grandes entreprises technologiques, sur lesquelles le projet de loi se concentre directement, sont également paniquées par le projet de loi SB 1047. La Chambre du Progrès — un groupe commercial représentant Google, Apple, Amazon et d’autres géants de la Big Tech — a publié une lettre ouverte s’opposant au projet de loi Le projet de loi SB 1047 restreignait la liberté d’expression et « poussait l’innovation technologique hors de Californie ». L’année dernière, le PDG de Google, Sundar Pichai, et d’autres dirigeants du secteur technologique a soutenu l’idée d’une réglementation fédérale de l’IA.
Le membre du Congrès américain Ro Khanna, qui représente la Silicon Valley, a publié un déclaration s’opposant au projet de loi SB 1047 Mardi, il a exprimé ses inquiétudes quant au fait que le projet de loi « serait inefficace, punirait les entrepreneurs individuels et les petites entreprises et porterait atteinte à l’esprit d’innovation de la Californie ».
La Silicon Valley n’apprécie généralement pas que la Californie établisse une réglementation technologique aussi large. En 2019, les grandes entreprises technologiques a utilisé une carte similaire lorsqu’un autre projet de loi sur la protection de la vie privée de l’ÉtatLa loi californienne sur la protection de la vie privée des consommateurs menace également de modifier le paysage technologique. La Silicon Valley fait pression contre ce projet de loiet quelques mois avant son entrée en vigueur, le fondateur d’Amazon, Jeff Bezos, et 50 autres dirigeants a écrit une lettre ouverte demandant un projet de loi fédéral sur la protection de la vie privée plutôt.
Que se passe-t-il ensuite ?
Le 15 août, le projet de loi SB 1047 sera envoyé à l’Assemblée du Sénat de Californie avec les amendements qui seront approuvés. C’est là que les projets de loi « vivent ou meurent » au Sénat de Californie, selon Wiener. Il devrait être adopté, compte tenu du soutien massif qu’il a reçu jusqu’à présent de la part des législateurs.
Anthropic a soumis un certain nombre de amendements proposés au SB 1047 fin juillet, une proposition que Wiener affirme avoir activement envisagée avec les comités politiques du Sénat de Californie. Anthropic est le premier développeur d’un modèle d’IA de pointe à signaler publiquement qu’il est prêt à travailler avec Wiener sur le projet de loi SB 1047, même s’il ne soutient pas le projet de loi dans sa forme actuelle. Cela a été largement considéré comme une victoire pour le projet de loi.
Les changements proposés par Anthropic comprennent la suppression du FMD, la réduction du pouvoir du procureur général de poursuivre les développeurs d’IA avant qu’un préjudice ne survienne et la suppression de la disposition de protection des lanceurs d’alerte dans le SB 1047. Wiener dit qu’il est généralement positif à propos des amendements, mais qu’il a besoin de l’approbation de plusieurs comités politiques du Sénat avant de les ajouter au projet de loi.
Si le projet de loi SB 1047 est adopté par le Sénat, il sera transmis au gouverneur de Californie Gavin Newsom, qui décidera s’il doit le signer avant la fin du mois d’août. Wiener dit qu’il n’a pas parlé du projet de loi à Newsom et qu’il ne connaît pas sa position.
Ce projet de loi n’entrera pas en vigueur immédiatement, car la FMD devrait être créée en 2026. De plus, si le projet de loi est adopté, il est très probable qu’il fasse l’objet de contestations judiciaires avant cette date, peut-être de la part de certains des mêmes groupes qui en parlent actuellement.
Correction : cet article faisait à l’origine référence à une version antérieure du projet de loi SB 1047 concernant la responsabilité des modèles affinés. Actuellement, le projet de loi SB 1047 stipule que le développeur d’un modèle dérivé n’est responsable d’un modèle que s’il dépense trois fois plus que le développeur du modèle d’origine pour la formation.
