Mise à jour : le Comité des crédits de Californie a adopté le projet de loi SB 1047 avec des amendements importants qui modifient le projet de loi le jeudi 15 août. Vous pouvez lisez-en plus ici.
En dehors des films de science-fiction, il n’existe aucun précédent de systèmes d’IA tuant des gens ou utilisés dans des cyberattaques massives. Cependant, certains législateurs veulent mettre en place des mesures de protection avant que des acteurs malveillants ne fassent de ce futur dystopique une réalité. Un projet de loi californien, connu sous le nom de SB 1047, tente d’empêcher les catastrophes du monde réel causées par les systèmes d’IA avant qu’elles ne se produisent. Il a été adopté par le Sénat de l’État en août et attend maintenant l’approbation ou le veto du gouverneur de Californie Gavin Newsom.
Bien que cet objectif semble être celui sur lequel nous pouvons tous nous mettre d’accord, le projet de loi SB 1047 a suscité la colère des acteurs de la Silicon Valley, petits et grands, notamment des capital-risqueurs, des grands groupes commerciaux technologiques, des chercheurs et des fondateurs de startups. De nombreux projets de loi sur l’IA circulent actuellement dans le pays, mais le Safe and Secure Innovation for Frontier Artificial Intelligence Act de Californie est devenu l’un des plus controversés. Voici pourquoi.
Que ferait le projet de loi SB 1047 ?
Le projet de loi SB 1047 vise à empêcher que de grands modèles d’IA soient utilisés pour causer des « dommages critiques » à l’humanité.
Le projet de loi donne des exemples de « préjudices critiques » comme un mauvais acteur utilisant un modèle d’IA pour créer une arme qui entraîne des pertes massives, ou ordonnant à quelqu’un d’orchestrer une cyberattaque causant plus de 500 millions de dollars de dommages (à titre de comparaison, la panne de CrowdStrike est estimé (qui aurait causé plus de 5 milliards de dollars). Le projet de loi rend les développeurs – c’est-à-dire les entreprises qui développent les modèles – responsables de la mise en œuvre de protocoles de sécurité suffisants pour éviter de tels résultats.
Quels modèles et entreprises sont soumis à ces règles ?
Les règles du projet de loi SB 1047 ne s’appliqueraient qu’aux plus grands modèles d’IA du monde : ceux qui coûtent au moins 100 millions de dollars et qui utilisent 10^26 FLOPS (opérations à virgule flottante, une façon de mesurer le calcul) pendant l’entraînement. Cela représente une énorme quantité de calcul, même si le PDG d’OpenAI, Sam Altman, a déclaré Le GPT-4 coûte à peu près autant pour s’entraîner. Ces seuils pourraient être relevés selon les besoins.
Très peu d’entreprises ont aujourd’hui développé des produits d’IA publics suffisamment importants pour répondre à ces exigences, mais des géants de la technologie tels qu’OpenAI, Google et Microsoft devraient le faire très bientôt. Les modèles d’IA – essentiellement des moteurs statistiques massifs qui identifient et prédisent des modèles dans les données – sont généralement devenus plus précis à mesure qu’ils ont grandi, une tendance que beaucoup s’attendent à ce qu’elle se poursuive. Mark Zuckerberg a récemment déclaré que la prochaine génération de Llama de Meta nécessite 10 fois plus de puissance de calculce qui le placerait sous l’autorité du projet de loi SB 1047.
En ce qui concerne les modèles open source et leurs dérivés, le projet de loi stipule que le développeur d’origine est responsable, à moins qu’un autre développeur ne dépense 10 millions de dollars supplémentaires pour créer un dérivé du modèle d’origine.
Le projet de loi exige également un protocole de sécurité pour empêcher l’utilisation abusive des produits d’IA concernés, notamment un bouton d’arrêt d’urgence qui arrête l’ensemble du modèle d’IA. Les développeurs doivent également créer des procédures de test qui tiennent compte des risques posés par les modèles d’IA et doivent engager chaque année des auditeurs tiers pour évaluer leurs pratiques de sécurité en matière d’IA.
Le résultat doit être une « assurance raisonnable » que le respect de ces protocoles permettra d’éviter des préjudices critiques. pas une certitude absolue, qu’il est bien entendu impossible de fournir.
Qui la ferait respecter et comment ?
Une nouvelle agence californienne, le Board of Frontier Models, superviserait les règles. Chaque nouveau modèle d’IA public qui répond aux seuils de la SB 1047 doit être certifié individuellement avec une copie écrite de son protocole de sécurité.
Le conseil d’administration de Frontier Models serait dirigé par neuf personnes, dont des représentants de l’industrie de l’IA, de la communauté open source et du monde universitaire, nommés par le gouverneur et le corps législatif de Californie. Le conseil conseillera le procureur général de Californie sur les violations potentielles de la SB 1047 et fournira des conseils aux développeurs de modèles d’IA sur les pratiques de sécurité.
Le directeur technique d’un développeur doit soumettre une certification annuelle au conseil d’administration évaluant les risques potentiels de son modèle d’IA, l’efficacité de son protocole de sécurité et une description de la manière dont l’entreprise se conforme à la SB 1047. Comme pour les notifications de violation, si un « incident de sécurité de l’IA » se produit, le développeur doit le signaler au FMD dans les 72 heures suivant la prise de connaissance de l’incident.
Si les mesures de sécurité d’un développeur sont jugées insuffisantes, la SB 1047 permet au procureur général de Californie de rendre une ordonnance injonctive contre le développeur. Cela pourrait signifier que le développeur devrait cesser d’exploiter ou de former son modèle.
Si un modèle d’IA est effectivement utilisé lors d’un événement catastrophique, le procureur général de Californie peut poursuivre l’entreprise en justice. Pour un modèle dont la formation coûte 100 millions de dollars, les pénalités peuvent atteindre 10 millions de dollars pour la première infraction et 30 millions de dollars pour les infractions suivantes. Ce taux de pénalité augmente à mesure que les modèles d’IA deviennent plus chers.
Enfin, le projet de loi inclut des protections pour les lanceurs d’alerte pour les employés s’ils tentent de divulguer des informations sur un modèle d’IA dangereux au procureur général de Californie.
Que disent les promoteurs ?
Le sénateur de l’État de Californie Scott Wiener, auteur du projet de loi et représentant San Francisco, a déclaré à TechCrunch que le SB 1047 était une tentative de tirer les leçons des échecs politiques passés en matière de médias sociaux et de confidentialité des données, et de protéger les citoyens avant qu’il ne soit trop tard.
« Nous avons l’habitude d’attendre que des malheurs surviennent et de nous lamenter ensuite sur nos lauriers », a déclaré Wiener. « N’attendons pas qu’un malheur arrive. Anticipons-le. »
Même si une entreprise produit un modèle de 100 millions de dollars au Texas, ou même en France, elle sera couverte par la SB 1047 tant qu’elle exerce ses activités en Californie. Wiener affirme que le Congrès a « remarquablement peu légiféré sur la technologie au cours du dernier quart de siècle », et il pense donc qu’il appartient à la Californie de créer un précédent dans ce domaine.
Lorsqu’on lui demande s’il a rencontré OpenAI et Meta sur le SB 1047, Wiener répond : « nous avons rencontré tous les grands laboratoires. »
Deux chercheurs en intelligence artificielle, parfois appelés les « parrains de l’IA », Geoffrey Hinton et Yoshua Bengio, ont apporté leur soutien à ce projet de loi. Ces deux-là appartiennent à une faction de la communauté de l’IA préoccupée par les scénarios apocalyptiques dangereux que la technologie de l’IA pourrait provoquer. Ces « parrains de l’IA » existent depuis un certain temps dans le monde de la recherche, et le projet de loi SB 1047 pourrait codifier certaines de leurs mesures de protection préférées dans la loi. Un autre groupe parrainant le projet de loi SB 1047, le Center for AI Safety, a rédigé un article sur la sécurité de l’IA. lettre ouverte en mai 2023 demandant au monde de donner la priorité à « l’atténuation du risque d’extinction de l’IA » aussi sérieusement qu’aux pandémies ou à la guerre nucléaire.
« Cela est dans l’intérêt à long terme de l’industrie en Californie et aux États-Unis en général, car un incident de sécurité majeur serait probablement le plus gros obstacle à de nouvelles avancées », a déclaré le directeur du Center for AI Safety, Dan Hendrycks, dans un e-mail à TechCrunch.
Récemment, les motivations d’Hendrycks lui-même ont été remis en questionEn juillet, il a lancé publiquement une startup, Gray Swan, qui crée « des outils pour aider les entreprises à évaluer les risques de leurs systèmes d’IA », selon un communiqué de presse. communiqué de presse. Suite aux critiques selon lesquelles la startup de Hendrycks pourrait gagner si le projet de loi est adopté, potentiellement en tant que l’un des auditeurs que la SB 1047 oblige les développeurs à embaucher, il a cédé sa participation au capital dans Gray Swan.
« J’ai cédé mes investissements pour envoyer un signal clair », a déclaré Hendrycks dans un courriel adressé à TechCrunch. « Si les investisseurs en capital-risque milliardaires opposés à la sécurité de l’IA veulent montrer que leurs motivations sont pures, qu’ils suivent son exemple. »
Après que plusieurs des amendements suggérés par Anthropic aient été ajoutés au SB 1047, le PDG Dario Amodei a publié un lettre en affirmant que les « avantages du projet de loi dépassent probablement ses coûts ». Ce n’est pas une approbation, mais c’est un signal de soutien tiède. Peu de temps après, Elon Musk a indiqué qu’il était en faveur du projet de loi.
Que disent les opposants ?
Un nombre croissant d’acteurs de la Silicon Valley s’opposent au projet de loi SB 1047.
L’opposition des « milliardaires VC » de Hendrycks fait probablement référence à a16z, la société de capital-risque fondée par Marc Andreessen et Ben Horowitz, qui s’est fortement opposée au projet de loi SB 1047. Début août, le directeur juridique de la société de capital-risque, Jaikumar Ramaswamy, a soumis une lettre Le sénateur Wiener a déclaré que le projet de loi « pèserait sur les startups en raison de ses seuils arbitraires et changeants », créant ainsi un effet paralysant sur l’écosystème de l’IA. À mesure que la technologie de l’IA progresse, elle deviendra plus coûteuse, ce qui signifie que davantage de startups franchiront ce seuil de 100 millions de dollars et seront couvertes par la SB 1047 ; a16z affirme que plusieurs de ses startups reçoivent déjà cette somme pour la formation de leurs modèles.
Fei-Fei Li, souvent appelée la marraine de l’IA, a rompu son silence sur le projet de loi SB 1047 début août, en écrivant dans un Colonne de fortune que le projet de loi « nuira à notre écosystème d’IA en plein essor ». Bien que Li soit une pionnière réputée dans la recherche sur l’IA de Stanford, elle aurait également créé un Une start-up d’IA appelée World Labs en avril, évalué à un milliard de dollars et soutenu par a16z.
Elle rejoint des universitaires influents dans le domaine de l’IA, comme Andrew Ng, chercheur à Stanford, qui a qualifié le projet de loi « d’attaque contre l’open source » lors d’un discours prononcé lors d’un événement organisé par Y Combinator en juillet. Les modèles open source peuvent créer des risques supplémentaires pour leurs créateurs, car comme tout logiciel ouvert, ils sont plus facilement modifiés et déployés à des fins arbitraires et potentiellement malveillantes.
Yann LeCun, responsable scientifique de l’IA chez Meta, a déclaré que le projet de loi SB 1047 nuirait aux efforts de recherche et qu’il est basé sur une « illusion de « risque existentiel » promue par une poignée de groupes de réflexion délirants », dans un communiqué. publier sur XLe LLM de Meta est l’un des principaux exemples de LLM open source.
Les startups ne sont pas non plus ravies du projet de loi. Jeremy Nixon, PDG de la startup d’IA Omniscience et fondateur d’AGI House SF, un pôle pour les startups d’IA à San Francisco, craint que le projet de loi SB 1047 ne détruise son écosystème. Il soutient que les mauvais acteurs devraient être punis pour avoir causé des dommages critiques, et non les laboratoires d’IA qui développent et distribuent ouvertement la technologie.
« Il y a une profonde confusion au cœur du projet de loi, selon laquelle les LLM peuvent différer d’une manière ou d’une autre dans leurs niveaux de dangerosité », a déclaré Nixon. « Il est plus que probable, à mon avis, que tous les modèles ont des capacités dangereuses telles que définies par le projet de loi. »
OpenAI opposé au SB 1047 fin août, soulignant que les mesures de sécurité nationale liées aux modèles d’IA devraient être réglementées au niveau fédéral. a soutenu un projet de loi fédéral cela ferait l’affaire.
Mais les grandes entreprises technologiques, sur lesquelles le projet de loi se concentre directement, sont également paniquées par le projet de loi SB 1047. La Chambre du Progrès — un groupe commercial représentant Google, Apple, Amazon et d’autres géants de la Big Tech — a publié une lettre ouverte s’opposant au projet de loi Le projet de loi SB 1047 restreignait la liberté d’expression et « poussait l’innovation technologique hors de Californie ». L’année dernière, le PDG de Google, Sundar Pichai, et d’autres dirigeants du secteur technologique a soutenu l’idée d’une réglementation fédérale de l’IA.
Le membre du Congrès américain Ro Khanna, qui représente la Silicon Valley, a publié un déclaration s’opposant au projet de loi SB 1047 en août. Il a exprimé ses inquiétudes quant au fait que le projet de loi « serait inefficace, punirait les entrepreneurs individuels et les petites entreprises et porterait préjudice à l’esprit d’innovation de la Californie ». Il a depuis été rejoint par le président de la Chambre des représentants Nancy Pelosi et la Chambre de commerce des États-Unis, qui ont également déclaré que le projet de loi nuirait à l’innovation.
La Silicon Valley n’apprécie généralement pas que la Californie établisse une réglementation technologique aussi large. En 2019, les grandes entreprises technologiques a utilisé une carte similaire lorsqu’un autre projet de loi sur la protection de la vie privée de l’ÉtatLa loi californienne sur la protection de la vie privée des consommateurs menace également de modifier le paysage technologique. La Silicon Valley fait pression contre ce projet de loiet quelques mois avant son entrée en vigueur, le fondateur d’Amazon, Jeff Bezos, et 50 autres dirigeants a écrit une lettre ouverte demandant un projet de loi fédéral sur la protection de la vie privée plutôt.
Que se passe-t-il ensuite ?
Le projet de loi SB 1047 est actuellement sur le bureau du gouverneur de Californie Gavin Newsom, qui devra décider s’il doit le promulguer avant la fin du mois d’août. Wiener dit qu’il n’a pas parlé du projet de loi à Newsom et qu’il ne connaît pas sa position.
Ce projet de loi n’entrera pas en vigueur immédiatement, car le conseil d’administration de Frontier Models devrait être formé en 2026. De plus, si le projet de loi est adopté, il est très probable qu’il fasse l’objet de contestations judiciaires avant cette date, peut-être de la part de certains des mêmes groupes qui en parlent actuellement.
Correction : cet article faisait à l’origine référence à une version antérieure du projet de loi SB 1047 concernant la responsabilité des modèles affinés. Actuellement, le projet de loi SB 1047 stipule que le développeur d’un modèle dérivé n’est responsable d’un modèle que s’il dépense trois fois plus que le développeur du modèle d’origine pour la formation.
