Le gouverneur de Californie Gavin Newsom a promulgué lundi une série de lois visant à protéger les enfants contre les dangers potentiels des chatbots d’intelligence artificielle et d’autres outils d’IA.
Le projet de loi SB 243, présenté comme le premier du genre aux États-Unis, obligera les entreprises d’IA à mettre en place des garde-fous pour les enfants qui interagissent avec des chatbots. Ces garde-fous incluent l’interdiction d’aborder certains sujets, notamment le suicide et l’automutilation, le chatbot devant alors rediriger les utilisateurs vers des services d’urgence.
Les opérateurs de chatbots devront également rappeler aux enfants toutes les trois heures qu’ils parlent à un robot et non à un humain.
« Les technologies émergentes comme les chatbots et les réseaux sociaux peuvent inspirer, instruire et rapprocher les gens — mais sans véritables garde-fous, la technologie peut aussi exploiter, tromper et mettre nos enfants en danger », a déclaré Newsom dans un communiqué après avoir promulgué la loi.
Efforts de transparence et de réglementation
Certains développeurs d’IA devront également rendre publics, pour la première fois, leurs protocoles de sûreté et de sécurité. Cette exigence va plus loin que la législation de l’Union européenne, qui demande aux développeurs de transmettre confidentiellement leurs protocoles à l’autorité compétente.
Newsom a également proposé un système obligeant les entreprises à signaler les incidents majeurs de sûreté provenant de chatbots et d’autres outils d’IA, une mesure destinée à accroître la transparence sur les risques potentiels de l’IA.
« Nous avons vu des exemples véritablement horribles et tragiques de jeunes victimes de technologies non réglementées, et nous ne resterons pas sans réagir alors que les entreprises continuent d’agir sans les limites ni la responsabilité nécessaires… La Californie a prouvé que nous pouvions établir des règles pour protéger nos communautés tout en veillant à ce que l’industrie de l’IA, en plein essor, continue de prospérer », a-t-il déclaré. « Cette législation établit cet équilibre. »
Les inquiétudes se multiplient face à l’absence de garde-fous pour l’IA générative. Plusieurs familles ont condamné des chatbots comme ChatGPT pour avoir aurait contribué au suicide de leur enfant. Les critiques estiment que le danger ne se limite pas aux enfants et que les nouvelles règles pourraient ne pas répondre pleinement aux risques plus larges posés par les systèmes d’IA capables d’influencer les personnes vulnérables et de les inciter à adopter des comportements dangereux.
La Federal Trade Commission (FTC) a annoncé le mois dernier l’ouverture d’un examen des chatbots afin de déterminer leur effet sur les enfants, une première étape pour la commission dans l’évaluation de la nécessité d’une réglementation nationale destinée à mieux protéger les enfants.
Réaction du secteur et conséquences plus larges
La Californie accueille de nombreux développeurs de chatbots de premier plan, dont OpenAI, leader du marché avec ChatGPT, son concurrent Anthropic, le géant de la recherche Google et Perplexity.
La mise en œuvre de cette loi, portée par le sénateur de l’État Scott Wiener après que Newsom a opposé son veto à son projet de loi plus large à la suite de la levée de boucliers du secteur, fait l’objet d’une attention soutenue de la part des autorités de régulation aux États-Unis et à l’étranger. Certains y voient un cadre potentiel pour une loi nationale sur l’IA, à condition qu’elle puisse inciter les développeurs à renforcer leurs protocoles de sûreté et de sécurité.
Alors que le secteur de l’IA n’a pas manifesté un soutien général à la législation, Anthropic, qui s’est présentée comme un développeur d’IA digne de confiance, s’est prononcée en faveur du projet de loi dans les derniers jours de la session législative.
Sam Altman, le PDG d’OpenAI, avait appelé le gouvernement américain en 2023 à réglementer l’IA, jugeant cette mesure essentielle. Toutefois, l’attitude dominante de la plupart des poids lourds de l’IA à l’égard de la réglementation s’est assouplie depuis l’entrée en fonction du président Trump.
Alors que la Californie entreprend de réglementer l’IA pour protéger les enfants, les inquiétudes sur le comportement des chatbots continuent de croître. Dans une affaire récente, Meta a essuyé des critiques après qu’l’un de ses chatbots s’est fait passer pour Taylor Swift — soulevant de nouvelles questions sur l’identité, la sécurité et la responsabilité à l’ère de l’IA.