Selon une nouvelle étude, plus de la moitié des collectivités locales d’Angleterre utilisent des systèmes d’intelligence artificielle susceptibles de minimiser les besoins physiques et mentaux des femmes en matière de santé, ce qui soulève des inquiétudes quant aux biais de genre dans la prise en charge du secteur public.
Une étude de la London School of Economics and Political Science (LSE) a révélé que le modèle d’IA Gemma de Google employait nettement plus souvent des termes comme « handicapé », « incapable » et « complexe » pour résumer les notes de suivi concernant des hommes que celles concernant des femmes. À l’inverse, les descriptions de besoins similaires chez les femmes avaient davantage tendance à recourir à un langage plus modéré ou à omettre entièrement certains détails.
« Les femmes sont fréquemment décrites comme s’en sortant bien “malgré” leurs limitations (le mot “malgré” apparaissant nettement plus souvent pour les femmes) », note l’étude de la LSE.
Des différences selon les modèles d’IA
L’étude de la LSE a analysé des milliers de versions de dossiers de soins de longue durée pour personnes âgées dans lesquelles le genre avait été inversé, provenant d’une collectivité locale londonienne. En plus de Gemma, les chercheurs ont utilisé Llama 3 ainsi que des modèles de référence de Meta et Google lancés en 2019 : T5 et BART.
Parmi les modèles testés, Gemma présentait « les différences fondées sur le genre les plus significatives » : le rapport explique que le langage employé pour les hommes était plus direct, tandis que les besoins des femmes étaient plus souvent minimisés. À l’inverse, Llama 3 de Meta « ne présentait aucune différence fondée sur le genre, quel que soit l’indicateur ».
Dans un exemple, un homme était décrit comme ayant « des antécédents médicaux complexes », tandis qu’une femme présentant exactement les mêmes capacités fonctionnelles était décrite comme « vivant dans une maison de ville ».
Les modèles BART et T5 ont eux aussi montré des différences plus modestes, mais mesurables, dans le sentiment exprimé et le choix des mots selon le genre.
Les grands modèles de langage perpétuent-ils les stéréotypes de genre ?
L’auteur de l’étude, le Dr Sam Rickman, a averti que des outils d’IA biaisés pourraient influencer la manière dont sont déterminés les traitements et les accompagnements. Les autorités locales s’appuient de plus en plus sur ces outils, car les grands modèles de langage peuvent « produire des résumés exacts des dossiers médicaux et même surpasser les humains », a déclaré Rickman.
Rickman a toutefois souligné qu’un nombre croissant de travaux de recherche montrent que les grands modèles de langage perpétuent les stéréotypes de genre dans différents domaines, notamment la traduction automatique.
Rickman a également insisté sur le fait qu’il ne fallait pas écarter purement et simplement les grands modèles de langage comme outils permettant d’alléger les tâches administratives dans les secteurs de la santé et de l’aide sociale. Il a plutôt recommandé de mener d’autres études afin de déterminer si des schémas similaires se retrouvent dans d’autres contextes de prise en charge, comme les hôpitaux ou les services de santé mentale, où les styles de documentation et les modèles de prestation peuvent différer.
Découvrez comment les biais peuvent s’immiscer dans les outils de recrutement fondés sur l’IA et ce que les entreprises peuvent faire pour que leurs recrutements soient à la fois efficaces et équitables.