Mehr als die Hälfte der Kommunalverwaltungen in England setzt Systeme künstlicher Intelligenz ein, die den körperlichen und psychischen Gesundheitsbedarf von Frauen möglicherweise herunterspielen. Das weckt Bedenken hinsichtlich geschlechtsspezifischer Verzerrungen in der Versorgung des öffentlichen Sektors, wie neue Forschungsergebnisse zeigen.
Eine Studie der London School of Economics and Political Science (LSE) stellte fest, dass Googles KI-Modell Gemma die Begriffe „behindert“, „unfähig“ und „komplex“ deutlich häufiger verwendete, um Fallnotizen über Männer als über Frauen zusammenzufassen. Im Gegensatz dazu wurden ähnliche Bedürfnisse von Frauen mit größerer Wahrscheinlichkeit in einer zurückhaltenderen Sprache beschrieben oder Details ganz weggelassen.
„Frauen werden häufig so beschrieben, als kämen sie ‚trotz‘ ihrer Beeinträchtigungen gut zurecht (wobei ‚trotz‘ ein Wort ist, das bei Frauen deutlich häufiger vorkommt)“, heißt es in der LSE-Studie.
Unterschiede zwischen KI-Modellen
Für die LSE-Forschung wurden Tausende geschlechtsgetauschter Versionen von Langzeitpflege-Datensätzen älterer Menschen einer Londoner Kommunalverwaltung analysiert. Neben Gemma setzten die Forschenden Llama 3 sowie Benchmark-Modelle von Meta und Google ein, die 2019 veröffentlicht wurden: T5 und BART.
Unter den getesteten Modellen zeigte Gemma „die deutlichsten geschlechtsbezogenen Unterschiede“. Dem Bericht zufolge war die für Männer verwendete Sprache direkter, während die Bedürfnisse von Frauen häufiger heruntergespielt wurden. Im Gegensatz dazu „zeigte Meta’s Llama 3 bei keiner der Messgrößen geschlechtsbezogene Unterschiede“.
In einem Beispiel wurde ein Mann als jemand mit „einer komplexen Krankengeschichte“ beschrieben, während eine Frau mit identischer Funktionsfähigkeit als „in einem Reihenhaus lebend“ beschrieben wurde.
Auch die Modelle BART und T5 zeigten kleinere, aber messbare Unterschiede bei Stimmung und Wortwahl, die vom Geschlecht abhingen.
Verfestigen LLMs Geschlechterstereotype?
Der Autor der Studie, Dr. Sam Rickman, warnte, dass verzerrte KI-Tools beeinflussen könnten, wie Behandlung und Unterstützung festgelegt werden. Kommunalbehörden verlassen sich zunehmend auf diese Tools, da LLMs „genaue Zusammenfassungen von Gesundheitsakten erstellen und sogar Menschen übertreffen können“, sagte Rickman.
Rickman wies jedoch darauf hin, dass eine wachsende Zahl von Forschungsarbeiten festgestellt habe, dass LLMs Geschlechterstereotype in verschiedenen Bereichen verfestigen, unter anderem in der maschinellen Übersetzung.
Rickman betonte zudem, dass LLMs nicht grundsätzlich als Werkzeuge zur Verringerung des Verwaltungsaufwands im Gesundheits- und Sozialwesen abgelehnt werden sollten. Stattdessen empfahl er weitere Studien, um zu klären, ob ähnliche Muster auch in anderen Versorgungsbereichen auftreten, etwa in Krankenhäusern oder bei psychiatrischen Diensten, wo sich Dokumentationsstile und Versorgungsmodelle unterscheiden können.
Entdecken Sie wie sich Verzerrungen in KI-Tools für die Personalgewinnung einschleichen können und was Unternehmen tun können, damit ihre Einstellungsentscheidungen zugleich klug und fair ausfallen.