Google stellt eine Bewertung zur Kindersicherheit infrage, in der AI Overviews und AI Mode in der Google-Suche die niedrigste Risikoeinstufung erhielten. Dadurch stehen Familien und Schulen weiterhin ohne eigene Kontrolle da, mit der sich Googles generierte Antworten deaktivieren lassen, während herkömmliche Suchergebnisse erhalten bleiben.
Common Sense Media berichtete über Probleme bei krisenbezogenen Suchanfragen, Anleitungen für Deepfakes, unzuverlässige Informationen und Schularbeiten. Google stellte das Testdesign infrage und erklärte, die Eingaben entsprächen nicht der typischen Nutzung und viele Ergebnisse hätten sich nicht reproduzieren lassen.
Tests zeigen problematische Krisenantworten und unzuverlässige Ergebnisse
Die Bewertung des Youth AI Safety Institute, die am 15. Juli veröffentlicht wurde, testete mehr als 2.600 Interaktionen über Konten, die für ein Alter von 11 und 15 Jahren konfiguriert waren und bei denen SafeSearch aktiviert war. Die Studie untersuchte AI Overviews und AI Mode, nicht den eigenständigen Gemini-Chatbot.
Die Forschenden berichteten von übersehenen Anzeichen für Suizidgedanken, Psychosen, Manien und Essstörungen, darunter auch die Empfehlung einer Hotline für Essstörungen, die 2023 geschlossen wurde. In einem separaten Test erledigte AI Mode alle 180 von den Forschenden eingereichten Aufgaben, wobei dieses Ergebnis nur für die ausgewählte Testreihe gilt.
Das Institut berichtete von Fällen, in denen Anleitungen zur Erstellung von Deepfakes gegeben wurden, und erklärte, dass richtige und falsche Antworten teilweise mit ähnlicher Sicherheit präsentiert wurden. Einige Antworten stellten Foren und soziale Medien neben medizinische oder akademische Quellen, ohne die Unterschiede bei deren Autorität klar zu kennzeichnen.
Separate Tests haben gezeigt, dass irreführende Seiten AI Overviews beeinflussen können. Google hat inzwischen weitere Links und Quellenvorschauen hinzugefügt, doch die Sichtbarkeit von Quellenangaben garantiert weder die Richtigkeit noch die Altersangemessenheit einer generierten Antwort.
Google wies die Bewertung zurück und erklärte gegenüber Axios, es seien „eine begrenzte Anzahl mehrdeutiger und konstruiert wirkender Suchanfragen“ getestet worden, die weder die tatsächliche Nutzung der Suche widerspiegelten noch Produktsicherheit und Nützlichkeit wirksam messen könnten.
Der Stresstest ermittelte nicht, wie häufig Kinder auf schädliche Antworten stoßen. Die sich verändernden generativen Ausgaben können zudem dazu führen, dass sich einzelne Fehler nur schwer reproduzieren lassen.
Googles Suchkontrollen lassen KI-Antworten aktiviert
Google bietet getrennte Kontrollen für die Suche und Gemini, während AI Overviews und AI Mode eine größere Rolle in seinem zentralen Suchprodukt einnehmen. Mit Family Link können Eltern Gemini-Apps aktivieren oder deaktivieren für berechtigte beaufsichtigte Konten.
Die dokumentierten Kontrollen für das Suchkonto eines Kindes umfassen SafeSearch, Empfehlungen, den Aktivitätsverlauf und den Zugriff auf die Suche. Eine Einstellung, mit der sich AI Overviews oder AI Mode deaktivieren lassen, während die standardmäßigen Ergebnisse erhalten bleiben, ist darin nicht aufgeführt.
Eltern können die Google-App einschränken oder Google.com blockieren, doch beide Maßnahmen beschränken die Suche umfassender. SafeSearch filtert oder verwischt explizite Inhalte, und Schuladministratoren können die Funktion für Workspace-for-Education-Konten verbindlich aktivieren; Google dokumentiert sie jedoch nicht als Kontrolle zum Deaktivieren generierter Antworten.
Eine Organisation kann Gemini-Apps einschränken und SafeSearch verbindlich aktivieren, während Schülerinnen und Schüler weiterhin AI Overviews erhalten oder AI Mode nutzen.
IT- und Beschaffungsteams sollten prüfen, welche Schutzmaßnahmen für verschiedene Konten, Sprachen, Regionen und Suchoberflächen gelten, und anschließend altersspezifische Testergebnisse, Verfahren für Vorfälle und Änderungsprotokolle mit Bezug zur Sicherheit anfordern.
Die Bewertung belegt nicht, dass die Google-Suche Kindern regelmäßig schadet. Sie zeigt jedoch, dass Gemini-Kontrollen, SafeSearch und generierte Antworten in der Suche nicht als gleichwertige Schutzmaßnahmen behandelt werden können.
Eine eigene Administratoreinstellung und reproduzierbare Daten zur Kindersicherheit würden Organisationen eine solidere Grundlage für Bereitstellungsentscheidungen geben. Bis Google eines von beidem bereitstellt, sollte die KI in der Suche als eigenständiges Governance- und Beschaffungsrisiko bewertet werden.
Mehr lesen: Die Nachfrage nach optionaler KI kommt auch Suchwerkzeugen zugute, mit denen Nutzer generierte Antworten begrenzen können.