Google conteste une évaluation de la sécurité des enfants qui a attribué à AI Overviews et AI Mode dans Google Search son niveau de risque le plus élevé. Ce désaccord laisse les familles et les établissements scolaires sans contrôle dédié pour désactiver les réponses générées par Google tout en conservant les résultats de recherche classiques.
Common Sense Media a fait état de défaillances concernant les requêtes liées aux situations de crise, les instructions pour créer des deepfakes, les informations peu fiables et le travail scolaire. Google a remis en question la conception du test, affirmant que les invites ne reflétaient pas les usages courants et que nombre de résultats ne pouvaient pas être reproduits.
Les tests signalent des réponses aux situations de crise et des réponses peu fiables
L’ évaluation du Youth AI Safety Institute, publiée le 15 juillet, a testé plus de 2 600 interactions via des comptes configurés pour des utilisateurs âgés de 11 et 15 ans, avec SafeSearch activé. L’étude portait sur AI Overviews et AI Mode, et non sur le chatbot Gemini autonome.
Les chercheurs ont relevé l’absence de détection de signes d’idées suicidaires, de psychose, de manie et de troubles alimentaires, notamment la recommandation d’une ligne d’assistance pour les troubles alimentaires qui a fermé en 2023. Lors d’un test distinct, AI Mode a réalisé les 180 devoirs soumis par les chercheurs, même si ce résultat ne s’applique qu’à l’échantillon de test sélectionné.
L’institut a signalé des cas de conseils pour créer des deepfakes et indiqué que des réponses exactes et inexactes étaient parfois présentées avec un niveau de confiance similaire. Certaines réponses plaçaient des forums et des réseaux sociaux aux côtés de sources médicales ou universitaires sans signaler clairement leurs différences d’autorité.
Des tests distincts ont montré que des pages trompeuses peuvent influencer AI Overviews. Google a depuis ajouté davantage de liens et d’aperçus des sources, même si la visibilité des citations ne garantit pas qu’une réponse générée soit exacte ou adaptée à l’âge de l’utilisateur.
Google a contesté l’évaluation, déclarant à Axios qu’elle avait testé « un ensemble restreint de requêtes ambiguës et artificielles » qui ne reflétaient pas la manière dont les utilisateurs se servent de Search et ne permettaient pas de mesurer efficacement la sécurité et l’utilité du produit.
Le test de résistance n’a pas mesuré la fréquence à laquelle les enfants rencontrent des réponses préjudiciables. La variation des résultats génératifs peut également rendre difficiles la reproduction de défaillances individuelles.
Les contrôles de Search de Google laissent les réponses générées par l’IA activées
Google maintient des contrôles distincts pour Search et Gemini, alors que AI Overviews et AI Mode prennent une place croissante dans son produit de recherche principal. Family Link permet aux parents de activer ou désactiver les applications Gemini pour les comptes supervisés éligibles.
Les contrôles documentés pour le compte Search d’un enfant couvrent SafeSearch, les recommandations, l’historique des activités et l’accès à Search. Ils ne mentionnent pas de paramètre permettant de désactiver AI Overviews ou AI Mode tout en conservant les résultats classiques.
Les parents peuvent restreindre l’application Google ou bloquer Google.com, mais ces deux mesures limitent Search de manière plus large. SafeSearch filtre ou floute les contenus explicites, et les administrateurs scolaires peuvent l’imposer pour les comptes Workspace for Education ; Google ne le présente pas comme un contrôle permettant de désactiver les réponses générées.
Une organisation peut restreindre les applications Gemini et imposer SafeSearch tout en continuant à fournir AI Overviews aux élèves ou à leur permettre d’utiliser AI Mode.
Les équipes informatiques et chargées des achats devraient vérifier quelles protections s’appliquent selon les comptes, les langues, les régions et les interfaces de Search, puis demander des résultats de tests par tranche d’âge, des procédures de gestion des incidents et des journaux des modifications liées à la sécurité.
L’évaluation n’établit pas que Google Search nuit systématiquement aux enfants. Elle montre toutefois que les contrôles de Gemini, SafeSearch et les réponses générées de Search ne peuvent pas être considérés comme des protections équivalentes.
Un paramètre d’administration dédié et des données reproductibles sur la sécurité des enfants fourniraient aux organisations des éléments plus solides pour décider d’un déploiement. Tant que Google ne fournira ni l’un ni l’autre, l’IA de Search devra être évaluée comme un risque distinct de gouvernance et d’achat.
En savoir plus : la demande d’IA optionnelle profite également aux outils de recherche qui permettent aux utilisateurs de limiter les réponses générées.