Microsoft n’entraînera pas son IA sur les données scolaires, mais certaines utilisations des données subsistent

Microsoft trace une ligne claire autour des données scolaires. Son nouvel accord avec les syndicats d’enseignants stipule que les informations concernant les élèves et les personnels éducatifs ne peuvent pas être utilisées pour entraîner ou améliorer des modèles d’IA, à l’exception de quelques cas limités liés à la sûreté et à la sécurité.

Le National AI Safety & Privacy Standard, négocié avec l’American Federation of Teachers et la United Federation of Teachers, établit 10 garanties juridiquement applicables pour les produits d’IA de Microsoft utilisés dans les établissements scolaires. À partir du 1er novembre, les districts scolaires américains pourront ajouter ces dispositions à de nouveaux contrats clients Microsoft ou à des contrats existants, en couvrant l’utilisation des données, le suivi, la sécurité, la transparence et la supervision humaine.

Pour les établissements scolaires, l’important est que ces règles puissent devenir des clauses contractuelles, et pas seulement des promesses concernant les produits. L’accord va également au-delà de l’entraînement des modèles, en fixant des limites à la manière dont les données peuvent être collectées, utilisées, conservées et partagées.

L’accord de Microsoft ajoute 10 garanties applicables

Politico a rapporté que Microsoft avait accepté de ne pas suivre les élèves et de ne pas laisser son IA prendre des décisions dans les établissements scolaires sans supervision humaine. L’entreprise doit également publier des rapports, fournir des certifications annuelles et respecter des délais pour corriger les problèmes de sécurité.

Microsoft a indiqué que les établissements scolaires conserveraient le contrôle sur la manière dont leurs données sont utilisées, conservées et supprimées. Les familles et les enseignants doivent également recevoir des informations claires sur les données collectées, le fonctionnement des outils d’IA et les garanties mises en place.

AFT President Randi Weingarten a déclaré que le syndicat voulait des garanties ayant une « réelle portée », estimant que les engagements volontaires ne suffisaient pas. Si Microsoft enfreint des clauses contractuelles intégrant le standard, les établissements scolaires pourraient engager des recours pour rupture de contrat.

Le standard couvre davantage que les noms et les notes

L’accord adopte une définition large des données relatives aux élèves. Selon Education Week, celles-ci peuvent inclure les noms, les notes, les dossiers comportementaux, les consignes de rédaction, les fichiers de mémoire, les productions, les frappes au clavier et les données de suivi du regard lorsque ces informations peuvent raisonnablement permettre d’identifier un élève ou d’être reliées à lui.

Le standard prévoit également le chiffrement et des contrôles d’accès, des tests de sécurité indépendants, des plans de réponse aux violations et un examen supplémentaire pour les utilisations présentant davantage de risques, comme la biométrie, la mémoire, le profilage et le suivi. Les compagnons d’IA conçus pour simuler des relations sociales ou affectives suivies avec des élèves sont interdits, et les violations doivent être signalées dans un délai de 72 heures.

Ce qu’a constaté eWEEK : Microsoft autorise toujours certaines utilisations des données

La promesse de Microsoft n’interdit pas l’utilisation de toutes les données liées aux établissements scolaires. Education Week a rapporté que les données de télémétrie désidentifiées ne peuvent pas servir à entraîner des modèles d’IA, à créer des publicités, à établir des profils d’élèves ou à déduire le comportement des élèves, mais qu’elles peuvent toujours être utilisées pour le débogage, la sécurité ou l’amélioration des produits.

« Non utilisé pour l’entraînement de l’IA » ne signifie pas que les données sont interdites pour toute autre finalité. Les établissements scolaires doivent toujours savoir quelle télémétrie est collectée, comment elle est désidentifiée, combien de temps elle est conservée et quelles utilisations opérationnelles Microsoft autorise encore.d.

Education Week a également relevé que des informations désidentifiées peuvent parfois être rattachées à des personnes lorsque les systèmes d’IA combinent des éléments de contexte, le style d’écriture et d’autres indices permettant l’identification.

L’accord ne va pas non plus jusqu’à créer une loi nationale sur la confidentialité. Ses protections deviennent applicables lorsque les districts scolaires intègrent le standard à leurs contrats clients Microsoft, ce qui signifie que son adoption déterminera l’étendue réelle de l’application de ces règles.

L’AFT veut que l’accord devienne un standard du secteur

Politico a souligné que l’AFT négocie déjà avec OpenAI et Anthropic pour l’adoption de dispositions similaires. 

Selon Engadget, le syndicat a déclaré vouloir que l’accord avec Microsoft serve de standard du secteur plutôt que de rester un arrangement limité à une seule entreprise.

Si d’autres grands fournisseurs d’IA adoptent des conditions comparables, les districts scolaires pourraient disposer d’une base plus cohérente pour négocier avec les différents fournisseurs des exigences en matière de confidentialité, de sécurité et de supervision humaine.

Pour l’instant, l’accord de Microsoft donne aux districts un cadre plus clair pour décider de ce que les outils d’IA peuvent faire avec les données scolaires et des protections à inscrire au contrat avant que ces outils n’arrivent dans les salles de classe.

Microsoft remodèle également l’IA qui se trouve derrière ses produits, en remplaçant certains modèles d’OpenAI par sa propre technologie dans PowerPoint, Bing et OneDrive.