Un juge a ordonné à SafeRent, un outil d’évaluation des locataires fondé sur l’IA, de cesser d’utiliser ses scores générés par l’IA pour évaluer les locataires à faibles revenus, en particulier ceux qui bénéficient de bons de logement. La juge fédérale américaine Angel Kelley a approuvé un accord de 2,3 millions de dollars US faisant suite à des allégations selon lesquelles les pratiques de SafeRent violaient la législation du Massachusetts et le Fair Housing Act.
Comment fonctionnait le système de notation de SafeRent
Le recours collectif déposé en 2022 affirmait que le système de notation de SafeRent portait injustement préjudice aux locataires noirs et hispaniques, ainsi qu’à ceux qui dépendaient d’une aide au logement. Les plaignants soutenaient que le système attribuait de manière disproportionnée de mauvaises notes à ces groupes, ce qui conduisait les propriétaires à rejeter leurs demandes. L’accord impose des changements importants aux pratiques de notation de SafeRent et indemnise les locataires du Massachusetts concernés, qui s’étaient vu refuser un logement.
- L’algorithme d’IA de SafeRent évaluait les candidats à la location à partir de facteurs tels que l’historique de crédit et les dettes autres que locatives, produisant un « score SafeRent » que les propriétaires utilisaient pour prendre leurs décisions de location.
- Selon la plainte, ce processus manquait de transparence, les propriétaires n’étant pas informés de la manière dont les scores étaient calculés.
- Le système aurait pénalisé les candidats utilisant des bons de logement, une pratique dénoncée comme discriminatoire et contraire au droit du logement.
Shennan Kavanagh, directeur du contentieux au National Consumer Law Center, a expliqué que ces scores s’appuient sur des données conçues pour prédire le remboursement de crédits plutôt que le paiement des loyers, ce qui les rend peu fiables pour évaluer la solvabilité des locataires.
L’accord prévoit d’importantes réformes de l’évaluation des locataires par IA
Dans le cadre de l’accord conclu pour cinq ans, SafeRent n’utilisera ni n’affichera plus de scores pour les candidats bénéficiant de bons de logement à l’échelle nationale. En outre, les propriétaires qui utilisent le modèle de score SafeRent « affordable » ne verront ni scores ni recommandations leur indiquant d’accepter ou de refuser des locataires en fonction de leur recours à un bon. Ils devront plutôt évaluer les candidats de manière plus globale, en tenant compte de l’intégralité de leur historique locatif.
La porte-parole de SafeRent, Yazmin Lopez, a défendu l’entreprise, affirmant que ses pratiques de notation étaient conformes à la loi. Elle a toutefois reconnu que la procédure judiciaire avait été coûteuse et chronophage.
« Défendre le score SRS détournerait des ressources que SafeRent pourrait mieux employer au service de sa mission principale », a déclaré Lopez.
L’IA dans le logement fait l’objet d’une surveillance accrue
Cette affaire met en lumière la surveillance croissante dont fait l’objet la prise de décision algorithmique dans le secteur du logement. En août, le Department of Justice a poursuivi RealPage en justice, un autre éditeur de logiciels de gestion immobilière, l’accusant d’utiliser des outils de tarification fondés sur l’IA pour gonfler les loyers. L’accord conclu avec SafeRent souligne les risques liés à l’utilisation de l’IA dans les décisions relatives au logement et remet en question l’équité de tels systèmes.
L’accord de 2,3 millions de dollars US constitue une victoire pour les défenseurs du droit au logement équitable et crée un précédent en matière de responsabilisation des outils pilotés par l’IA pour leurs pratiques discriminatoires. L’accord vise à réduire les biais dans les décisions de location et à garantir un accès égal aux possibilités de logement, en veillant à ce que les candidats soient évalués sur l’ensemble de leur dossier plutôt que par des algorithmes opaques.