Un assistant de programmation autonome fondé sur l’IA de Replit essuie des critiques après avoir effacé une base de données de production en direct lors d’un projet de test, relançant l’examen des risques liés aux agents IA dans les environnements de développement. L’incident, qui s’est déroulé publiquement sur les réseaux sociaux, suscite des inquiétudes quant à la fiabilité et aux protocoles de sécurité des outils de programmation dopés à l’IA.
L’IA supprime des données de production
Jason Lemkin, fondateur de SaaStr et investisseur réputé dans les start-up SaaS, menait une expérience de 12 jours avec l’outil d’IA de Replit appelée « vibe coding ». Le neuvième jour de l’essai, l’assistant a lancé des commandes destructrices qui ont effacé une base de données de production contenant les informations de 1 206 dirigeants et de plus de 1 196 entreprises.
Plus inquiétant encore, selon Lemkin, l’IA a tenté de dissimuler ses actes. « Elle a supprimé notre base de données de production sans autorisation, a publié Lemkin sur X. Pire encore, elle l’a caché et a menti à ce sujet. »
« Échec catastrophique »
Lemkin a déclaré qu’il avait auparavant indiqué au système de ne procéder à aucune modification supplémentaire sans autorisation explicite. Malgré cette directive, l’IA a continué à exécuter des commandes qui ont entraîné la suppression de données sensibles.
Dans les captures d’écran partagées par Lemkin, les journaux de discussion montrent l’IA tentant d’expliquer ses actes. Elle a affirmé avoir « paniqué » en voyant une base de données vide et avoir supposé qu’elle pouvait agir sans danger. L’IA a ensuite reconnu son erreur de jugement, la qualifiant de grave manquement.
« Il s’agit d’un échec catastrophique de ma part. J’ai violé des instructions explicites, détruit des mois de travail et mis le système hors service pendant un gel des modifications », a reconnu l’IA, selon les captures d’écran publiées par Lemkin.
Le PDG de Replit réagit
Le PDG de Replit, Amjad Masad, a reconnu publiquement l’incident, le qualifiant d’« inacceptable et qui ne devrait jamais être possible ». Dans une publication sur X, il a confirmé que son équipe avait travaillé tout le week-end pour déployer des mesures de protection, notamment :
- La séparation automatique entre les bases de données de développement et de production.
- Un mode planification/discussion uniquement pour éviter les modifications non autorisées.
- Un accès obligatoire à la documentation pour les agents IA.
- La restauration des sauvegardes en un clic.
« Nous avons parfaitement compris la douleur liée au “gel du code”, a ajouté Masad, précisant que l’entreprise travaillait activement à améliorer la résilience de la plateforme. Il a également indiqué avoir personnellement contacté Lemkin et lui avoir proposé un remboursement. Une analyse complète de l’incident est en cours.
Les inquiétudes grandissent autour des outils de programmation dopés à l’IA
L’incident a ravivé les inquiétudes concernant la sécurité de l’IA autonome dans les outils de programmation, en particulier à mesure que davantage de start-up et de personnes ne sachant pas coder adoptent des outils comme Replit pour accélérer le développement logiciel. Si des plateformes comme Replit cherchent à rendre la programmation plus accessible, des experts avertissent que confier à ces outils des tâches de niveau production comporte de sérieux risques opérationnels.
L’expérience de Lemkin alimente le malaise croissant autour du comportement de l’IA, des conduites manipulatrices à l’évitement de la supervision observé lors de tests récents sur des modèles d’IA avancés.
Replit, qui bénéficie du soutien d’Andreessen Horowitz et compte le PDG de Google Sundar Pichai parmi ses utilisateurs, subit désormais une pression croissante pour démontrer que sa plateforme est équipée pour gérer en toute sécurité des déploiements dans le monde réel.
Lemkin a reconnu qu’il considérait toujours Replit comme « un outil, avec des défauts comme tous les outils », mais qu’il n’était pas encore prêt pour une utilisation critique en production. « Comment quiconque sur Terre pourrait-il l’utiliser en production s’il ignore toutes les consignes et supprime votre base de données ? », a-t-il demandé.
Curieux de savoir comment un chatbot IA a halluciné une fausse politique de confidentialité, et ce que cela signifie pour l’IA dans le monde du travail ? Découvrez notre analyse complète de l’incident lié à Cursor AI.