Dans quelle mesure les équipes de sécurité doivent-elles faire confiance à l’IA pour prendre la bonne décision ?
Michael Fanning, responsable de la sécurité des systèmes d’information chez Splunk, estime que chaque organisation devrait se poser cette question lorsqu’elle intègre l’automatisation à des opérations de défense critiques.
Au cours de sa carrière, Fanning a dirigé des organisations très performantes comptant jusqu’à 300 personnes. Il est aujourd’hui à la tête des équipes de Splunk réparties dans le monde entier, qui couvrent l’ingénierie de la sécurité, la gestion des identités et des accès (IAM), la sécurité des produits, la détection et la réponse, la gouvernance, la gestion des risques et la conformité (GRC), ainsi que la formation et la sensibilisation à la sécurité.
Dans cet entretien exclusif à eWeek , Fanning aborde les difficultés liées à la gestion des risques de l’IA, des hallucinations susceptibles de fausser les alertes aux politiques de gouvernance qui garantissent la responsabilisation des modèles.
Q : Quel est le type d’hallucination de l’IA le plus dangereux pour les équipes de sécurité des entreprises aujourd’hui, et pourquoi est-il si difficile à détecter rapidement ?
R : L’hallucination de l’IA la plus dangereuse pour les équipes de sécurité survient lorsque l’IA prend une décision erronée au sujet d’une alerte et écarte à tort une véritable menace en la considérant comme une fausse alerte.
Imaginez que votre système d’alarme domestique ignore une effraction parce que l’intrus est déguisé en livreur FedEx. Les équipes de sécurité pourraient ne pas voir la véritable menace parce qu’elle ressemble à une activité normale. Il est difficile de la repérer rapidement, car ces hallucinations se fondent souvent parmi les véritables alertes.
Comme l’IA peut « combler les blancs » lorsqu’elle ne dispose pas de tous les faits, elle crée parfois des scénarios qui semblent réels, ce qui complique la tâche des utilisateurs pour distinguer le vrai du faux. C’est pourquoi il est essentiel que les équipes gardent un regard critique et vérifient les alertes générées par l’IA au lieu de les prendre au pied de la lettre.
Q : Comment les organisations peuvent-elles remonter à la source de résultats d’IA hallucinés ou inexacts, qu’ils soient dus à une mauvaise invite, à des données obsolètes ou à une logique de modèle défaillante ?
R : Remonter à la source d’un résultat d’IA hallucinatoire ou inexact revient un peu à chercher pourquoi une recette n’a pas donné le résultat escompté. Était-ce dû aux instructions, à des ingrédients périmés ou à une mauvaise compréhension des étapes ?
Dans le domaine de l’IA, les entreprises doivent examiner trois éléments : l’invite (ce qui a été demandé), les données (les informations à partir desquelles l’IA a appris) et la logique (la manière dont l’IA prend ses décisions). Un principe essentiel s’applique ici : « à données d’entrée erronées, résultats erronés ». La qualité du résultat dépend largement de celle des données d’entrée tout au long du processus. Cela signifie que les données d’entraînement doivent être de qualité, les invites soigneusement formulées et la logique du modèle solide.
En conservant de bonnes « pistes d’audit », les équipes peuvent remonter le fil pour déterminer où les choses ont dérapé. Cela permet de repérer non seulement les erreurs simples, mais aussi les tendances susceptibles d’entraîner de futurs problèmes.
Q : Comment les entreprises peuvent-elles concilier le besoin de transparence des systèmes d’IA avec la protection des données et des modèles propriétaires ?
R :Concilier transparence et protection revient un peu à partager la célèbre recette de cookies de sa grand-mère sans révéler l’ingrédient secret. Les entreprises veulent montrer comment leur IA prend ses décisions, afin que les utilisateurs fassent confiance aux résultats, mais elles doivent aussi protéger leurs méthodes et leurs données uniques de la concurrence.
Une approche consiste à expliquer ouvertement comment l’IA parvient à ses conclusions, un peu comme on décrit les étapes de la préparation, sans révéler chaque détail. Les entreprises peuvent également fournir des synthèses ou des « explications » des décisions, plutôt que d’exposer les données brutes ou le code. L’objectif est de donner suffisamment d’informations pour que les utilisateurs comprennent le processus et lui fassent confiance, tout en gardant secrets les éléments qui distinguent l’entreprise.
C’est un exercice délicat, mais c’est possible avec les bonnes politiques et en privilégiant un partage responsable.
Q : Alors que les RSSI intègrent l’IA à leurs opérations de sécurité, quel état d’esprit faut-il adopter pour « faire confiance, mais vérifier » et éviter de trop s’en remettre à l’automatisation ?
R :Les RSSI devraient aborder l’intégration de l’IA avec un état d’esprit qui valorise la collaboration entre les machines et les humains.
Si l’IA peut traiter de gros volumes de données de sécurité et signaler les menaces potentielles plus rapidement que les humains seuls, il est essentiel de se rappeler que les algorithmes peuvent commettre des erreurs ou manquer des éléments contextuels subtils. La bonne approche consiste à utiliser l’IA comme un outil puissant qui renforce le jugement humain au lieu de le remplacer. Cela implique d’effectuer des contrôles réguliers, de configurer des alertes en cas de comportement inhabituel de l’IA et de promouvoir une culture dans laquelle les membres des équipes auditent régulièrement les résultats automatisés. En combinant la vitesse de l’IA et l’esprit critique humain, les responsables de la sécurité peuvent tirer parti des avantages de l’automatisation tout en restant vigilants face aux erreurs ou aux nouveaux risques.
En résumé, l’IA doit compléter l’expertise humaine, la vérification et la responsabilisation étant intégrées à chaque étape du processus.
Q : Quels cadres juridiques ou de conformité doivent évoluer le plus urgemment pour suivre l’imprévisibilité de l’IA générative et son risque de désinformation ?
R :Alors que les lois et réglementations tentent encore de suivre le développement rapide de l’IA générative, les organisations ne devraient pas attendre des obligations externes pour agir. Même en l’absence de réglementation claire, les équipes de sécurité ont la possibilité et la responsabilité de mettre en place dès maintenant une gouvernance interne solide et des garde-fous. Le besoin le plus urgent concerne des règles plus claires en matière de responsabilité — par exemple, qui est responsable lorsque l’IA se trompe ou diffuse de fausses informations.
Nous avons également besoin de normes actualisées en matière de confidentialité et de sécurité des données, car les modèles d’IA utilisent souvent d’immenses quantités d’informations. Les cadres qui orientent la documentation, l’audit et l’explication des décisions prises par l’IA aideront à instaurer la confiance et à garantir que tout le monde respecte les mêmes règles. Toutefois, les entreprises peuvent montrer la voie en élaborant et en adaptant leurs propres politiques et contrôles en interne, puis en les affinant à mesure que la réglementation officielle évolue.
Une gouvernance proactive ne prépare pas seulement les organisations aux futures évolutions juridiques ; elle contribue également à instaurer la confiance et à réduire les risques dès aujourd’hui.
Q : À quoi ressemble un écosystème d’IA véritablement digne de confiance, et quelles pratiques ou technologies pourraient contribuer à rétablir la confiance dans les décisions pilotées par l’IA ?
R :Un écosystème d’IA véritablement digne de confiance permet aux utilisateurs de voir non seulement les conclusions de l’IA, mais aussi les données, les étapes et le raisonnement qui les sous-tendent — un peu comme un professeur de mathématiques qui demande aux élèves de « détailler leurs calculs » plutôt que d’écrire uniquement la réponse finale.
La confiance s’installe lorsque les organisations font preuve de transparence sur les données utilisées, les processus et la logique suivis par l’IA, ainsi que sur la manière dont les décisions importantes ont été prises. Lorsque les organisations sont transparentes tant sur les points forts que sur les limites de leur IA, les utilisateurs retrouvent confiance et l’IA devient un outil sur lequel on peut compter.
Q : Souhaitez-vous ajouter quelque chose à ce sujet ?
R :J’ajouterais que, même si l’IA est un outil puissant, nous devons veiller à ne pas laisser notre compréhension fondamentale des systèmes et de la technologie s’éroder à mesure que nous en dépendons davantage — tout comme beaucoup d’entre nous auraient aujourd’hui du mal à effectuer une division posée sans calculatrice.
Il est essentiel de préserver les compétences fondamentales et d’être prêt à agir lorsque la technologie tombe en panne, car la dépendance excessive constitue un risque réel. Les meilleurs résultats s’obtiennent en combinant l’expertise humaine et les points forts de l’IA, en restant attentif aux erreurs et en privilégiant la transparence et la responsabilité. À mesure que nous avançons, cette approche contribuera à libérer le potentiel de l’IA tout en protégeant nos organisations et en plaçant la confiance au cœur de nos actions.
À mesure que l’IA évolue, des RSSI comme Michael Fanning soulignent que la confiance n’est pas un sous-produit de la technologie, mais le résultat d’une gouvernance efficace.
Les organisations qui associent innovation et transparence, préservent l’auditabilité et maintiennent une supervision humaine seront les mieux armées pour exploiter le potentiel de l’IA tout en limitant les risques.
Pour Splunk et les autres organisations, la mission est claire : créer des systèmes d’IA qui agissent intelligemment et préservent la confiance dans un monde de plus en plus automatisé.