Un rapport de renseignement assisté par l’IA aurait incité les forces américaines à se préparer à intercepter un navire chinois avant que des responsables ne découvrent que l’évaluation de sa cargaison était erronée. L’erreur n’a été détectée qu’après que des avions militaires étaient déjà dans les airs.
L’évaluation de renseignement, produite avec l’aide de l’IA, a identifié à tort la cargaison comme des composants d’un programme d’armement nucléaire pendant la guerre contre l’Iran. Des militaires armés se seraient préparés à arraisonner le navire avant que des responsables ne découvrent l’erreur, confrontant ainsi l’ambition de l’armée d’accélérer l’analyse par l’IA à une exigence plus fondamentale : s’assurer que les informations sont exactes avant que quiconque n’agisse en conséquence.
L’IA aurait façonné à la fois l’analyse et le rapport
CNN a rapporté qu’un analyste avait interrogé un chatbot au sujet d’un rapport de renseignement sur le manifeste du navire, qui provenait de US Special Operations Command Pacific. L’outil a combiné des informations accessibles au public avec des renseignements électromagnétiques classifiés, mais a mal identifié le matériel à bord du navire.
CNN a indiqué ne pas avoir pu déterminer quelle était réellement la cargaison ni si le chatbot était un produit commercial ou un système du gouvernement américain.
L’analyste aurait de nouveau utilisé l’IA pour transformer les résultats en un rapport de renseignement standard, qui a été diffusé dans toute l’armée. Les forces américaines ont alors commencé à se préparer à intercepter le navire, avant que des responsables n’examinent l’évaluation de plus près et n’interrompent l’opération.
Les deux usages de l’IA ont introduit des risques différents. Le premier a produit une conclusion erronée. Le second a intégré cette conclusion dans un processus de renseignement établi, où les décideurs pouvaient la rencontrer sous la forme d’un rapport familier plutôt que d’une réponse brute de chatbot.
Une analyse plus rapide peut aussi accélérer la propagation des mauvaises informations
L’incident survient alors que le Pentagone étend l’usage de l’IA à l’ensemble des opérations militaires. PCMag a relevé que la stratégie d’accélération de l’intelligence artificielle du ministère de la Défense, publiée en janvier, appelait à expérimenter plus rapidement et à adopter plus largement cette technologie.
L’IA peut aider les analystes à traiter rapidement de grandes quantités d’informations, mais la vitesse devient un handicap lorsqu’une conclusion erronée circule dans le même système avant que les éléments qui la fondent n’aient été vérifiés.
Jake Steckler, chercheur de GovAI et ancien membre de l’armée américaine, a déclaré à TechCrunch que les militaires devaient comprendre l’incertitude inhérente aux grands modèles de langage, en particulier lorsque l’IA est utilisée pour le ciblage, l’analyse du renseignement ou la planification opérationnelle.
« Ces décisions peuvent avoir des conséquences vitales », a déclaré Steckler, selon TechCrunch.
Ce que eWeek a découvert
L’échec aux conséquences importantes s’est produit lors de la transmission : une conclusion erronée générée par l’IA a été intégrée à un rapport de renseignement standard, puis est parvenue à des responsables qui préparaient une opération. CNN a rapporté ces trois étapes :
- L’analyse de l’IA a déraillé. Le chatbot aurait combiné des sources ouvertes et des renseignements classifiés mais a mal identifié la cargaison du navire.
- La conclusion est devenue un rapport de renseignement standard. L’analyste aurait de nouveau utilisé l’IA pour mettre la conclusion en forme avant sa diffusion dans toute l’armée.
- Les préparatifs opérationnels ont suivi. Des militaires armés se préparaient à arraisonner le navire et des avions militaires étaient déjà dans les airs lorsque des responsables ont examiné l’évaluation de plus près et stoppé l’opération.
La question qui reste en suspens est de savoir à quel stade la vérification aurait dû permettre de repérer plus tôt les informations erronées. CNN n’a pas identifié le chatbot ni établi ce que transportait réellement le navire. Son article ne détaillait pas les contrôles appliqués à cette évaluation avant le début des préparatifs d’interception.
Le même risque peut se manifester dans l’IA d’entreprise. Il est plus facile de remettre en question la réponse d’un chatbot lorsqu’elle se trouve encore dans une fenêtre de conversation. Une fois cette information copiée dans un rapport, une alerte de sécurité, une analyse financière ou un autre document auquel les utilisateurs accordent déjà leur confiance, il peut être beaucoup plus difficile de repérer sa source issue de l’IA. Dans les processus à forts enjeux, les vérificateurs doivent examiner les éléments qui sous-tendent la réponse avant que quiconque n’agisse en conséquence.
À lire également : Pour en savoir plus sur l’utilisation de l’IA dans la défense, découvrez les informations selon lesquelles l’armée chinoise a utilisé des modèles d’OpenAI et d’Anthropic pour entraîner des systèmes de défense.