Intelligence Artificielle et Cybersécurité : entre risques et opportunités

L’intelligence artificielle (IA) révolutionne la cybersécurité, tant dans la protection des systèmes que dans les attaques elles-mêmes. L’IA est devenue une technologie phare de la quatrième révolution industrielle, avec des projections du marché de la cybersécurité de 1 milliard de dollars à 34,8 milliards de dollars d’ici 2025. Selon la CNIL, l’IA englobe des outils capables de reproduire des comportements humains tels que le raisonnement et la créativité. Cependant, le manque de recul sur ce sujet, ainsi que la rapidité de son développement, rendent l’analyse des données encore très subjective.

Si l’IA facilite notre quotidien, elle soulève également de nombreuses questions de sécurité. Par exemple, l’utilisation de la reconnaissance faciale lors des Jeux Olympiques de Paris 2024 a suscité des préoccupations concernant la vie privée. Parallèlement, les opportunités commerciales qu’elle engendre se multiplient, notamment dans le domaine de la cybersécurité, où elle promet d’améliorer la détection et la réponse aux cyberattaques.

Dès lors, on peut se demander si les entités intégrant l’IA dans leurs processus de cybersécurité prennent les bonnes décisions. L’IA est-elle vraiment un outil essentiel pour renforcer la cybersécurité, ou les risques associés à son utilisation sont-ils trop importants ? En outre, l’IA est perçue comme un facteur de transformation des cyberattaques à venir, et il est légitime de s’interroger sur son rôle potentiel aux mains des attaquants.

L’IA un nouvel outil en cybersécurité

L’intelligence artificielle (IA) transforme profondément la cybersécurité. En effet, elle apporte des capacités impressionnantes pour identifier, analyser et répondre aux menaces cybernétiques de manière beaucoup plus rapide et efficace qu’auparavant.

Détection et anticipation des menaces en temps réel

Imaginez un système capable de passer au crible d’énormes quantités de données en temps réel, à une vitesse et une précision que les humains ne peuvent égaler.

Grâce aux algorithmes d’apprentissage automatique, les outils de cybersécurité peuvent repérer des comportements inhabituels, des schémas anormaux, ou des anomalies en quelques secondes, là où un analyste pourrait prendre des heures, voire des jours.

Cette réactivité permet de réagir rapidement aux incidents, limitant ainsi les dommages causés par une intrusion ou une attaque.

Renforcement de la résilience des infrastructures critiques

Prenons l’exemple de Darktrace, une entreprise pionnière dans l’application de l’IA à la cybersécurité. Son système, souvent comparé à un « système immunitaire numérique », apprend et s’adapte continuellement à l’environnement dans lequel il opère.

Cela signifie que lorsqu’une menace survient, le système ne se contente pas de réagir en suivant des règles prédéfinies ; il évolue, en s’ajustant en fonction de nouveaux comportements, qu’ils soient légitimes ou malveillants.

Cela rend l’identification des attaques « zero-day » – ces failles encore inconnues des développeurs – beaucoup plus efficace. Un tel système pourrait théoriquement reconnaître une menace dès qu’elle se manifeste, avant même qu’elle ne soit documentée ou répertoriée par les chercheurs en sécurité.

 

IA comme une arme à double tranchant

Cependant, si l’IA a révolutionné la cybersécurité, elle a aussi apporté son lot de nouveaux défis. L’une des grandes préoccupations actuelles est l’utilisation de l’IA par les cybercriminels eux-mêmes. Ceux-ci exploitent des techniques de deep learning pour créer des attaques encore plus sophistiquées.

Pris à leur propre jeu : l’IA façonne les cyberattaques

Par exemple, des logiciels malveillants polymorphes, qui modifient constamment leur code pour échapper à la détection, sont devenus plus faciles à produire grâce à l’IA.

De plus, avec les progrès des modèles de langage génératif, tels que ceux qu’on voit avec les grands modèles comme GPT, des campagnes de phishing automatisées sont désormais capables de générer des messages personnalisés, crédibles, et bien plus convaincants qu’auparavant.

Ce qui autrefois nécessitait des efforts humains est aujourd’hui automatisé, amplifiant la portée et l’efficacité des attaques.

Vulnérabilité des systèmes IA génératifs

Un autre aspect préoccupant est l’IA adversaire. Il s’agit ici d’une technique avec laquelle les modèles d’IA eux-mêmes sont ciblés. Des attaquants pourraient empoisonner les ensembles de données utilisés pour entraîner ces modèles, les poussant à prendre des décisions erronées.

Par exemple, en manipulant les algorithmes chargés de détecter les menaces, les cybercriminels peuvent rendre les systèmes aveugles à certaines attaques ou, pire encore, provoquer de faux positifs, détournant ainsi l’attention des véritables problèmes.

Ce type de menace est particulièrement dangereux pour les infrastructures critiques, comme les réseaux électriques ou les systèmes de santé, où une erreur pourrait avoir des conséquences catastrophiques.

Le problème du biais algorithmique ajoute une autre couche de complexité. L’IA apprend en analysant de grandes quantités de données, mais si ces données sont biaisées ou incomplètes, les décisions prises par l’IA peuvent être incorrectes. Dans le contexte de la cybersécurité, cela peut se traduire par des détections erronées ou par une sous-estimation des menaces provenant de certains vecteurs d’attaque.

Par exemple, si les données utilisées pour entraîner l’algorithme ne représentent pas toutes les formes de cybermenaces, l’IA pourrait passer à côté de certains types d’attaques ou prioriser les mauvaises réponses.

 

7 recommandations del’ANSSI

Les systèmes d’IA génératifs posent des défis uniques en matière de cybersécurité. Dans son rapport intitulé « Recommandations de sécurité pour un système d’IA générative », l’Agence Nationale de la Sécurité des Systèmes d’Information (ANSSI) propose des mesures spécifiques pour sécuriser ces technologies.

Ce guide, publié en avril 2024, met en avant les meilleures pratiques à suivre pour renforcer la sécurité des IA génératives tout au long de leur cycle de vie, de l’entraînement à la production.

1. Gestion des vulnérabilités dans les systèmes IA

L’ANSSI souligne l’importance d’appliquer des mesures de sécurité à chaque phase du cycle de vie d’un système d’IA générative, que ce soit lors de l’entraînement, du déploiement ou de la production. La sécurité doit être intégrée dès la conception, et ces environnements doivent être cloisonnés pour éviter les attaques latérales.

Recommandation R1 de l’ANSSI : Intégrer des mesures de sécurité dans chaque phase du cycle de vie d’un système d’IA, y compris l’entraînement, le déploiement et la production, afin de prévenir toute attaque exploitant une faille à l’une de ces étapes​(Recommandations_de_séc…).

2. Protection des données d’entraînement et réduction des biais

Les données d’entraînement des systèmes IA génératifs sont souvent sensibles. Elles doivent donc être protégées en confidentialité, avec des mécanismes de chiffrement pour éviter leur exfiltration ou la régurgitation d’informations sensibles lors de la génération de contenu. L’ANSSI insiste sur l’importance de vérifier l’intégrité des données d’entraînement pour prévenir les attaques par empoisonnement, où des données corrompues sont utilisées pour influencer le comportement du modèle.

Recommandation R7 de l’ANSSI : Prendre en compte la confidentialité des données dès la conception, et assurer l’intégrité des données d’entraînement tout au long du cycle​(Recommandations_de_séc…).

3. Contrôle des accès et authentification

Le contrôle des accès est un élément crucial pour sécuriser un système d’IA générative. Les modèles, les bases de données et les systèmes connexes doivent être protégés par une authentification multi-facteurs (MFA) et des permissions segmentées. L’ANSSI recommande également de limiter les accès aux systèmes d’entraînement et de production, et de réserver les comptes administrateurs à des tâches spécifiques.

Recommandation R10 de l’ANSSI : Maîtriser et sécuriser les accès à privilèges des développeurs et administrateurs, en appliquant des pratiques d’administration sécurisée tout au long du cycle​(Recommandations_de_séc…).

4. Audit et traçabilité

L’ANSSI souligne l’importance de l’audit et de la traçabilité pour un système d’IA générative. Il est essentiel de tracer les interactions, requêtes et modifications effectuées sur le modèle afin de pouvoir détecter les activités suspectes ou malveillantes. Cela permet également d’assurer la traçabilité des décisions prises par l’IA et d’analyser les réponses pour améliorer la sécurité.

Recommandation R29 de l’ANSSI : Journaliser l’ensemble des traitements réalisés par le système d’IA avec un bon niveau de granularité, en incluant les requêtes des utilisateurs, les appels à des plugins ou données additionnelles, et les réponses du modèle​(Recommandations_de_séc…).

5. Cloisonnement et hébergement sécurisé

L’ANSSI recommande de cloisonner les environnements d’entraînement, de déploiement et de production pour limiter les risques d’attaque. Chaque phase doit être isolée, avec des mesures de sécurité renforcées pour protéger les modèles d’IA et les données qu’ils traitent. De plus, le système doit être hébergé dans un environnement sécurisé conforme aux besoins de confidentialité et d’intégrité.

Recommandation R11 de l’ANSSI : Héberger le système d’IA dans des environnements de confiance, adaptés aux exigences de sécurité, et assurer le cloisonnement des phases pour éviter les attaques de latéralisation​(Recommandations_de_séc…).

6. Filtrage des entrées et sorties

Les systèmes d’IA générative, en particulier les LLM, peuvent être sujets à des attaques par manipulation ou empoisonnement via des requêtes malveillantes. L’ANSSI recommande de filtrer les requêtes envoyées au modèle pour éviter qu’elles ne contiennent des données potentiellement dangereuses, et de contrôler les réponses pour éviter la fuite d’informations sensibles.

Recommandation R25 de l’ANSSI : Mettre en place des fonctions de filtrage pour prévenir les fuites de données dans les réponses générées et se protéger des requêtes malveillantes des utilisateurs​(Recommandations_de_séc…).

7. Cas particulier des IA exposées sur Internet

Pour les systèmes d’IA générative accessibles via Internet, l’ANSSI recommande des mesures de sécurité renforcées. Cela inclut l’utilisation d’une passerelle sécurisée pour filtrer le trafic entrant et sortant, et l’authentification des utilisateurs avant toute interaction avec le système. Le document met également en garde contre l’utilisation d’outils IA tiers non maîtrisés pour traiter des données sensibles.

Recommandation R33 de l’ANSSI : Durcir les mesures de sécurité pour les services d’IA générative exposés au public, et éviter d’envoyer des données sensibles aux outils IA tiers​(Recommandations_de_séc…).

Pour approfondir :

• Le rapport intitulé « Securing Critical Infrastructure in the Age of AI« discute des opportunités et des risques liés à l’adoption de l’IA dans les infrastructures critiques
• Recommandations de sécurité pour un système d’IA générative