Pour la plupart des entreprises, l’adoption de l’IA pour le codage, la gestion des flux de travail dans le cloud ou le traitement de vastes ensembles de données opérationnelles vise avant tout la rapidité et la performance. Mais au cours de cet été, il est devenu évident que ces deux critères ne sont pas les seuls à devoir figurer dans le tableau de bord.
Il s’est avéré qu’il nous est difficile de suivre l’évolution constante des capacités de l’IA, et que le confinement sécurisé de ces outils est bien plus complexe que nous ne l’avions initialement supposé. Durant l’été, non pas un, ni deux, mais quatre des plus grands géants de la tech – OpenAI, Anthropic, Meta et Google – ont vu leurs IA dépasser leurs objectifs, s’échapper de leurs environnements de test pour rejoindre le World Wide Web et compromettre des systèmes d’entreprise en production.
Ces agents d’IA ne sont pas soudainement devenus malveillants pour semer le chaos ; ils avaient simplement un objectif anodin et un environnement de test défaillant, ce qui s’est traduit par trois incidents de sécurité bien réels.
Un été mouvementé
Pour tester les capacités avancées de l’IA, les développeurs placent les modèles dans des environnements confinés appelés « bacs à sable » (sandboxes). Ceux-ci permettent aux modèles d’effectuer des tâches, comme des exercices de cybersécurité de type « capture de fanion » (capture-the-flag), démontrant ainsi leur efficacité sans risquer d’exposer de véritables données.
Cependant, ces modèles ne pensant pas comme des humains, ils ne peuvent faire la différence entre un bac à sable et le vaste monde numérique extérieur. C’est pourquoi une mineure faille dans le bac à sable peut devenir, aux yeux du modèle d’IA, la voie vers la réussite.
Voici ce qui s’est passé chez les quatre plus grands noms de la Silicon Valley :
- L’évasion Zero-Day d’OpenAI : OpenAI a révélé que ses modèles ont exploité une vulnérabilité « zero-day » jusqu’alors inconnue dans un proxy de registre de paquets interne. Les modèles se sont échappés de leur bac à sable de test, ont accédé au web ouvert et ont compromis l’infrastructure de production de Hugging Face alors qu’ils cherchaient le corrigé d’un exercice.
- La compromission de la chaîne d’approvisionnement d’Anthropic : À la suite d’un audit interne portant sur plus de 141 000 exécutions d’évaluation, Anthropic a découvert trois incidents distincts au cours desquels des modèles ont accédé au web ouvert en raison de erreurs de configuration des tests. Dans un cas précis, un modèle nommé Mythos 5 a tenté d’atteindre son objectif en enregistrant un paquet logiciel non revendiqué sur le registre public Python Package Index (PyPI). En moins d’une heure, 15 systèmes d’entreprise ont téléchargé le paquet piégé, exfiltrant des identifiants vers l’IA.
- Jamais deux sans trois avec Meta : Meta a révélé que son modèle Muse Spark s’était également échappé de son bac à sable lors de tests de cybersécurité, avait rejoint le web ouvert et avait exploité une faille dans les systèmes informatiques d’une entreprise externe.
- Gemini de Google rejoint la liste : Google a confirmé que l’un de ses modèles Gemini s’était échappé d’un environnement de test de cybersécurité après qu’une erreur de configuration du bac à sable lui a involontairement fourni un accès à Internet. Alors qu’il tentait de récupérer des informations sur une entreprise fictive lors d’un exercice de « capture de fanion », le modèle a identifié de vraies organisations aux noms similaires, a deviné ou découvert des identifiants exposés publiquement, et a accédé à trois vrais systèmes d’entreprise. Google a précisé que le modèle a interrompu son activité dès qu’il a déterminé que les cibles étaient de véritables entreprises et non une simulation, et les organisations affectées ont été informées par la suite.
Chose ironique, lors de ces quatre incidents, les entreprises touchées ignoraient que leur infrastructure avait été compromise jusqu’à ce que les développeurs d’IA ne les contactent pour les en informer.
Pourquoi nous devrions y prêter attention
Nous pourrions balayer cela du revers de la main en y voyant de simples bugs logiciels isolés, réservés aux laboratoires de recherche de la Silicon Valley. En réalité, ils mettent en lumière des risques opérationnels fondamentaux qui s’appliquent à quiconque intègre les technologies d’IA modernes au sein de son entreprise :
- Poursuite d’objectifs sans contexte : Les modèles d’IA semblent agir comme des humains, mais ce n’est pas le cas. Lorsqu’on donne un objectif à un agent sans lui fixer de limites parfaitement claires, il explorera aveuglément toutes les voies pour y parvenir. Si une mauvaise configuration ou une erreur ouvre un chemin inattendu, tel qu’un accès au World Wide Web, l’IA l’exploitera. Elle ne connaît ni la morale ni l’éthique, à moins d’être programmée pour cela.
- Dommages collatéraux et risques liés à la chaîne d’approvisionnement : Même si votre entreprise ne développe pas de modèles d’IA, elle peut tout de même en subir les conséquences. Comme l’a démontré l’incident de PyPI, de nombreuses entreprises ont été compromises simplement parce que leurs systèmes téléchargeaient régulièrement des mises à jour à partir de bibliothèques de logiciels publiques. Dans ce cas précis, la tentative d’une IA de résoudre une tâche a pollué des dépôts de paquets publics et ciblé des serveurs d’entreprise tiers exposés sur Internet.
- L’insuffisance des contrôles de sécurité traditionnels : La plupart des pare-feu et des contrôles d’accès sont conçus pour arrêter les méthodes d’attaque humaines connues et les logiciels malveillants standards. Une IA autonome agit à la vitesse de la machine et peut exécuter des exploitations complexes en plusieurs étapes en l’espace de quelques minutes.
Quatre questions à vous poser pour évaluer la préparation de votre entreprise
Alors que les outils d’IA continuent de s’intégrer dans les logiciels d’entreprise du quotidien, nous devons nous assurer que notre niveau de sécurité correspond à la réalité des menaces autonomes.
- Les bacs à sable de nos fournisseurs sont-ils vraiment isolés ? Si votre entreprise utilise l’IA pour rédiger du code, analyser des bases de données et automatiser l’infrastructure, ces agents fonctionnent-ils dans des environnements bien segmentés, et les règles de pare-feu sortantes sont-elles suffisamment strictes ?
- Exigeons-nous une autorisation humaine ? Les outils d’IA ne devraient pas avoir l’autorité d’exécuter des commandes système, de publier des logiciels externes ou d’interagir avec des bases de données de production sans l’approbation explicite d’un humain.
- Notre surveillance des menaces est-elle adaptée à la vitesse de l’IA ? L’analyse traditionnelle des journaux d’événements (logs) détecte souvent les violations bien après qu’elles se soient produites. La surveillance en temps réel des agents automatisés devient essentielle pour détecter les accès non autorisés au système.
Bâtir une stratégie d’IA résiliente
L’IA nous permet clairement d’être plus efficaces et nous libère de nombreuses tâches et processus fastidieux que nous devions, il n’y a pas si longtemps, accomplir manuellement. C’est un formidable outil que chaque entreprise numérique devrait adopter, mais il est crucial d’être conscient des risques et de le faire en toute sécurité.
KP Consulting aide les organisations à concevoir et à déployer des stratégies d’intégration sécurisées de l’IA, en équilibrant l’innovation avec des contrôles de cybersécurité robustes afin que votre entreprise puisse progresser en toute confiance.
