- il y a 7 semaines
Lundi 7 septembre 2026, retrouvez Charbel-Raphaël Ségerie (Directeur exécutif, CeSIA) et Pascal le Digol (Directeur France, WatchGuard Technologies) dans SMART TECH, une émission présentée par Delphine Sabattier.
Catégorie
🗞
NewsTranscription
00:04L'alerte cyber s'arrête aujourd'hui sur le défi de la sécurité face aux agents IA.
00:10Pour en parler, Charbel Raphaël Ségerie, bonjour.
00:13Vous êtes directeur exécutif du CESIA, qui est un centre d'expertise, un think tank,
00:18qui se consacre à la prévention des risques majeurs de l'intelligence artificielle.
00:23Et puis avec vous en plateau, Pascal Ledigolle. Bonjour Pascal.
00:26Bonjour. Directeur France de WatchGuard Technologies, qui est une entreprise de la cybersécurité, pour faire court.
00:33Alors je voulais qu'on revienne ensemble sur ce qui s'est passé cet été.
00:36Donc pour résumer, on se retrouve en plein mois de juillet avec OpenAI,
00:41qui reconnaît avoir testé en interne un modèle de GPT non public sur des capacités offensives en cybersécurité.
00:50L'objectif fixé à ses agents IA était de trouver et d'exploiter des failles logicielles.
00:55Il s'échappe du bac à sable de test.
00:59Il s'introduise dans les systèmes internes de Hugging Face.
01:03Hugging Face détecte l'attaque, alerte publiquement le 16 juillet sans savoir vraiment qui est responsable.
01:10Et là, OpenAI reconnaît qu'effectivement, il est à l'origine de cet incident.
01:15Et il publie un rapport très détaillé à ce sujet.
01:18Alors quelle est votre analyse de ce qui s'est passé cet été ?
01:21Déjà surprise, pas surprise, comment vous interprétez ça ?
01:25Charbel ?
01:26Ce n'est pas une surprise.
01:27Donc ce qui s'est passé, en fait, c'est révélateur de ce qui se passe de manière générale dans
01:31l'industrie.
01:32Les mesures de sécurité sont de manière générale vraiment très basses.
01:37Et ce qui s'est passé à OpenAI, en fait, ce qu'il faut savoir, c'est que c'est
01:40aussi arrivé,
01:41c'est dans de nombreuses autres organisations, notamment Anthropic, Meta et l'Institut britannique pour la sécurité de l'IA.
01:48Il y a plusieurs mois aussi, donc Alibaba avait aussi révélé un incident similaire où, au cours d'un entraînement,
01:55une IA avait agi de manière extrêmement surprenante en prenant, en hackant des systèmes informatiques.
02:03Donc de manière générale, ce qui est en train d'arriver a été prévu par la communauté de la sécurité
02:08de l'IA.
02:08Il y a de nombreux documents techniques et de nombreux éléments, de nombreux indices.
02:13Alors, prévu, je ne sais pas, mais prédit, vous voulez dire ?
02:15Prédit, donc la classe de ce genre d'attaque a été déjà observée dans le passé.
02:21C'est ce qu'on appelle du gradient, du reward hacking.
02:24Et c'est quelque chose qu'on observe de manière générale dans des évaluations de manière extrêmement fréquente.
02:30On dit qu'en fait, ces agents IA ont triché.
02:34C'est ce qu'on apprend à l'école.
02:36À l'école, on apprend que quand on veut une bonne note, soit en travail, soit en triche,
02:39on a demandé une bonne note aux agents, parce qu'il n'y avait pas un seul agent, il y
02:43en avait énormément.
02:44Et ils ont décidé de tricher, ils ont décidé d'avoir une bonne note en contournant les systèmes.
02:49Il se trouve que GingFace était sur la route et donc se sont fait attaquer pour obtenir ce bon résultat
02:55au benchmark.
02:56Alors, les dégâts ne sont pas très importants.
02:59GingFace dit qu'il y a très peu de datasets qui ont été attaqués finalement.
03:04Donc, ça veut dire qu'on est encore sous quelque chose qu'on contrôle ?
03:07Non, il faut voir le niveau de réponse de GingFace pour arriver à bloquer quand même l'attaque.
03:14Ils ont monté des modèles assez costauds.
03:17Ils ont mis les moyens pour se défendre.
03:20Des moyens qui ne sont absolument pas à disposition de la majorité des entreprises
03:24qui devraient se défendre demain de la même attaque.
03:27Donc, la cible, ça va être se défendre.
03:31Donc, il ne faut pas que ça nous trompe sur ce sujet-là.
03:34Et donc, on est capable aujourd'hui de mettre en place des garde-fous ?
03:37On peut garder le contrôle sur ces agents IA ?
03:40On va devoir parce qu'effectivement, là, on est sur un manque de contrôle.
03:45Après, si on regarde l'été, GingFace, c'est un manque de contrôle.
03:49Des vraies attaques d'IA, on en a eu un paquet cet été.
03:53Charbel, on peut garder le contrôle ?
03:56Malheureusement, c'est très compliqué.
03:58Donc, il y a à la fois le contrôle.
04:00Et donc, au sein d'OpenAI, en fait, il y a des mesures de sécurité
04:05qui étaient quand même relativement pas excellentes, mais quand même qui existaient.
04:10Théoriquement, l'IA n'avait pas accès à Internet.
04:13Et l'IA a trouvé de nouvelles vulnérabilités
04:16qui n'étaient jusqu'à présent inconnues d'aucun humain
04:18et qui a réussi à chaîner ces vulnérabilités jusqu'à sortir de la boîte.
04:22Et il faut bien se rendre compte que, pour des experts humains,
04:26ce que l'IA a accompli, c'est vraiment une prouesse.
04:30Donc, c'est vraiment compliqué de contrôler ce genre de système actuellement.
04:34C'est aussi très... Oui ?
04:35Après, on était quand même dans un contexte où on lui demandait de...
04:39C'était sa mission en même temps.
04:41C'était sa mission.
04:42Donc, on lui donnait quand même des pouvoirs de le faire.
04:46Donc, il y a déjà ça.
04:47Est-ce que, justement...
04:48Alors, ça, c'est intéressant parce que c'était leur mission, justement,
04:51de trouver des failles et d'attaquer, de les exploiter.
04:55Dans le cadre d'un bac à sable.
04:56Là, ils sont sortis du bac à sable alors que ce n'était pas du tout prévu
05:00et il n'y avait pas le droit.
05:02Mais, ce que je veux dire par là, c'est...
05:03Est-ce qu'on ne joue pas un peu à un jeu dangereux en entraînant ces IA ?
05:07Non, parce que le jeu est déjà là.
05:09Donc, de toute manière...
05:11Alors, c'est là où je mettrai un petit bémol.
05:13C'est que ce genre de choses qui arrivent chez un OpenAI, chez un Anthropik...
05:18Regardez mes agents, ils sont tellement forts.
05:20Ça leur sert aussi, quelque part.
05:23Donc, il faut quand même le prendre avec des pincettes.
05:25C'est-à-dire que, oui, ça, c'est aussi, effectivement, étonnant.
05:28Mais ça sert un discours marketing positif, finalement, pour eux,
05:31parce que ça montre leur puissance.
05:33Alors, pas tout à fait.
05:34Parce que les investisseurs d'Enthropik, les investisseurs d'OpenAI,
05:37ont demandé aux autres entreprises de ne pas non plus,
05:41disons, s'étaler trop sur cet incident.
05:43Et quand on regarde la première publication initiale d'OpenAI,
05:46c'est assez curieux d'annoncer ça comme un partenariat avec Hugging Face.
05:52Et, évidemment, ce qu'ils cherchent ici à faire OpenAI,
05:55c'est minimiser, en fait, cet incident.
05:57Donc, en fait, on se rend bien compte que ce n'est pas quelque chose
06:00qui leur sert tant que ça de montrer que leurs protocoles de sécurité sont insuffisants.
06:04Mais ils ont des discours catastrophistes, quand même, sur l'IA.
06:07Ces géants d'IA.
06:08Mais ce n'est pas les seuls.
06:09Ce n'est pas les seuls, malheureusement,
06:10parce que c'est un discours qui est rejoint par de nombreux scientifiques.
06:14Donc, au Centre pour la Sécurité de l'IA,
06:15on avait coordonné l'appel mondial pour la mise en place de lignes rouges en IA.
06:20C'était, il y a un an, en septembre dernier,
06:23à l'Assemblée générale des Nations Unies.
06:26Et, donc, 12 prix Nobel ont signé ce texte
06:29qui dit qu'effectivement, son réaction publique,
06:31son réaction gouvernementale et coordination internationale,
06:35eh bien, malheureusement,
06:37la probabilité de catastrophe est non négligeable.
06:40Oui.
06:40Quelles sont les recommandations, alors, du CESIA, aujourd'hui, à ce stade ?
06:44Eh bien, donc, je pense que, comme je le dis,
06:48ce qui s'est passé à OpenAI,
06:50c'est révélateur de l'entièreté de l'industrie.
06:52Donc, ce qu'il faut faire, c'est déjà appliquer la loi.
06:55Le règlement européen pour l'IA
06:56et le code de bonne pratique de l'Union européenne,
06:59pour les IA à usage général,
07:01c'est la première étape.
07:02Et d'après nos analyses préliminaires au Centre pour la Sécurité de l'IA,
07:05c'est les différents fournisseurs de modèles
07:08ont une marge de manœuvre considérable
07:10pour être davantage conforme à ce code de bonne pratique.
07:14C'est le premier point.
07:15Le deuxième, c'est le fait que,
07:17sur cette série d'incidents,
07:19il y a eu de nombreuses informations
07:20qui n'ont pas été révélées publiques.
07:21Donc, on demande de la transparence
07:23vis-à-vis de ces entreprises
07:25parce que c'est une affaire publique.
07:28Ces cyberattaques,
07:29c'est vrai qu'actuellement,
07:29elles n'ont pas encore fait de morts,
07:31mais ça pourrait être le cas dans le futur.
07:33Les systèmes de cyber-sécurité,
07:35c'est les systèmes d'information,
07:36c'est les hôpitaux,
07:37c'est les systèmes bancaires,
07:39c'est les systèmes de communication.
07:41Si on ne fait rien,
07:42tout ça pourrait casser dans les mois qui viennent.
07:45Et la dernière mesure,
07:46c'est évidemment la coordination internationale
07:48parce que les risques de l'IA
07:49ne connaissent pas de frontières.
07:51Donc, il faut appliquer ça.
07:53Il faut qu'on ait des standards minimaux internationaux
07:55et c'est l'objet de notre appel mondial
07:57pour les lignes rouges.
07:58Pascal, je vous pose la même question.
08:00Quelles sont les recommandations,
08:01vous, en tant qu'expert ?
08:03Vous fournissez des solutions de cyber-sécurité.
08:04Comment est-ce qu'on réagit
08:06quand on change comme ça, finalement,
08:08de paradigme avec les agents IA ?
08:11Et là, on est complètement une charnière avec cet été.
08:15On a commencé à avoir la charnière
08:17en décembre l'année dernière
08:18avec le phénomène anthropique.
08:19Mais là, cet été,
08:21on a vu la première attaque autonome par IA.
08:23On a vu un pays se faire attaquer
08:26par ces 21 entités taïwanaises
08:29qui se sont fait attaquer
08:31par des agents
08:32qui ont tout fait tout seuls.
08:35Donc, pour l'instant,
08:37la réalité de l'entreprise,
08:39c'est que les attaques sont encore relativement classiques.
08:41C'est du phishing booster à l'IA, certes,
08:43mais ça reste des attaques classiques.
08:44Sur le volume,
08:45il faut déjà se préoccuper
08:46de sa cybersécurité à l'ancienne.
08:48Déjà que ça ne soit fait,
08:49parce que ce n'est déjà pas le cas.
08:51Mais déjà, on est dans l'année
08:52où, vous voyez, Microsoft,
08:55ils ont un rythme de x4
08:56sur les vulnérabilités patchées cette année.
08:59Parce qu'ils en détectent beaucoup plus.
09:01Parce que s'ils ne le font pas,
09:01eux, de toute manière,
09:02ça va être les IA
09:03qui vont détecter leurs vulnérabilités
09:05qui vont le faire.
09:05Et puis...
09:06Ça aide à détecter aussi ces vulnérabilités.
09:07Donc, c'est pour ça qu'on en voit beaucoup plus.
09:08Et ça, justement,
09:10c'est un standard pour les entreprises.
09:12C'est-à-dire que
09:12si elles ne se mettent pas à utiliser l'IA
09:14pour se tester elles-mêmes,
09:16que ce soit leur code,
09:17leur logiciel,
09:18leur infrastructure,
09:20elles vont laisser des failles.
09:21Et c'est ça, le changement de paradigme, en fait.
09:25L'IA va attaquer avec ces capacités-là.
09:28Et la seule façon de se parer contre une IA,
09:30je ne veux pas paraphraser Alain Turing,
09:33mais la seule façon de battre un ordinateur,
09:35c'est un ordinateur,
09:36la seule façon de battre une IA,
09:37c'est de mettre des IA en face.
09:39Et après, il y a un gros problème
09:41pour les entreprises,
09:42c'est le problème du patch.
09:43C'est-à-dire qu'aujourd'hui,
09:44il y a des créneaux de patch
09:45dans les entreprises.
09:47J'avais un email d'un client
09:48la semaine dernière
09:49qui patch une fois par mois.
09:51Oui, c'est un peu long comme délai,
09:53j'imagine.
09:53Une fois par mois,
09:54ça devient compliqué.
09:56Microsoft a sorti 425 vulnérabilités.
09:57On ne parle que de Microsoft.
09:59Nous-mêmes, sur nos produits,
10:00le nombre de vulnérabilités
10:01trouvées par ces méthodes-là
10:03a augmenté.
10:04Donc, on patch aussi beaucoup plus.
10:05Donc, tout ça est relativement exponentiel.
10:08Donc, comment les entreprises
10:09vont réussir déjà à suivre
10:11ce rythme de patch,
10:12faire quasiment du patching à la volée,
10:14ça, c'est vraiment un enjeu de demain.
10:16Et pour l'instant,
10:17les réponses ne sont pas là.
10:18Et ça, vous êtes d'accord
10:19avec cette idée
10:20d'utilisons l'IA aussi
10:22pour se défendre contre l'IA ?
10:25C'est nécessaire,
10:26mais ce n'est pas suffisant.
10:27Donc, on peut bien voir
10:29qu'avec l'ordre de l'attaque Hugging Face,
10:31effectivement, Hugging Face
10:32a déployé ses IA
10:33pour se défendre,
10:34mais manifestement,
10:35quand même,
10:36ce n'a pas suffi
10:36pour prévenir complètement l'attaque.
10:38Et il y a eu quand même...
10:39Donc, c'est arrivé après coup.
10:40Aussi, un autre élément
10:41qui n'a pas été
10:43très reporté par les médias,
10:44c'est le fait que,
10:45en réalité,
10:47ces IA au sein d'OpenAI
10:48se sont arrêtées quasiment
10:49d'elles-mêmes
10:49pour une raison inconnue.
10:51Et c'est davantage ça,
10:52en fait,
10:52qui fait que l'attaque Hugging Face
10:53s'est arrêtée.
10:56Donc, de manière générale...
10:57En fait, il y a eu plusieurs tentatives
10:58des agents
10:59qui ont été arrêtés
11:00par OpenAI
11:01jusqu'à cette attaque Hugging Face.
11:19que les IA s'étaient envoyés
11:2170 000 messages
11:22pour communiquer
11:23de manière clandestine.
11:24C'est quand même incroyable.
11:26C'est assez vertigineux, oui.
11:28Et de manière générale,
11:29je pense que
11:30ce qu'il faut bien se rendre compte,
11:31c'est que ce qui vient de se passer,
11:32il y a trois mois,
11:33ça aurait été qualifié
11:34de science-fiction.
11:36Mais la science-fiction,
11:37actuellement,
11:38c'est déjà la réalité.
11:39Et il faut vraiment
11:40prendre ça comme une donnée
11:43et accélérer,
11:44renforcer la sécurité de l'IA,
11:46accélérer la science
11:46de l'alignement de l'IA,
11:47accélérer la science
11:48du contrôle de l'IA
11:49et éventuellement ralentir.
11:51C'est la demande
11:52des entreprises elles-mêmes
11:53qui ont signé,
11:54donc 1 200 employés
11:55ont signé une déclaration
11:56qui s'appelle
11:57Pacing the Frontier,
11:58contrôler la vitesse
11:59du développement de l'IA
12:00et éventuellement ralentir
12:02si les mesures de sécurité
12:03et de contrôle
12:03ne sont insuffisantes.
12:05Le temps qu'on apprenne aussi
12:06à bien se protéger.
12:08Merci beaucoup,
12:09Charbel Raphaël Ségerie,
12:10directeur exécutif du CESIA,
12:12le Centre pour la Sécurité de l'IA.
12:14Merci aussi à Pascal Ledigol,
12:16directeur France
12:17de WatchGuard Technologies.
12:18Merci à tous de nous suivre.
12:21C'était Smartech
12:21et on se retrouve dès demain
12:22sur la chaîne Bsmart.
12:23Sous-titrage Société Radio-Canada
12:28Sous-titrage Société Radio-Canada
12:31Sous-titrage Société Radio-Canada
12:34Sous-titrage Société Radio-Canada