- il y a 1 an
Catégorie
📺
TVTranscription
00:00Bonjour à toutes et à tous pour cette nouvelle table ronde sur l'intelligence artificielle et la cybersécurité.
00:19Peut-être pour commencer, je vais vous présenter au public. Victor Guillaumard, vous êtes responsable d'intelligence artificielle chez Skyl, j'espère bien prononcer.
00:33Katarzyna Capusta, vous êtes expert de sécurité et intelligence artificielle chez Thales, Cortex Lab et aussi pilote de l'équipe Friendly Hackers.
00:42Bonjour. Bonjour, bienvenue. Et Patrick Bas, vous êtes directeur de recherche au CNRS au sein d'un laboratoire informatique.
00:49qui se nomme Cristal et qui est basé à Lille et vous êtes aussi spécialiste de la sécurité des contenus multimédia.
00:55Merci à vous d'être venu aujourd'hui pour cette table ronde. Peut-être pour commencer, effectivement, évidemment, on sait tous, vous savez bien mieux que moi,
01:04que le marché cyber est en plein boue. Je regardais les chiffres. En 2025, on voit que ça devrait atteindre 280 milliards de dollars, potentiellement 400 milliards en 2027.
01:15Il faut dire aussi, assez logiquement, que les attaques ont explosé. Je regardais effectivement plus de 38% en un an seulement en Europe.
01:22Et la question que je me pose, je pense qu'un certain nombre de personnes dans le public qui regardent cette vidéo, c'est est-ce que l'IA ne risque pas d'augmenter ses attaques ?
01:32Je me tourne vers vous, Katarzyna Capusta.
01:36Oui, alors l'IA, elle est une nouvelle surface d'attaque. Ce qu'il faut savoir, c'est que l'IA, comme chaque autre application, n'est pas...
01:46On peut être vulnérable à des attaques typiques de la cybersécurité. Par exemple, le déni de service, il peut être aussi fait sur des assistants, des chatbots.
01:57Mais elle arrive avec une nouvelle surface, les vulnérabilités intrinsèques.
02:02Alors, je vais donner des exemples. On retrouve deux grandes catégories des menaces nouvelles qu'on peut avoir sur l'IA.
02:10La première catégorie, c'est les menaces où l'attaquant, il va vouloir leurrer l'IA.
02:16Il pourra le faire dès la phase de l'entraînement d'un modèle d'IA.
02:21Par exemple, en empoisonnant les données d'entraînement.
02:25Mais aussi, bien, il pourra le faire une fois le modèle d'IA déployé.
02:29Ici, il va manipuler les entrées qui vont vers notre modèle d'IA pour obtenir des mauvaises prédictions.
02:37Quand vous dites effectivement l'Eurie, est-ce que vous pouvez nous donner quelques exemples ?
02:40Évidemment. Alors, ça peut marcher sur tout type de modèle d'apprentissage automatique.
02:45Un exemple classique, imaginons qu'on a une IA qui est dans une caméra,
02:52qui fait de la détection des personnes ou des objets qui se trouvent devant la caméra.
02:59L'attaquant, ce qu'il peut faire, c'est qu'il va modifier l'environnement.
03:02Il va modifier les images qui vont vers la caméra.
03:05Par exemple, il peut utiliser de l'IA pour générer des motifs, disons, malveillants.
03:11On appelle ça des patchs adverses qui vont leurrer l'IA.
03:14À la fin, par exemple, l'IA ne va pas détecter certaines personnes, certains objets.
03:18Évidemment, ça, c'est un souci.
03:21Ça marche pour de la vision, mais ça peut aussi marcher sur des assistants conversationnels.
03:27Ici, le principe est le même.
03:29On a une entrée. Dans ce cas-là, c'est un prompt d'un utilisateur qui demande quelque chose au chatbot.
03:35On peut modifier ce prompt d'une façon qu'on va contourner les contrôles éthiques qui ont été implémentés par les créateurs de l'IA.
03:43Comme ça, on arrivera, par exemple, à obtenir des informations sensibles sur les données que le modèle d'IA a vues.
03:52Parce que forcément, il a vu un moment des informations qu'il ne devrait pas dévoiler.
03:57Ou il va nous donner un exemple ici au forum in-sebar.
04:03On attaque ChangeGPT pour lui faire donner un tutoriel de comment faire une bombe.
04:10D'accord.
04:13Victor Guillema, vous abondez sur le fait que l'IA est en plein développement.
04:19Et en fait, il y a eu un effet d'aubaine qui fait que c'est devenu une cible de premier choix chez les hackers.
04:25Exactement.
04:27Aujourd'hui, ce qu'il faut savoir, c'est que l'IA est absolument partout dans tous les domaines.
04:31Il est dans des domaines assez critiques comme l'énergie, la santé, l'industrie, la défense et même la cybersécurité.
04:37Puisque maintenant, on utilise de l'IA pour faire, par exemple, de la prédiction de ransomware.
04:41Et les protections pour l'IA sont aujourd'hui insuffisantes.
04:46Puisque aujourd'hui, c'est très facile de venir attaquer ces IA-là.
04:51Et elles sont insuffisantes parce que, par exemple, nous, chez Skilled, on a réussi à extraire les modèles de Google Photos.
04:57Google Photos, c'est une application qui paraît assez simple.
05:00Et en fait, dans cette application, il y a une vingtaine de modèles.
05:03Et ces modèles étaient protégés avec des solutions de sécurité classiques qui s'appliquaient à la cybersécurité,
05:09mais qui aujourd'hui ne sont pas suffisantes pour venir tirer des spécificités des modèles d'IA.
05:15D'accord.
05:15Donc aujourd'hui, les modèles d'IA, en tout cas de l'IA, affichent aussi un certain nombre de faiblesses.
05:21Ce que j'en comprends, en tout cas de porte.
05:25Alors après, là, je parle de venir voler le modèle.
05:28Donc ça, c'est une première étape.
05:29Et une fois qu'on a fait ça, on peut venir faire des attaques plus poussées, comme disait le Katerzina, pour venir tromper le modèle.
05:36Donc l'utiliser pour construire des attaques spécifiques derrière.
05:38Est-ce qu'on peut, parce que c'est vrai que je suis un utilisateur lambda de l'IA, comme beaucoup de gens sur les autres modèles,
05:47on donne beaucoup de nous-mêmes, on donne beaucoup d'informations.
05:49Est-ce qu'on peut aussi imaginer que ces pirates viennent voler toutes les informations très personnelles,
05:54parfois, qu'on met dans ces agents conversationnels ?
06:00Oui, en pratique, ça peut arriver.
06:02Alors, par exemple, il y a des papiers de recherche qui essayent d'extraire des données directement des modèles.
06:06Donc, dans certains cas, par exemple, dans la vision, on va réussir à extraire des représentations des données d'entraînement.
06:14Donc, si on imagine un modèle qui fait de la reconnaissance faciale, par exemple,
06:19on pourrait être capable, derrière, d'extraire des identités de personnes à partir du modèle.
06:25Il y a des vrais risques.
06:27Et pour compléter, on peut aussi voir des attaques similaires pour les modèles de langage,
06:33où on va essayer, effectivement, de récupérer des données d'entraînement qui ont été, comme, par exemple, des morceaux de texte,
06:40en utilisant un prompt adéquat, en fait, essayer de faire ressortir, faire cracher des données d'entraînement.
06:45C'est des attaques qui existent.
06:46D'accord.
06:46Et donc, ça pose des problèmes, effectivement, en termes de respect de la vie.
06:49Bien sûr.
06:50Patrick, quand on a préparé cette table ronde, vous nous expliquiez qu'effectivement, l'IA pouvait aussi servir à créer des malwares plus facilement,
06:58et aussi et surtout, parce que c'est un de vos domaines de spécialité, à aider, si je puis dire, à la désinformation,
07:05en tout cas, à accélérer la désinformation qu'on voit déjà en ligne.
07:09Tout à fait. Ce qu'il faut bien comprendre, en fait, c'est que l'IA, en fait, on peut l'utiliser des deux côtés.
07:15On peut l'utiliser pour attaquer des systèmes ou, au contraire, veiller à la défense de ces systèmes.
07:21C'est ce que je vais présenter juste après.
07:23Et puis, comme l'ont dit les deux collègues, il faut aussi protéger l'IA.
07:27Donc, il y a des gens qui, dans des communautés de chercheurs, mais aussi au niveau industriel,
07:32qui vont chercher à attaquer l'IA, des pen tests, par exemple,
07:36mais aussi à mettre en place des mécanismes qui permettent de défendre l'intelligence artificielle qui a été développée.
07:44Donc, là, quand on parle de désinformation ou lorsqu'on parle de production de malware,
07:49là, on va utiliser l'IA pour que l'adversaire ou la personne arrive à son objectif.
07:56Quelques exemples.
07:58Les fameux modèles de langage, c'est des modèles génératifs.
08:03Ils peuvent être utilisés, par exemple, pour concevoir des malwares.
08:08Si on va sur le dark web, il faut savoir qu'il y a différents modèles de langage,
08:12comme Fraud GPT, Dark Bard, XXX GPT, qui sont des modèles qu'on a gel-breaker.
08:19Gel-breaker, ça veut dire qu'en fait, un modèle de langage qui est fourni dans le commerce,
08:25en fait, il est aligné dans le sens où il n'est pas autorisé à répondre.
08:29C'était l'exemple que donnait Catarsina. On ne peut pas faire ressortir, par exemple,
08:34une recette pour pouvoir fabriquer une bombe ou des choses comme ça.
08:37Là, en fait, il y a eu un traitement spécial qui a été fait sur le modèle pour qu'il puisse crasher un peu n'importe quoi,
08:44y compris du code malveillant, y compris des mails de phishing, par exemple.
08:50Et ça, c'est des choses qu'on peut trouver sur le dark web.
08:55Maintenant, comment on peut utiliser ces IA et notamment ces LLM pour se défendre ?
09:04Là, deux exemples me viennent à l'esprit.
09:07La première, c'est du reverse engineering de code binaire.
09:12On a un code binaire. On veut savoir, par exemple, s'il y a un malware qui est dans le code binaire.
09:17Il y a des travaux académiques qui montrent que, de la même manière qu'un modèle de langage
09:23est capable de traduire d'une langue à une autre, il est aussi capable de passer du binaire à un code source.
09:30On peut, après, en analysant le code source, détecter, par exemple, la présence d'un malware.
09:35D'accord.
09:36Et très rapidement, pour parler, effectivement, de désinformation,
09:40là, les modèles génératifs, ils vont pouvoir être utilisés,
09:44et je ne vais pas insister sur les exemples parce qu'ils sont connus,
09:47à générer des images, voire même à générer entièrement des sites web pour aller sur la désinformation.
09:54Pour conclure sur cette partie désinformation, ce qu'il faut savoir,
09:58c'est qu'on va aussi pouvoir utiliser l'IA pour pouvoir détecter la présence de contenus générés,
10:04et donc, qui participeraient à des campagnes de désinformation.
10:07Juste une question, effectivement, sur la partie désinformation.
10:09Là, on parle, effectivement, soit d'État malveillant qui pourrait envoyer,
10:14imaginons, Emmanuel Macron qui va, si j'exagère, déclarer la guerre à un pays voisin,
10:19mais ça peut être aussi des chefs d'entreprise.
10:22Une question, je me posais que ça soit pour la partie malware ou la partie désinformation,
10:26est-ce que l'IA permet, entre guillemets, aux premiers, enfin, aux tout-venants de créer,
10:33ou en tout cas d'aller chercher son malware ou d'aller créer un site de désinformation ?
10:39Est-ce qu'il y a une facilitation par l'IA de ces contenus de désinformation
10:45ou pour compter les entreprises ou le grand public ?
10:51Je vais vous faire une réponse de Norman.
10:53C'est oui et non.
10:55C'est très facile pour n'importe qui de générer une image.
10:59Il suffit de savoir écrire un prompt qui va bien
11:02et puis ensuite de la poster sur des réseaux sociaux pour amplifier une fake news, etc.
11:08Ça, ça a apporté tout le monde.
11:09Sur l'utilisation de modèles de langage pour écrire des malwares, etc.
11:14Comme je vous l'ai dit, c'est des modèles qui ne sont pas disponibles comme ça sur étagère.
11:17Donc, il faut rentrer dans des milieux autorisés.
11:20On a beaucoup creusé l'aspect négatif, si je peux dire, en tout cas, ou dangereux de l'IA.
11:27Mais heureusement, ça peut aider aussi.
11:29Katarzyna Capusta, on en parlait quand on a préparé cette table ronde
11:33sur l'idée que l'IA peut aussi être une opportunité, notamment pour détecter les attaques.
11:38Évidemment, l'IA a des capacités incroyables.
11:41Il ne faut pas non plus s'en priver de l'utiliser.
11:44Alors, un exemple, pareil, qui est en ce moment présenté à notre stand Thalès, ce forum,
11:53où on montre comment on utilise l'IA pour faciliter la détection d'incidents dans les socs Thalès.
12:03En fait, il faut savoir qu'avant l'introduction de l'IA,
12:07le temps de détection d'une menace, il allait de 1 à 5 jours.
12:14Maintenant, après l'IA, on arrive à réduire ce temps jusqu'à des heures, voire des minutes.
12:24Alors, qu'est-ce qu'on propose ?
12:25C'est en fait les opérateurs de socle, dans leur quotidien, c'est écrire des règles de sécurité.
12:30Ce qu'on leur propose, c'est un chatbot qui va être vraiment dédié à cette tâche,
12:36qui va leur aider dans la rédaction de ces règles.
12:39Il va aider à la compréhension des incidents qui sont en place,
12:45et ensuite, qui va les assister dans la rédaction d'un plan de remédiation.
12:53Alors, comme ça, on voit que l'IA, on l'utilise pour la cyber.
12:56Et évidemment, l'IA qu'on va utiliser ici, c'est un système à base de LLM,
13:02et plus précisément un système RAG.
13:04On a un LLM qui utilise une base auxiliaire pour ajouter du contexte,
13:12pour que ce soit pertinent pour les opérateurs de socle.
13:15Cette IA, on va d'abord pentester, on va la sécuriser avant la mise en production.
13:20Comme ça, on est sûr que, par exemple, les attaques type empoisonnement
13:25où un attaquant polluerait une autre base de données,
13:29où cette base de données serait polluée accidentalement,
13:31ne vont pas avoir place, ou vont être réduits.
13:35Oui, parce qu'il y a cette idée, effectivement,
13:37que pour bien utiliser l'IA, en tout cas l'utiliser sans risque,
13:40il faut effectivement la crash testée,
13:42et vos équipes sont, enfin, je ne sais pas si l'unitaire,
13:45mais en tout cas, tester sa robustesse,
13:47c'est quelque chose qui commence à se faire,
13:50qui est déjà généralisée, ou pas assez ?
13:53C'est une question à converte.
13:56Est-ce qu'on a lancé trop d'IA sans avoir forcément testé leur robustesse ?
14:03Je pense que ça commence à se faire.
14:05Chez nous, ça se fait déjà depuis un moment,
14:08surtout pour l'IA dans les systèmes critiques.
14:13Il faut savoir, pour le moment, il n'y a pas encore de réglementation
14:16qui permettrait de certifier l'IA pour dire qu'elle a passé des tests de sécurité,
14:22mais ça va forcément venir.
14:24Alors déjà, ce qu'on voit, on voit des outils arriver
14:27qui vont automatiser un peu les pen tests.
14:31Ce qu'on propose aussi chez nous, avec l'équipe Friendly Hacker,
14:36c'est des pen tests sophistiqués.
14:39On aura appel à une équipe de chercheurs et d'experts en cybersécurité
14:43pour aller vraiment plus loin,
14:44s'assurer qu'avant l'intégration d'une IA dans un système critique,
14:49on a fait la bonne analyse des risques,
14:52et qu'on est sûr qu'on a une IA de confiance.
14:59Victor Guilhemar, vous expliquiez que vous avez développé
15:02des solutions spécifiques, c'est ça, pour l'intelligence artificielle,
15:04pour les modèles d'intelligence artificielle ?
15:06Vous pouvez nous en dire un peu plus ?
15:07Oui, alors nous, on s'adresse à un problème qui peut paraître simple,
15:10mais qui est en fait assez compliqué,
15:12c'est venir protéger un modèle d'IA quand il est déployé sur un appareil.
15:15Parce qu'aujourd'hui, c'est facile de venir le voler,
15:17et ça, il y a à peu près deux conséquences, deux grandes conséquences.
15:22La première, ça va être une perte de compétitivité de l'entreprise
15:25qui se fait voler le modèle,
15:26puisqu'en fait, il y a beaucoup de propriétés intellectuelles dans ce modèle.
15:29Ça coûte cher à venir construire un modèle,
15:32l'entraîner des gens qualifiés, etc.
15:34Donc ça coûte beaucoup d'argent.
15:35Et quand ça peut être extrait en quelques minutes, c'est problématique.
15:38Et ensuite, le deuxième risque, c'est que c'est en fait la porte d'entrée
15:42vers des attaques poussées derrière,
15:44qu'on appelle des attaques en boîte blanche.
15:46Donc le fait d'accéder au modèle,
15:49les attaques vont être beaucoup plus performantes.
15:52Donc on considère que la première chose à faire pour protéger un modèle,
15:55c'est de faire en sorte qu'on ne puisse pas l'extraire
15:58et utiliser ensuite tous les paramètres pour venir faire certaines attaques.
16:03D'accord.
16:04Une dernière question, là, j'ouvre un peu,
16:07mais est-ce que vous vous attendez,
16:08vous êtes spécialiste notamment de la cybersécurité,
16:12avec toutes les tensions géopolitiques qu'on connaît,
16:14évidemment, la Russie, la Chine,
16:18l'allié américain qui est de moins en moins un allié.
16:21Est-ce que vous pensez qu'on va malheureusement aussi devoir faire face,
16:25et vous, à un bout des attaques,
16:28quelles qu'elles soient,
16:29une sorte de, je ne suis certainement pas le bon terme,
16:31mais que moi je qualifierais de guerre cyber ?
16:34Je peux peut-être commencer par, sur le terrain de la désinformation,
16:41on voit déjà que, voilà, c'est mis en œuvre depuis que le conflit avec l'Ukraine s'est développé,
16:49et les attaques sont réelles,
16:54les réponses, on a eu la création de l'agence Viginum au niveau étatique
16:58pour pouvoir essayer de répondre à ce genre d'attaques.
17:02Donc oui, il y a une vraie guerre informationnelle qui existe en ce moment,
17:06et qui ne va faire que ça croître.
17:07Il suffit de voir ce qui s'est passé, par exemple en Roumanie,
17:11pour voir que ça peut avoir des conséquences.
17:13Oui, effectivement, un candidat totalement inconnu a été poussé par les réseaux sociaux,
17:18notamment de TikTok et de X, en effet.
17:24Oui, nous on le voit aussi avec nos clients,
17:26c'est-à-dire qu'aujourd'hui, il y a beaucoup plus de gens qui s'intéressent à ces questions-là,
17:30où avant, elles déployaient des modèles,
17:31elles ne s'intéressaient pas forcément à la sécurité du modèle.
17:35Aujourd'hui, il y a des gens qui déploient dans des environnements
17:37où ils n'ont pas le contrôle,
17:38dans des pays où ils ne savent pas,
17:40ils n'ont aucun contrôle sur le modèle qui va être déployé.
17:42Et donc là, il y a un intérêt, un regard d'intérêt pour ce sujet-là,
17:46spécifiquement pour bien.
17:47Qu'est-ce que vous sentez où, notamment les entreprises,
17:51commencent vraiment à être, j'allais dire, évangélisées,
17:54à comprendre qu'il y a une menace déjà très grande,
17:58mais que ça va être encore pire demain ?
18:00Évidemment, on se prépare déjà.
18:04Alors déjà, on est conscient que l'IA, comme Patrick a dit,
18:09est utilisé par exemple dans la guerre pour la désinformation.
18:12Aussi, ça peut être utilisé, les attaques qu'on voit dans les papiers de recherche,
18:19ça pourrait être appliqué sur le terrain.
18:22On pourrait faire passer des chars, par exemple, pour des ambulances.
18:27Je finirais peut-être par un côté plus positif.
18:30En fait, maintenant, on a plein de données.
18:34Si on parle, par exemple, des consortiums de type OTAN,
18:40avec maintenant l'IA, on a des solutions pour vraiment exploiter ces données,
18:45pour avoir des meilleurs modèles d'IA qui sont entraînés,
18:49pas que sur les données locales, disons,
18:53mais sur des données de plusieurs nations,
18:56d'une façon, évidemment, sécurisée,
18:58ce qui permet aussi d'enrichir tous les partenaires qui participent.
19:05Et de sécuriser plutôt l'ensemble.
19:07Exactement.
19:08Donc vous, vous êtes plutôt optimiste, si je puis dire,
19:13notamment sur cette utilisation d'IA qui, pour l'instant,
19:17et on peut l'espérer, sera quand même plutôt au service d'eux
19:19que contre les pays, les entreprises.
19:22Tout à fait, ça va être au service d'eux.
19:24Après, n'oublions pas, ça va être l'IA de confiance au service d'eux
19:28et pas n'importe quel IA.
19:31Très bien.
19:32Merci à vous trois pour cet échange riche et très intéressant.
19:36Merci.
19:37Merci à vous.
Commentaires