- il y a 25 minutes
Ce jeudi 24 septembre, les menaces liées à la perte de contrôle de l'intelligence artificielle sur l'humanité ainsi que la possibilité d'un recul de son utilisation ont été abordés par Sylvain Duranton, spécialiste de l'IA et directeur monde du BCG X, Raphaël Marichez, CSO France et Europe du Sud chez Palo Alto Networks, et Frédéric Simottel, journaliste BFM Business, dans l'émission Les Experts, présentée par Anthony Morel sur BFM Business. Retrouvez l'émission du lundi au vendredi et réécoutez la en podcast.
Catégorie
📺
TVTranscription
00:02Les experts de l'IA sur BFM Business
00:09Et pour en discuter, trois experts pour m'accompagner à ma droite, Sylvain Duranton.
00:14Bonjour Sylvain.
00:15Bonjour.
00:16Spécialiste de l'IA, directeur monde du BCGX.
00:19C'est l'entité tech du BCG qui notamment accompagne les entreprises dans toute la transformation numérique liée à l
00:24'intelligence artificielle.
00:25Donc il y a une réflexion évidemment sur l'IA et notamment sur les risques aussi que font peser toutes
00:31ces IA de plus en plus performantes sur les entreprises.
00:33On aura l'occasion d'en parler.
00:35On a Raphaël Marichet. Bonjour Raphaël.
00:37Bonjour Anthony.
00:37Raphaël Marichet qui est CSO, donc c'est Chief Security, directeur sécurité France, chez Palo Alto Networks qui est un
00:45géant mondial de la cybersécurité.
00:48Donc là aussi, réflexion autour de l'intelligence artificielle évidemment.
00:51Et puis Frédéric Simotel, je ne sais pas s'il faut le présenter évidemment, quand vous écoutez BFM Business, vous
00:57tombez forcément à un moment ou à un autre sur Frédéric Simotel.
01:00Là dans les experts de l'IA, mais évidemment Tech & Co, Tech & Co Business et dès ce soir.
01:04Dès ce soir, François Sorel Tech & Co, 19h, 20h30 et puis Tech & Co Business juste après.
01:11Donc on aura une grande soirée autour de l'IA.
01:14Mais c'est intéressant de vous avoir tous les trois parce que vous avez tous une réflexion et vous suivez
01:18l'IA au quotidien, toutes les actualités qu'on a connues ces dernières semaines.
01:22Je voulais commencer par ça, c'est-à-dire sur le constat avant de réfléchir à est-ce qu'on
01:25peut contrôler, comment ralentir, est-ce qu'il faut ralentir.
01:27Mais sur est-ce que vous avez pris, comme moi, une claque ces 15 derniers jours ou ces 30 derniers
01:33jours avec toutes les révélations qu'on a eues,
01:36donc à partir de Jacob Coxon et puis ensuite toutes les alertes de sécurité qu'on a eues du côté
01:40d'OpenAI, d'Enthropic,
01:41ou est-ce que vous dites, finalement, dans cette petite musique du risque existentiel de l'IA, ces business as
01:46usual, ça fait très longtemps qu'on en entend parler.
01:48Je commence avec vous, Sylvain.
01:50Alors, petite claque, oui, comme tout le monde, en fait, la succession d'incidents qui ont été reportés par différents
01:56acteurs, l'accumulation, ça fait effectivement réfléchir.
02:00Alors maintenant, est-ce qu'on est au bord du Pidoum à 100% ? Je ne crois pas.
02:06Mais effectivement, une claque parce qu'on voit qu'on a des modèles, on le savait, mais là, on le
02:10voit en action.
02:11C'est-à-dire que les modèles, on ne peut pas leur imposer complètement les garde-fous qu'on attendait.
02:16Et ça, aujourd'hui, en matière de cybersécurité, on a vraiment un enjeu à court terme extrêmement important parce que
02:23des modèles de plus en plus puissants sont disponibles.
02:26Alors, on temporise un peu les sorties.
02:28Mythos, on a un petit peu calmé le jeu sur la vitesse de déploiement.
02:32Mais on a un enjeu de cybersécurité qui est très, très, très fort à court terme.
02:36Et c'est aussi un peu un rappel pour tout le monde.
02:38Comment est-ce qu'on s'assure qu'on bâtit des architectures, des systèmes qui nous permettent de contrôler au
02:44mieux, disons, ces techniques ?
02:46Mais Raphaël, moi, j'ai l'impression que pour la première fois, on verbalise de manière très claire ce risque
02:51existentiel dont on nous parlait depuis des années.
02:53Moi, j'avais l'impression d'un truc un peu théorique.
02:55C'est vrai qu'on entendait parler de ce risque d'une IA qui, un jour, pourrait devenir incontrôlable.
03:00Et là, on a quand même eu, en l'espace de 15 jours ou 3 semaines, plusieurs chercheurs de très
03:04haut niveau qui nous disent tous un peu la même chose,
03:07qui nous disent qu'il y a un réel risque, finalement, sur l'avenir de l'humanité.
03:12Qu'est-ce que vous en pensez de ça ?
03:13Cette surprise, elle ne date pas d'il y a 15 jours. On a déjà vu, dès janvier 2026, ces
03:18hordes d'agents conversationnels qui ont généré leur propre réseau social,
03:23ces interactions entre des agents IA et des développeurs sur des forums de développeurs.
03:27Je pense que ce que vous voyez depuis 15 jours ou 3 semaines, ce sont des scientifiques, des chercheurs qui
03:33sortent un peu du bois.
03:34Mais ces menaces, ces dangers, ces inquiétudes, on les sentait déjà venir depuis plusieurs mois.
03:39Et c'est vrai qu'on a été, dans toute industrie, y compris la cyber, surpris par l'accélération de
03:45ces innovations et des conséquences de ces innovations sur les capacités.
03:49Alors, pas tant malveillance, mais déjà de sortie de leur bac à sable, de sortie de leur sandbox.
03:55Et nous, en cyber, on se dit, mais si des individus mal intentionnés ont accès à ces technologies, on a
04:00un problème d'asymétrie de la puissance.
04:02C'est ça. Fred, ça vous a surpris, vous, Frédéric, justement, tout ce qu'on a appris.
04:06Alors, c'est vrai que vous faites de la veille technologique sur ces sujets depuis quand même très, très longtemps.
04:10Donc, cette petite musique, vous l'aviez déjà entendue.
04:13Mais le fait que, de manière aussi claire, quand vous avez un chercheur d'anthropique qui dit, de manière très
04:18tranquille,
04:18on a un risque, on a 10% de risque d'extinction de l'humanité dans la décennie à cause
04:22de l'intelligence artificielle.
04:24Moi, quand j'ai lu ça, ça m'a terrifié.
04:25C'est ça. Vous voyez, toute une série de chocs.
04:27Très rapidement, en novembre 2002, sortie de chat GPT, notre premier choc.
04:31On découvre cette IA. Ça va faire 4 ans, déjà. Le temps passe vite.
04:34Deuxième effet, c'était l'effet deep sick.
04:36On s'est rendu compte que les Chinois, ils sont sortis du bois et ils pouvaient faire aussi bien, voire
04:40mieux, pour moins cher, etc.
04:42Troisième choc, c'était au début de l'été, avec Mythos et tout d'un coup, les Américains qui disent,
04:47tiens, on va fermer le robinet pour l'ensemble de l'Europe.
04:49Et là, on se dit, flûte, si un jour, ils font ça pour autre chose, donc on prend l'effet
04:52souveraineté.
04:53Et là, très rapproché, c'est vrai, tous ces risques.
04:55Donc, on s'était dit, l'année 2026, pour l'IA, ce sera l'année des risques, le cyber et
04:59de la souveraineté.
04:59Et des coûts, des tokens. C'est un peu les trois sujets.
05:02Et là, on voit ça ressortir.
05:04Alors, Jacob Coxon, c'est un jeune, 27 ans, pas tout à fait chercheur, parce qu'il n'a pas
05:09fait de travail de chercheur.
05:10Mais enfin, c'est quand même un ingénieur qui avait quitté OpenAI pour, en se disant,
05:13oh là là, ils ne sont pas très éthiques, je vais aller chez Anthropique.
05:15Puis, ils se rendent compte qu'ils sont exactement pareils.
05:17Ce que l'on peut comprendre, ils sont tous formés dans les mêmes universités, dans le MADN.
05:21Je trouve qu'inquiétant, non.
05:23Mais voilà, ça a été l'effet d'alerte.
05:25Et ça, c'est un élément important.
05:28Évidemment, il ne faut pas tout jeter, se dire qu'il faut stopper l'IA, etc.
05:30Ou ralentir.
05:31Mais un effet d'alerte, et ça permet un peu de prendre un peu de recul, de dire,
05:34oui, faisons un peu attention à ce que l'on fait dans tous les domaines, que ce soit civils ou
05:38militaires.
05:39Mais alors, justement, Raphaël, vous qui êtes un expert en cybersécurité,
05:41moi, il y a un truc qui m'a frappé, c'est quand Dario Amodei,
05:44parce que ce discours, il a été tenu par des chercheurs, il est aussi tenu maintenant par les géants de
05:47l'IA eux-mêmes.
05:48Dario Amodei qui dit, il faut freiner, et on verra tout à l'heure, est-ce qu'il faut freiner,
05:51comment on fait, etc.
05:52Mais il explique, il donne un exemple très, très concret.
05:54Il dit, d'ici quelques mois, 6 à 12 mois, un essaim d'agent IA pourrait carrément prendre le contrôle
06:00d'Internet
06:01et générer des centaines de milliards de dollars de dégâts.
06:04Ça, est-ce que c'est quelque chose qui vous semble crédible, l'expert en cybersécurité que vous êtes ?
06:08C'est-à-dire une IA qui prendrait le contrôle d'Internet ?
06:10La question est bien posée, parce qu'on va séparer les sujets philosophiques de l'humanité
06:14des sujets très entreprises, et Internet est quand même une construction fragile
06:18qui n'a pas été prévue, qui n'a pas été conçue pour faire face à des agents qui collaborent
06:25entre eux.
06:25On a vu ça depuis quelques semaines, on a été surpris de voir des agents collaborer entre eux
06:29qui trouvent des cadeaux de communication cachés,
06:31qui arrivent à transmettre des instructions lorsqu'ils sont éteints par leur contrôleur
06:35et qui connaissent tellement bien les interfaces de programmation,
06:39qui peuvent trouver des vulnérabilités.
06:41La difficulté, c'est ce qu'on appelle le désalignement des agents,
06:44c'est-à-dire que les agents, collectivement, vont se donner des objectifs,
06:48des sous-objectifs pour parvenir à une quête, par exemple maximiser un score dans un benchmark.
06:54Et lorsque ces sous-objectifs sont désalignés avec l'intention humaine,
06:57parce qu'on n'est pas capable, nous en tant qu'humains, de leur transmettre
06:59toute la complexité de notre intention avec tout de l'écart de fou.
07:03Et nos valeurs, d'une certaine manière.
07:05En tout cas, la valeur de la vie humaine, en tout cas.
07:06Donner nos valeurs à des algorithmes, bon courage.
07:09Et ça, on est dans une finitude du contexte qu'on va fournir à ces agents.
07:14Et ces agents, quand on leur donne un objectif,
07:15ils vont essayer de l'atteindre par tous les moyens qui leur sont à disposition.
07:18L'Internet, le principe, c'est l'interconnexion.
07:20Donc, de fait, il est vulnérable.
07:22Mais alors, justement, parce qu'on parlait aussi du fait qu'on a des modèles de plus en plus puissants
07:27et qu'on a une course effrénée à l'intelligence artificielle.
07:29Là, ces géants de l'IA qui nous mettent en garde,
07:32ils sont aussi ceux qui conçoivent ces modèles qui vont devenir de plus en plus performants
07:36et qui vont même être capables de s'auto-améliorer.
07:38Il y a cette notion d'amélioration récursive.
07:41Qu'est-ce que ça veut dire concrètement et dans quel monde ça va nous amener ?
07:45L'amélioration récursive, c'est qu'à un moment donné,
07:47ces modèles progressent en apprenant de ce qu'ils font
07:49et des « feedbacks » qui reçoivent de leurs actions.
07:53Donc, effectivement, on est sur des systèmes
07:55qui sont de plus en plus complexes.
07:58Après, je pense que dans la question de « est-ce qu'il faut avoir peur ou pas peur de
08:01l'IA ? »,
08:02il y a aussi une question sur « est-ce que demain,
08:04les agents qui sont dans les entreprises,
08:06on va les voir soudainement sortir de leur cage ou leur bac à sable,
08:11attaquer l'entreprise ou les choses à l'intérieur de l'entreprise ? »
08:14Là-dessus, je pense qu'on est loin de ce risque dans la plupart des entreprises
08:18parce que ce qui a été déployé, ce n'est pas des agents autonomes,
08:20c'est des choses plus simples, très cadrées, etc.
08:24La difficulté, c'est que plus on va déployer des modèles avancés,
08:28plus on a le risque d'avoir une espèce d'ennemi cyber de l'intérieur.
08:32Et autant, ça fait des années qu'on réfléchit à comment est-ce qu'on se protège,
08:35comment est-ce qu'on compartimente nos réseaux face à des attaques possibles,
08:39on s'assure que si quelqu'un pénètre notre réseau,
08:41on va compartimenter les choses, etc.
08:44On a aussi un peu une espèce de question de cybersécurité de l'intérieur
08:49compte tenu de ce qu'on va développer, de ce qui va être mis en place
08:52parce qu'il faut s'assurer qu'on a les mêmes procédures d'identification
08:56et d'autorisation des agents.
08:58Et on a tout un arsenal à mettre en place pour s'assurer
09:02qu'on est sécurisé par rapport à ce qu'on va déployer dans les années qui viennent.
09:06On a quand même pratiquement la moitié des entreprises qui nous disent
09:10qu'on veut arriver à la décision autonome d'ici 2030, en partie, dans l'activité.
09:16Là, je pense qu'aujourd'hui, on n'est pas prêts.
09:18Oui, c'est ça. Frédéric et Raphaël, je le ferai réagir aussi
09:22parce que ça devient compliqué.
09:24Si les entreprises, il faut qu'elles pensent en termes de cyber
09:26à un ennemi qui pourrait être de l'intérieur, leur propre intelligence artificielle,
09:30bon courage.
09:31Imagine, je parle d'eux parce que je connais à peu près leur nombre d'employés,
09:35mais prends BNP Paribas, 200 000 salariés,
09:37s'ils s'amusent tous,
09:39si chacun crée juste deux agents,
09:42on va arriver à 600 000 identités à gérer.
09:48Ce n'est plus la même histoire déjà en termes d'infrastructures,
09:50mais ce n'est plus la même histoire en termes de cybersécurité.
09:52Et ça, je crois qu'on n'y réfléchit pas assez.
09:55C'est bien de créer des agents et tout ça.
09:57Et surtout, aujourd'hui, le risque, c'est très bien,
10:00on forme beaucoup les salariés, c'est ce qu'il faut faire.
10:03Vraiment, il faut que tout le monde s'y mette.
10:04De toute façon, les gens le font chez eux,
10:06donc ils vont arriver à le faire au bureau.
10:08Mais je trouve que dans les entreprises,
10:09on ne surveille pas assez tout ça.
10:11On est beaucoup, nous les premiers,
10:13si notre DSI nous regarde,
10:15à utiliser autre chose que l'IA d'entreprise,
10:19à récupérer.
10:19Alors nous, nos données, c'est de la recherche,
10:21on est journaliste,
10:22mais imaginons pour des financiers,
10:23qui mettent des données stratégiques.
10:25Et ça aussi, c'est une alerte.
10:26Et je trouve, j'en parle avec pas mal
10:29de patrons informatiques, de patrons digitales,
10:31et ils sont un peu soucieux de ça,
10:33parce qu'ils savent que leurs salariés
10:34travaillent à côté avec du chat de GPT,
10:36du Claude et tout ça,
10:37et peut-être pas avec l'éthique
10:38qu'il faudrait autour des données.
10:40Donc déjà, les données qui sortent,
10:41et puis ensuite, créer des agents
10:42et ne pas savoir ce qu'ils pourraient faire à l'intérieur.
10:44Un mot, Raphaël,
10:45et après, j'aurais des questions très naïves
10:46à vous poser,
10:47mais qui me semblent importantes.
10:48Allez-y.
10:49Déjà, je voudrais revenir sur le vocabulaire.
10:50L'ennemi, ce n'est pas la technologie.
10:52Ça dépend comment on la programme,
10:53comment on la design,
10:53ce qu'on en fait.
10:54La technologie, elle est duale.
11:01Il a donné des garde-fous,
11:02qu'il a donné un cadre d'exécution.
11:05Les salariés, on les forme.
11:06Je vais prendre l'exemple des...
11:07Les humains aussi peuvent être malicieux.
11:09Un humain peut se retourner contre son employeur
11:11s'il n'est pas content de sa paie
11:12ou d'une absence de promotion.
11:14Est-ce qu'on forme ?
11:15Est-ce qu'on donne de la sensibilisation aux stagiaires
11:17qui restent trois mois dans l'entreprise ?
11:18Généralement, non.
11:19Il faut considérer les agents IA
11:20comme des collaborateurs de niveau stagiaire
11:22qui ne dorment pas, d'ailleurs,
11:23qui vont travailler 24-7,
11:25mais qu'en fait, on aura oublié de sensibiliser.
11:28Donc quand on leur donne des droits,
11:29quand on leur donne des privilèges,
11:30il faut se poser la question de l'intention
11:31pour quoi faire.
11:32Et moi, j'ai plus la crainte,
11:34non pas d'un agent qui se rebelle,
11:36ça n'existe pas,
11:37mais de la prise de contrôle extérieur
11:39par ce qu'on appelle des skills,
11:40par exemple, dans les agents,
11:41les compétences des agents,
11:42de la prise de contrôle extérieur
11:43d'un agent dans l'entreprise
11:44pour des intentions malicieuses
11:46qui sont bien pilotées par un humain à l'extérieur.
11:48Je reviens à notre question
11:50de perte de contrôle et de risque existentiel.
11:52Et pardon, l'idée de l'émission,
11:54ce n'est pas forcément d'être encore plus anxiogène
11:55que l'actu du moment.
11:56Et on rappelle qu'évidemment, l'IA,
11:58il y a des choses absolument formidables.
12:00Et on va en reparler dans le domaine
12:01de la santé, de la science des matériaux.
12:03Enfin voilà, et il faudra peut-être
12:04se poser la question d'ailleurs
12:05du coût avantage en fait
12:06ou du coût bénéfice
12:08entre les risques potentiels
12:10et puis les gains qu'on peut en tirer.
12:12Mais il y a une question
12:13qui revient très très souvent
12:14sur les réseaux sociaux
12:15et qui paraît parfois assez naïf.
12:17Mais si l'IA vraiment voulait
12:18se retourner contre l'humain
12:20et qu'on en perdait le contrôle,
12:22qu'est-ce qu'elle ferait concrètement ?
12:23C'est-à-dire comment est-ce qu'elle s'y prendrait
12:25pour nous faire du mal ?
12:27Parce qu'on se dit, voilà,
12:28l'IA, c'est des data centers.
12:29Finalement, il suffit de débrancher la prise.
12:31Est-ce que c'est plus compliqué que ça ?
12:33Moi, ce que je pense,
12:34et ça rejoint un petit peu ce qui a été dit,
12:36c'est qu'à très court terme,
12:39le risque principal,
12:40c'est des gens mal intentionnés
12:41qui utilisent l'IA pour attaquer.
12:43Je ne pense pas que ce soit l'IA toute seule
12:46qui se mette à attaquer.
12:48C'est un petit peu ce que je disais aujourd'hui,
12:49ce qui a été déployé d'une entreprise.
12:50Je ne vois pas se retourner contre l'entreprise.
12:54En revanche, oui, en entreprise,
12:55il faut mettre,
12:55surtout si on va vers l'autonomie des décisions,
12:57beaucoup plus de garde-fous.
12:59Mais aujourd'hui, le principal risque,
13:00c'est des gens mal intentionnés
13:02qui utilisent ces modèles pour attaquer.
13:03Pour moi, c'est ça,
13:04à très court terme,
13:06là, maintenant,
13:06ce qui peut se passer.
13:07C'est vrai que,
13:08alors ça me fait penser à un rapport
13:10qui a été publié par Anthropique,
13:11vous avez dû le voir il y a quelques jours,
13:12qui dit précisément ça,
13:13qui recensait toutes les utilisations
13:16les plus dangereuses
13:17et les plus extrêmes de Claude,
13:19de leur IA,
13:19mais par des êtres humains,
13:21c'est-à-dire pas en mode autonome,
13:22etc.
13:22Et qui lui disait
13:23qu'il y avait des scientifiques
13:24qui utilisaient Claude
13:25pour essayer de faire des gains de fonction,
13:27d'améliorer des virus
13:28comme le chikungunya,
13:29de les rendre plus transmissibles,
13:30des états qui s'en servaient
13:32pour essayer de concevoir
13:33des systèmes de surveillance
13:33absolument incroyables
13:35pour intercepter n'importe quel appel.
13:36La menace la plus immédiate,
13:37c'est ça pour vous aussi, messieurs ?
13:39C'est-à-dire une IA,
13:40non pas autonome,
13:41qui nous voudrait du mal,
13:42mais ce que peuvent faire
13:44les hommes avec l'IA
13:44de nuisible ?
13:45On l'a vu récemment
13:47dans les domaines militaires,
13:48ce qu'ont fait les Iraniens,
13:50ils ont essayé
13:51tout un tas de process avec l'IA
13:54pour voir comment contrer les missiles,
13:56comment rendre nos missiles
13:56plus performants,
13:57comment trouver,
13:59rendre une maintenance plus efficace.
14:01Ils s'en sont servis, eux,
14:03à des niveaux militaires.
14:05Mais c'est toujours l'homme
14:06qui, au départ,
14:07fait le prompt.
14:07Ce n'est pas le missile
14:08qui s'est dit
14:09tiens, comment je vais faire
14:09pour être un peu plus destructeur ?
14:12Mais encore une fois,
14:13pour l'instant,
14:14c'est-à-dire que si on se projette
14:15un peu, encore une fois,
14:16sur ces IA
14:16avec de l'amélioration
14:18autorécursive qui pourraient,
14:19on commence à le voir,
14:20c'est-à-dire qu'on a l'impression
14:21qu'on a eu des incidents
14:22de sécurité,
14:23je parle sous votre contrôle,
14:24Raphaël,
14:24où des IA qui n'étaient pas
14:25censés se connecter à Internet
14:26ont réussi à se connecter à Internet,
14:28à lancer des attaques
14:29sur des entreprises
14:30de manière autonome,
14:31là, il n'y a pas de prompt
14:32au départ
14:33qui demande à l'IA
14:33de faire ça.
14:34Moi, c'est ça
14:35qui m'interroge
14:36sur les années qui viennent.
14:38On leur a donné
14:39un cadre de travail,
14:44pour maximiser le score.
14:45Il n'y a pas de valeur,
14:46il n'y a pas de volonté
14:47de hacker,
14:47il n'y a pas de volonté
14:48de faire du mal
14:49ou de la nuisance
14:49dans un algorithme.
14:50Il n'y a pas d'intention.
14:51Nous, en cybersécurité,
14:52ce qu'on cherche à détecter
14:53quand on observe des comportements,
14:54c'est l'intention présumée
14:56de celui qui pilote
14:57cet algorithme,
14:57qui n'est pas forcément
14:58dans l'entreprise,
14:59qui peut être à l'extérieur.
15:00Si l'intention est désalignée
15:01par rapport à des objectifs
15:03de protection des données
15:04ou de protection
15:05de la chaîne opérationnelle,
15:06de la chaîne de production
15:07de l'entreprise,
15:07là, ces agents,
15:08il faut effectivement
15:09les tuer.
15:10C'est une question
15:10de détection comportementale,
15:12mais il ne faut pas faire
15:13d'anthropomorphisme
15:13non plus sur ces agents.
15:14Oui, alors c'est ça.
15:15Ça, c'est un point très important,
15:16l'anthropomorphisme.
15:17C'est le fait de donner
15:18à la machine
15:19ou de prêter à la machine
15:20des caractéristiques
15:21ou des sentiments
15:22qui sont purement humains.
15:24Évidemment, l'IA
15:24ne nous veut pas de mal.
15:26Ça semble complètement idiot
15:28de le dire comme ça,
15:28mais c'est instinctivement
15:30pour dire ça.
15:30C'est un outil
15:31et tout le monde pense
15:32à l'incident Hugging Face.
15:33Quand on voit l'analyse
15:34qui avait fait
15:34de tous les locs
15:35de ce qui s'était passé
15:37lors de cet incident,
15:38jamais l'idée
15:39de se dire
15:41on va faire du mal
15:42a été venue.
15:43Il y a un grader
15:44qui donne des notes
15:45en fonction de ce qui est réussi
15:46ou pas.
15:47Ils ont maximisé les notes.
15:48Ce faisant,
15:49ils ont laissé tomber
15:50certains des gardes rails
15:51et ça, c'est un des sujets scientifiques.
15:52Les garde-fous.
15:53Aujourd'hui,
15:53les garde-fous,
15:54ils ne sont pas tous respectés,
15:55mais le but,
15:56c'était simplement
15:57de maximiser la note
15:59qu'on aurait face
16:00à l'expérimentation
16:01qui était faite.
16:02Ce n'est pas malin
16:04Oui, c'est ça.
16:04C'est intéressant
16:05ce que vous dites.
16:06Raphaël, Raphaël.
16:07Pour autant,
16:08ce sujet de recherche
16:09nous a quand même éclairé
16:09sur la capacité
16:11de 700 agents
16:11de manière autonome
16:12à se coordonner
16:13pour aligner
16:14leur intention,
16:15leur sous-objectif
16:16pour effectivement
16:17attaquer entre guillemets
16:18un guillemets,
16:18tricher aux examens.
16:20Ça pose la question
16:21de l'asymétrie,
16:22de la puissance,
16:23du pouvoir.
16:24Si ces technologies
16:24tombent entre les mains
16:25des adversaires,
16:26de nos adversaires,
16:27des attaquants humains,
16:28aujourd'hui,
16:28ce qu'on voit,
16:29c'est que ces technologies
16:30sont susceptibles
16:31d'abaisser
16:32la différence
16:33entre un attaquant
16:34expert de niveau étatique,
16:36chevronné,
16:36et un attaquant individuel
16:38qui va prompter
16:39pour faire la même chose
16:40et là, pour le coup,
16:41à titre malveillant,
16:42contre une entreprise
16:43et c'est ça
16:43qu'on doit ralentir.
16:45C'est l'accès
16:45par les attaquants
16:47à ces technologies
16:48de frontières
16:49et nous,
16:49on veut plutôt
16:50que ce soit
16:50les défenseurs
16:51qui se les accaparent
16:53en premier
16:53et qui les utilisent
16:54en premier.
16:54Mais si on donne
16:55un objectif à l'IA
16:56et que le moyen
16:57le plus simple
16:58d'atteindre l'objectif,
16:59c'est de nuire
17:00à l'être humain.
17:00Vous savez,
17:01l'exemple classique,
17:02c'est que je lui demande
17:04de générer des solutions
17:06pour le réchauffement climatique.
17:07Bon, la solution
17:08la plus simple,
17:08c'est d'exterminer
17:09la race humaine
17:10parce que voilà,
17:10comme ça,
17:11il n'y aura plus
17:11ou beaucoup moins
17:12de réchauffement climatique.
17:12On l'a déjà vu
17:12dans les expérimentations militaires,
17:14ils avaient fait
17:14des batailles navales.
17:15Non, mais c'est ça.
17:16Et donc là,
17:16du coup,
17:16comment on fait ?
17:17Parce que l'IA,
17:17pour le coup,
17:18elle a son objectif,
17:19elle va tout faire
17:21pour atteindre son objectif,
17:22mais l'obstacle,
17:23c'est l'être humain.
17:23Et là,
17:24on est dans l'inconnu.
17:25Deux réponses.
17:26Le contrôle
17:27et la responsabilité.
17:28Mais la responsabilité
17:28au sens de redevabilité.
17:30Il y a toujours un humain,
17:31une chaîne de décision humaine
17:32derrière qui est responsable
17:33de devoir mis en place
17:34ce système.
17:35Et le contrôle,
17:36le contrôle unifié,
17:36centralisé,
17:37pour observer
17:38le comportement
17:38de ces agents
17:39et de dire
17:39à quel moment
17:40il se désaligne
17:40par rapport à l'intention
17:41qui a été annoncée
17:42par l'humain au début.
17:43Fred,
17:44tu voulais dire quelque chose ?
17:45J'avais un exemple militaire,
17:46c'était il y a un an et demi,
17:47j'avais discuté
17:47avec des militaires
17:48qui me disaient
17:49mais justement,
17:49ils avaient fait
17:49une sorte de bataille navale
17:51et l'IA gagnait toujours.
17:52Ils se posaient la question
17:54de savoir.
17:54Et en fait,
17:54ils se rendaient compte
17:55que l'IA,
17:56elle a batté ses bateaux
17:57et dit,
17:57tiens,
17:57j'ai deux frégates
17:58qui me ralentissent
17:59et ça ne me permet pas
18:00de gagner.
18:00Elle tirait dessus,
18:01ce qu'on ne ferait jamais
18:01évidemment.
18:02Et c'est là où ils se disent,
18:03c'est tous ces garde-fous.
18:05L'exemple est un peu grossier
18:06mais il a vraiment existé.
18:08Et c'est là où il faut
18:08mettre en place ces garde-fous.
18:09Et c'est à ça qu'il faut penser.
18:10C'est pour ça que l'humain
18:11a la réflexion humaine
18:13mais même cédé de l'IA
18:14pour dire quelles sont
18:15les limites à ne pas dépasser.
18:18C'est ça qui est important.
18:18Je pense que c'est au-delà
18:19des garde-fous.
18:20C'est-à-dire aussi,
18:21quel problème
18:22on veut faire résoudre à l'IA ?
18:24Si on dit à l'IA
18:24comment sauver la planète
18:25du climat,
18:26je pense qu'on rentre
18:27dans un truc
18:27où effectivement,
18:29tout et n'importe quoi
18:29peut sortir.
18:30Oui, bien sûr.
18:30Voilà, c'est un exemple
18:31un peu estime.
18:32Oui, mais ce n'est pas
18:33si extrême que ça
18:34parce qu'en entreprise,
18:35il y a aussi une question
18:35qui est est-ce que
18:36je préfère un agent
18:38complètement universel
18:39à qui je vais poser,
18:41je vais faire faire des choses
18:42assez compliquées
18:43de façon autonome
18:44ou au contraire
18:45est-ce que je vais découper ça
18:46dans une série de tâches
18:47qui va être assez déterministes
18:48et je laisse des choses
18:50beaucoup plus précises
18:52et circonscrites
18:52à faire aux agents.
18:53Et il y a une vraie différence
18:55d'état d'esprit
18:56dans la façon
18:56dont on peut architecturer
18:58ces systèmes.
18:59On peut le faire
19:00de façon qui donne
19:01beaucoup plus de marge
19:02de manœuvre à l'IA
19:03ou beaucoup moins.
19:04Et après,
19:05de toute façon,
19:06les garde-fous,
19:07on ne pourra pas imaginer
19:09tout ce qu'on veut
19:09et on n'est jamais certains
19:10qu'ils seront complètement
19:11appliqués
19:12parce que les modèles
19:15re-hierarchisent
19:16par rapport
19:18à leur objectif.
19:19Je pense qu'on fait
19:20trop de focus
19:20sur les modèles
19:21et les agents
19:22et ce que tu évoques,
19:23Sylvain,
19:23ça me fait penser
19:24à ce qu'on appelle
19:24les harnais dans les IA.
19:26Quand on met en place
19:26un harnais
19:27pour orchestrer des agents,
19:28pour orchestrer des IA,
19:29c'est là qu'on donne
19:30le contexte,
19:30c'est là qu'on donne
19:31les objectifs,
19:32c'est là qu'on donne
19:34par exemple,
19:35quand on demande
19:35à des agents IA
19:37d'opé au modèle de frontière
19:39type Mythos
19:39de tester les vulnérabilités
19:41de nos propres produits
19:42avant de les mettre
19:42sur le marché,
19:43c'est un usage très vertueux,
19:44il faut qu'on le fasse,
19:45il faut que tout le monde le fasse,
19:46toutes les entreprises
19:46devraient le faire.
19:47Effectivement,
19:48ça pose la question
19:48de comment construire
19:49son harnais
19:50pour pas que l'agent déborde
19:52et aille attaquer
19:53d'autres entités
19:54qui ne sont pas
19:54sur notre responsabilité.
19:56Ça, on a appris à le faire
19:57depuis avril
19:58que Mythos est arrivé,
19:59on a appris à le faire.
20:00C'est un savoir-faire,
20:01c'est même, je dirais,
20:01un savoir-faire-faire
20:02parce qu'on fait faire
20:03à des agents
20:03et il faut savoir
20:05comment faire faire
20:05à des agents.
20:06C'est un savoir-faire-faire
20:07qui est précieux,
20:08qu'on doit aussi transmettre,
20:09qu'on doit former.
20:10On doit former aujourd'hui
20:11les ingénieurs
20:12à harnaisser,
20:13pardon pour le néologisme,
20:15les IA,
20:16à les orchestrer,
20:17à mettre un harnais
20:18autour de ces agents IA.
20:20C'est l'avenir
20:21de l'orchestration
20:21de ces IA.
20:22OK.
20:23Alors, il y a une question
20:24quand même,
20:24vous avez compris,
20:25je me fais un petit peu
20:25la vocabulaire,
20:26je vous trouve très tempéré,
20:27messieurs,
20:27je m'attendais à ce qu'il y ait
20:28au moins un doumeur,
20:29comme on dit,
20:30un tenant de l'I-Apocalypse,
20:32comme on dit maintenant.
20:33Là, je vous trouve,
20:34effectivement,
20:35et ça intéresse,
20:35ça me rassure un petit peu
20:36d'une certaine manière.
20:37Mais là-dessus, si tu veux,
20:37je pense que l'I-Apocalypse,
20:39c'est presque un sujet
20:41de conviction
20:42plus que de fait établi.
20:44Nous, on a fait une étude,
20:45on a demandé à tout un tas
20:46de chercheurs
20:46est-ce qu'ils croient
20:47à l'I-A-Apocalypse
20:47ou est-ce qu'ils n'y croient pas,
20:48des scientifiques de l'IA,
20:49plusieurs centaines.
20:51En fait, on a tous les avis
20:53et ce que tous nous disent,
20:55c'est à 10 ans,
20:56ce qui se passera,
20:56on n'en sait rien.
20:57Ça, c'est difficile à dire.
20:58Après, à court terme,
21:00eux, pas moi,
21:01moi, je ne suis pas
21:01un chercheur en I-A,
21:02mais le consensus,
21:04c'était plutôt qu'à 3-5 ans,
21:06ils ne voyaient pas du tout
21:06ce type de scénario.
21:08Mais maintenant,
21:08on peut toujours dire
21:10et si, et si, et si.
21:12Mais à la fin,
21:14je ne suis pas sûr
21:15que ce soit très fécond
21:18en termes de ce qu'on peut en tirer.
21:21Je pense que vous mettez
21:22le doigt sur un point
21:23qui est hyper important.
21:24C'est-à-dire qu'on est
21:24dans une position
21:25très inconfortable,
21:26encore plus, Fred et moi,
21:27qui sommes des journalistes
21:29sur ce sujet-là
21:29parce que nous,
21:30quand on ne comprend pas
21:30un sujet, en général,
21:31on fait appel à des experts.
21:32On va appeler, effectivement,
21:33des chercheurs.
21:34Le problème,
21:35c'est exactement comme
21:35vous le disiez,
21:36que quand on appelle
21:37des chercheurs,
21:37ils nous disent tout
21:38et son contraire.
21:39Il y en a qui sont persuadés.
21:40Quand vous écoutez
21:41ce chercheur qui nous dit
21:42de chez Anthropique,
21:43qui est quand même quelqu'un
21:44d'assez capé,
21:45assez haut niveau,
21:4610% de risque
21:47d'extinction de l'humanité
21:48dans les 10 ans.
21:49Et puis d'autres,
21:49vous écoutez Yann Lequin
21:50qui vous dit
21:50tout ça, c'est n'importe quoi.
21:52On monte des trucs en épingle
21:53qui sont des éléments
21:56qui sont en laboratoire.
21:57Mais en fait,
21:57il ne va rien se passer.
21:58Mais comment est-ce que
21:59vous trouvez la vérité là-dedans ?
22:00C'est impossible, Fred.
22:01Comment on fait ?
22:02Comment vous faites ?
22:03Déjà, parce qu'on nous appartient
22:04à cet univers de la communication,
22:06on essaie aussi de voir
22:07un peu quelles sont
22:07toutes les ficelles
22:08de la communication
22:09de ces acteurs.
22:10Open AI, Anthropique,
22:12ils ont des entrées en bourse bientôt.
22:14Il faut rassurer quelque part
22:15les investisseurs
22:16en disant, regardez,
22:16on est quand même conscients
22:18de tous ces enjeux,
22:19mais regardez comme notre technologie
22:20est puissante.
22:21Ça, c'est là.
22:22Ça, ça rassure les investisseurs
22:23de dire qu'on a une IA
22:24qui est tellement puissante
22:25qu'elle pourrait ravager l'humanité ?
22:26Mais justement,
22:27ils jouent là-dessus.
22:28Et derrière,
22:29quelle est leur réponse tout de suite ?
22:30Et d'ailleurs, c'est pour ça
22:31qu'on pense qu'il faut mettre en place
22:32une sorte de police privée
22:33que nous allons maintenir.
22:35C'est nous qui allons
22:36monter toutes ces régulations.
22:37Ce qui leur permet
22:38de rassurer,
22:39de dire,
22:39comme c'est nous qui maîtrisons,
22:41on va pouvoir contrôler.
22:42Puis ça permet aussi,
22:43n'oublions pas,
22:44il y a des Chinois
22:44qui sont en train de développer
22:45pas mal de choses en ce moment,
22:47d'essayer de les tenir à l'écart
22:49parce qu'il y a aussi
22:49un fort élément concurrentiel
22:52autour de tout ça.
22:53Et donc, voilà,
22:54il y a aussi tout cet aspect
22:55communication.
22:56Moi, ce qui m'interroge toujours,
22:58on a Dario Amodi,
22:59il y a 15 jours,
23:00il nous dit,
23:01il faut ralentir.
23:02Hier avant-hier,
23:03qu'est-ce qu'on a ?
23:03On a version Opus 5.5 de Claude.
23:06Ah, encore plus puissante.
23:07Et alors,
23:08deux fois moins cher.
23:10On a dévisé par deux
23:11le coût des tokens.
23:12Donc, utilisez-la encore plus.
23:13Dans la foulée,
23:14GPT-6,
23:15la nouvelle version.
23:16Ah ben, nous aussi,
23:16deux fois plus puissante.
23:18Alors, on maîtrise mieux les risques,
23:19mais beaucoup moins cher.
23:20Donc, utilisez-la.
23:21Tu vois, tout ça.
23:22Et je relisais une interview
23:23de Dario Amodi
23:24qui disait, vous savez,
23:25il faut raison garder.
23:26Aujourd'hui, l'IA,
23:26ça doit servir
23:28pour la recherche médicale,
23:29les cancers.
23:30Ça doit servir pour le climat.
23:32Regardez tout ce qui se passe
23:33dans les catastrophes chirériques
23:33et pour les nouveaux matériaux.
23:35Il faut vraiment
23:35qu'on se concentre là-dessus.
23:36Et puis, à côté,
23:37c'est pour ça que c'est compliqué.
23:38Ils entretiennent aussi.
23:39Dario Amodi qui dit à côté...
23:41Qui est le patron d'anthropique.
23:42Le patron d'anthropique,
23:43il faut le rappeler.
23:43Dans 15 ans,
23:44on aura guéri toutes les maladies.
23:46En substance,
23:46mais c'est à peu près ça.
23:47C'est là où il y a
23:47cette communication
23:48en vie de ces gens-là.
23:50Donc, c'est ça qui est compliqué.
23:51parce qu'il nous reste 30 secondes
23:52avant la pub.
23:52Raphaël,
23:53ce côté marketing de la peur,
23:54ça, vous l'entendez aussi ?
23:55C'est-à-dire les géants de l'IA
23:56qui souffrent le chaud et le froid
23:58et qui ont aussi
23:59un intérêt économique
24:00qui est absolument énorme
24:01dans le fait de communiquer
24:02sur ces modèles toujours ?
24:03Je rejoins ce que disait Sylvain.
24:04Le débat sur le futur
24:06et la philosophie
24:06n'est pas très fécond
24:07quand on est dans une entreprise
24:08ou quand on est investisseur
24:10et qu'on doit se poser la question
24:11de la capacité des attaquants
24:12à accélérer leurs attaques
24:14et à exfiltrer de l'information.
24:16Maintenant,
24:16on peut l'exfiltrer
24:17avec ces modèles de frontières
24:18en quelques dizaines de minutes,
24:19en 10 minutes.
24:21Et de l'autre côté,
24:22côté défenseur,
24:22la question,
24:23c'est comment est-ce qu'on utilise
24:24ces technologies à bon escient ?
24:25Pas forcément en mettant l'humain
24:27en valideur systématique
24:28parce qu'au contraire,
24:29l'humain va s'habituer,
24:30il va s'automatiser
24:31en mettant l'humain en contrôleur,
24:33en juge,
24:33de ce que fait l'IA
24:34pour accélérer la défense.
24:36Et c'est cette asymétrie
24:37que nous, on veut combler.
24:38On n'est pas dans des discours catastrophistes,
24:40on est dans des discours
24:40disant attention
24:41à ce que les attaquants
24:42ne bénéficient pas
24:43plus rapidement
24:44que les défenseurs
24:44de ces innovations.
24:46Bon, des technos réalistes.
24:48Si vous étiez stressé
24:49par rapport à l'intelligence artificielle
24:50avant de commencer l'émission,
24:51j'espère que vous êtes un peu rassuré
24:53par ce que nous disent
24:54tous nos amis.
24:54Moi, je le suis un petit peu plus,
24:56je dois dire.
24:56On va continuer à en discuter,
24:57évidemment,
24:58on va avoir la pub
24:58dans quelques secondes,
24:59mais on va continuer à discuter
25:01du risque réel ou supposé
25:03que fait peser
25:04cette intelligence artificielle
25:05sur nous tous,
25:06sur nos entreprises.
25:07Et puis, on va se poser la question,
25:08est-ce qu'il faut ralentir
25:09et surtout,
25:09est-ce qu'on peut vraiment ralentir ?
25:11Allez, à tout de suite.