L'intégrale des Experts de l'IA du jeudi 24 septembre

BFM Business

Ce jeudi 24 septembre, Anthony Morel a reçu Sylvain Duranton, spécialiste de l'IA et directeur monde du BCG X, Raphaël Marichez, CSO France et Europe du Sud chez Palo Alto Networks, et Frédéric Simottel, journaliste BFM Business, dans l'émission Les Experts de l'IA sur BFM Business. Retrouvez l'émission du lundi au vendredi et réécoutez la en podcast.

Transcript

00:05Débat et controverse sur BFM Business, les experts de l'IA, Anthony Morel.

00:15Bonjour, bonjour à tous, ravi d'être avec vous dans un cadre exceptionnel.

00:19Aujourd'hui, on est au Stade Vélodrome de Marseille.

00:22Alors pas pour parler foot, pour parler intelligence artificielle.

00:25Oui, c'est ici que se déroule AIM, Artificial Intelligence Marseille.

00:30C'est le plus gros événement IA de la rentrée, organisé par BFM, la tribune.

00:35Alors on bouscule un tout petit peu la grille habituelle.

00:38Les experts se transforment en les experts de l'IA.

00:40Évidemment, vous retrouverez leur closier dès demain.

00:42Mais on voulait absolument profiter du fait qu'on a ici tous les spécialistes français de l'intelligence artificielle

00:48pour s'interroger sur ce qui est peut-être la question la plus vertigineuse du moment.

00:52Est-ce qu'on peut encore garder la main, garder le contrôle sur ces IA dont on nous dit qu

00:58'elles sont en train de devenir incontrôlables ?

01:00Alors évidemment, il y a eu énormément d'actu très anxiogène ces derniers jours depuis la démission de Jacob Coxon.

01:05Vous savez, ce chercheur chez Anthropique qui a expliqué que l'IA risquait, menaçait l'espèce humaine d'une certaine

01:12manière.

01:13Il y a un certain nombre de chercheurs qui lui ont emboîté le pas.

01:15Certains expliquent qu'on a un risque d'extinction de l'humanité de l'ordre de 10% dans la

01:18décennie.

01:19C'est quand même des scénarios absolument terrifiants. Des géants de l'IA qui nous disent, bah oui, ce serait

01:22pas mal de ralentir un tout petit peu.

01:24Les mêmes qui nous proposent chaque semaine des modèles toujours plus performants.

01:28Donc forcément, tout ça, ça pose énormément de questions.

01:31Et les débats se polarisent entre d'un côté les doomers, les tenants de l'apocalypse IA qui nous disent

01:36qu'on va tous mourir globalement.

01:37Et puis de l'autre côté, les technoptimistes qui nous expliquent que circuler, il n'y a rien à voir

01:42et qu'au contraire, il faut accélérer.

01:43On vous laisse poser absolument une heure pour réfléchir à ces questions, essayer de démêler le vrai du faux.

01:49Les experts de l'IA, c'est parti.

01:54Les experts de l'IA sur BFM Business.

02:01Et pour en discuter, trois experts pour m'accompagner.

02:05À ma droite, Sylvain Duranton.

02:06Bonjour Sylvain.

02:07Bonjour.

02:08Spécialiste de l'IA, directeur monde du BCGX.

02:11C'est l'entité tech du BCG qui notamment accompagne les entreprises dans toute la transformation numérique liée à l

02:16'intelligence artificielle.

02:18Donc il y a une réflexion évidemment sur l'IA et notamment sur les risques aussi que font peser toutes

02:23ces IA de plus en plus performantes sur les entreprises.

02:25On aura l'occasion d'en parler.

02:27On a Raphaël Marichet.

02:28Bonjour Raphaël.

02:29Bonjour Anthony.

02:30Raphaël Marichet qui est CSO, donc c'est Chief Security, Directeur Sécurité France, chez Palo Alto Networks qui est un

02:37géant mondial de la cybersécurité.

02:40Donc là aussi, réflexion autour de l'intelligence artificielle évidemment.

02:44Et puis Frédéric Simotel.

02:45Frédéric Simotel, bon je ne sais pas s'il faut le présenter évidemment quand vous écoutez BFM Business, vous tombez

02:49forcément à un moment ou un autre sur Frédéric Simotel.

02:51Voilà, là dans les experts de l'IA mais évidemment Tech & Co, Tech & Co Business et dès ce

02:56soir.

02:56Dès ce soir, François Sorel, Tech & Co, 19h, 20h30 et puis Tech & Co Business juste après.

03:03Donc on aura une grande soirée autour de l'IA.

03:06Mais c'est intéressant de vous avoir tous les trois parce que vous avez tous une réflexion et vous suivez

03:10l'IA au quotidien, toutes les actualités qu'on a connues ces dernières semaines.

03:13Je voulais commencer par ça, c'est-à-dire sur le constat avant de réfléchir à est-ce qu'on

03:17peut contrôler, comment ralentir, est-ce qu'il faut ralentir.

03:20Mais sur est-ce que vous avez pris comme moi une claque ces 15 derniers jours ou ces 30 derniers

03:25jours avec toutes les révélations qu'on a eues.

03:28Donc à partir de Jacob Coxon et puis ensuite toutes les alertes de sécurité qu'on a eues du côté

03:32d'OpenAI, d'Enthropic.

03:33Ou est-ce que vous dites finalement dans cette petite musique du risque existentiel de l'IA, ces business as

03:38usual, ça fait très longtemps qu'on en entend parler.

03:40Je commence avec vous Sylvain.

03:41Alors, petite claque, oui, comme tout le monde, en fait, la succession d'incidents qui ont été reportés par différents

03:48acteurs, l'accumulation, ça fait effectivement réfléchir.

03:52Alors maintenant, est-ce qu'on est au bord du Pidoum à 100% ? Je ne crois pas.

03:58Mais effectivement, une claque parce qu'on voit qu'on a des modèles, on le savait, mais là, on le

04:02voit en action.

04:03C'est-à-dire que les modèles, on ne peut pas leur imposer complètement les garde-fous qu'on attendait.

04:07Et ça, aujourd'hui, en matière de cybersécurité, on a vraiment un enjeu à court terme extrêmement important parce que

04:15des modèles de plus en plus puissants sont disponibles.

04:18Alors, on temporise un peu les sorties.

04:20Mythos, on a un petit peu calmé le jeu sur la vitesse de déploiement.

04:24Mais on a un enjeu de cybersécurité qui est très, très, très fort à court terme.

04:28Et c'est aussi un peu un rappel pour tout le monde.

04:30Comment est-ce qu'on s'assure qu'on bâtit des architectures, des systèmes qui nous permettent de contrôler au

04:36mieux, disons, ces techniques ?

04:38Mais Raphaël, moi, j'ai l'impression que pour la première fois, on verbalise de manière très claire ce risque

04:43existentiel dont on nous parlait depuis des années.

04:46Moi, j'avais l'impression d'un truc un peu théorique.

04:47C'est vrai qu'on entendait parler de ce risque d'une IA qui, un jour, pourrait devenir incontrôlable.

04:52Et là, on a quand même eu, en l'espace de 15 jours ou 3 semaines, plusieurs chercheurs de très

04:56haut niveau qui nous disent tous un peu la même chose,

04:59qui nous disent, bah oui, il y a un réel risque, finalement, sur l'avenir de l'humanité.

05:04Qu'est-ce que vous en pensez de ça ?

05:05Cette surprise, elle ne date pas d'il y a 15 jours.

05:08On a déjà vu, dès janvier 2026, ces hordes d'agents conversationnels qui ont généré leur propre réseau social,

05:15ces interactions entre des agents IA et des développeurs sur des forums de développeurs.

05:19Je pense que ce que vous voyez depuis 15 jours ou 3 semaines, ce sont des scientifiques, des chercheurs qui

05:25sortent un peu du bois.

05:26Mais ces menaces, ces dangers, ces inquiétudes, on les sentait déjà venir depuis plusieurs mois.

05:31Et c'est vrai qu'on a été, dans toute industrie, y compris la cyber, surpris par l'accélération de

05:37ces innovations

05:38et des conséquences de ces innovations sur les capacités.

05:41Alors, pas tant malveillantes, mais déjà de sortie de leur bac à stable, de sortie de leur sandbox.

05:47Et nous, en cyber, on se dit, mais si des individus malintentionnés ont accès à ces technologies,

05:52on a un problème d'asymétrie de la puissance.

05:54Oui, c'est ça.

05:55Fred, ça vous a surpris, vous, Frédéric, justement, tout ce qu'on a appris.

05:58Alors, c'est vrai que vous faites de la veille technologique sur ces sujets depuis quand même très, très longtemps.

06:02Donc, cette petite musique, vous l'aviez déjà entendue.

06:05Mais le fait que, de manière aussi claire, quand vous avez un chercheur d'anthropique qui dit,

06:09de manière très tranquille, on a un risque, on a 10% de risque d'extinction de l'humanité

06:14dans la décennie à cause de l'intelligence artificielle.

06:16Moi, quand j'ai lu ça, ça m'a terrifié.

06:17C'est ça.

06:18Vous voyez, toute une série de chocs.

06:20Très rapidement, en novembre 2002, sortie de chat de GPT, notre premier choc.

06:23On découvre cette IA.

06:24Ça va faire 4 ans, déjà.

06:25Le temps passe vite.

06:26Deuxième effet, c'était l'effet deep-sync.

06:28On s'est rendu compte que les Chinois, ils sont sortis du bois et ils pouvaient faire aussi bien,

06:32voire mieux, pour moins cher, etc.

06:34Troisième choc, c'était au début de l'été, avec Mythos et tout d'un coup,

06:38les Américains qui disent, tiens, on va fermer le robinet pour l'ensemble de l'Europe.

06:41Et là, on se dit, flûte, si un jour, ils font ça pour autre chose.

06:43Donc, on prend l'effet souveraineté.

06:45Et là, très rapproché, c'est vrai, tous ces risques.

06:47On s'était dit, l'année 2016, pour l'IA, ce sera l'année des risques,

06:50le cyber et de la souveraineté.

06:51Et des coûts, des tokens.

06:52C'est un peu les trois sujets.

06:55Et là, on voit ça ressortir.

06:56Alors, Jacob Coxon, c'est un jeune, 27 ans, pas tout à fait chercheur,

07:00parce qu'il n'a pas fait de travail de chercheur, mais enfin, c'est quand même un ingénieur

07:03qui avait quitté OpenAI pour, en se disant, oh là là, ils ne sont pas très éthiques,

07:06je vais aller chez Anthropique, puis ils se rendent compte qu'ils sont exactement pareils.

07:09Ce que l'on peut comprendre, ils sont tous formés dans les mêmes universités, dans le MADN.

07:13Je trouve que, inquiétant, non.

07:15Mais voilà, ça a été l'effet d'alerte.

07:17Et ça, c'est un élément important.

07:20Évidemment, il ne faut pas tout jeter, se dire, il faut stopper l'IA, etc.

07:22Ou ralentir.

07:23Mais un effet d'alerte, et ça permet un peu de prendre un peu de recul, de dire,

07:26oui, faisons un peu attention à ce que l'on fait, dans tous les domaines, que ce soit civil ou

07:30militaire.

07:31Mais alors, justement, Raphaël, vous qui êtes un expert en cybersécurité,

07:34moi, il y a un truc qui m'a frappé, c'est quand Dario Amodei,

07:36parce que ce discours, il a été tenu par des chercheurs,

07:38il est aussi tenu maintenant par les géants de l'IA eux-mêmes,

07:40Dario Amodei qui dit, il faut freiner, et on verra tout à l'heure,

07:43est-ce qu'il faut freiner, comment on fait, etc.

07:44Mais il explique, il donne un exemple très, très concret.

07:46Il dit, d'ici quelques mois, 6 à 12 mois,

07:49un essaim d'agent IA pourrait carrément prendre le contrôle d'Internet

07:53et générer des centaines de milliards de dollars de dégâts.

07:56Ça, est-ce que c'est quelque chose qui vous semble crédible,

07:58l'expert en cybersécurité que vous êtes ?

08:00Une IA qui prendrait le contrôle d'Internet ?

08:02La question est bien posée, parce qu'on va séparer

08:05les sujets philosophiques de l'humanité des sujets très entreprises,

08:08et Internet est quand même une construction fragile

08:10qui n'a pas été prévue, qui n'a pas été conçue

08:12pour faire face à des agents qui collaborent entre eux.

08:17On a vu ça depuis quelques semaines, on a été surpris

08:20de voir des agents collaborer entre eux,

08:21qui trouvent des canaux de communication cachés,

08:23qui arrivent à transmettre des instructions

08:25lorsqu'ils sont éteints par leur contrôleur,

08:27et qui connaissent tellement bien les interfaces de programmation,

08:31qui peuvent trouver des vulnérabilités.

08:33La difficulté, c'est ce qu'on appelle le désalignement des agents,

08:36c'est-à-dire que les agents, collectivement,

08:38vont se donner des objectifs, des sous-objectifs,

08:42pour parvenir à une quête, par exemple maximiser un score

08:45dans un benchmark.

08:46Et lorsque ces sous-objectifs sont désalignés

08:48avec l'intention humaine, parce qu'on n'est pas capable, nous en tant qu'humains,

08:51de leur transmettre toute la complexité de notre intention

08:54avec tout de l'écart de fou.

08:55Et nos valeurs, d'une certaine manière.

08:57En tout cas, la valeur de la vie humaine, en tout cas.

08:58Donner nos valeurs à des algorithmes, bon courage.

09:02Et ça, on est dans une finitude du contexte

09:05qu'on va fournir à ces agents.

09:06Et ces agents, quand on leur donne un objectif,

09:07ils vont essayer de l'atteindre par tous les moyens

09:09qui leur sont à disposition.

09:10L'Internet, le principe, c'est l'interconnexion.

09:12Donc, de fait, il est vulnérable.

09:14Mais alors, justement, parce qu'on parlait aussi du fait

09:17qu'on a des modèles de plus en plus puissants

09:19et qu'on a une course effrénée à l'intelligence artificielle.

09:21Là, ces géants de l'IA qui nous mettent en garde,

09:24ils sont aussi ceux qui conçoivent ces modèles

09:27qui vont devenir de plus en plus performants

09:28et qui vont même être capables de s'auto-améliorer.

09:30Il y a cette notion d'amélioration récursive.

09:33Qu'est-ce que ça veut dire concrètement

09:34et dans quel monde ça va nous amener ?

09:36L'amélioration récursive, c'est qu'à un moment donné,

09:39ces modèles progressent en apprenant de ce qu'ils font

09:41et des « feedbacks » qui reçoivent de leurs actions.

09:45Donc, effectivement, on est sur des systèmes

09:47qui sont de plus en plus complexes.

09:50Après, je pense que dans la question

09:51de s'il faut avoir peur ou pas peur de l'IA,

09:54il y a aussi une question sur

09:55est-ce que demain, les agents qui sont dans les entreprises,

09:58on va les voir soudainement sortir de leur cage

10:01ou leur bac à sable, attaquer l'entreprise

10:04ou les choses à l'intérieur de l'entreprise.

10:05Là-dessus, je pense qu'on est loin de ce risque

10:09dans la plupart des entreprises

10:10parce que ce qui a été déployé,

10:11ce n'est pas des agents autonomes,

10:13c'est des choses plus simples, très cadrées, etc.

10:16La difficulté, c'est que plus on va déployer

10:18des modèles avancés,

10:20plus on a le risque d'avoir une espèce

10:21d'ennemi cyber de l'intérieur.

10:24Et autant, ça fait des années

10:25qu'on réfléchit à comment est-ce qu'on se protège,

10:27comment est-ce qu'on compartimente nos réseaux

10:29face à des attaques possibles,

10:31on s'assure que si quelqu'un pénètre notre réseau,

10:33on va compartimenter les choses, etc.

10:36On a aussi un peu une espèce de question

10:38de cybersécurité de l'intérieur

10:41compte tenu de ce qu'on va développer,

10:43de ce qui va être mis en place

10:44parce qu'il faut s'assurer

10:45qu'on a les mêmes procédures d'identification

10:48et d'autorisation des agents.

10:50Et on a tout un arsenal à mettre en place

10:53pour s'assurer qu'on est sécurisé

10:56par rapport à ce qu'on va déployer

10:58dans les années qui viennent.

10:58On a quand même pratiquement

11:00la moitié des entreprises qui nous disent

11:02qu'on veut arriver à la décision autonome

11:04d'ici 2030, en partie, dans l'activité.

11:08Là, je pense qu'aujourd'hui, on n'est pas prêts.

11:10Oui, c'est ça.

11:12Frédéric et Raphaël, je le ferai réagir aussi

11:14parce que ça devient compliqué.

11:16Si les entreprises, il faut qu'elles pensent

11:17en termes de cyber à un ennemi

11:19qui pourrait être de l'intérieur

11:20de leur propre intelligence artificielle...

11:22Bon courage !

11:23Imagine, je prends une des grandes...

11:25Je parle d'eux

11:26parce que je connais à peu près

11:27leur nombre d'employés,

11:27mais prends BNP Paribas, 200 000 salariés,

11:29s'ils s'amusent tous,

11:31si chacun crée juste deux agents,

11:34on va arriver à 600 000 salariés,

11:37enfin 600 000 identités à gérer.

11:40Ce n'est plus la même histoire

11:41déjà en termes d'infrastructures,

11:42mais ce n'est plus la même histoire

11:43en termes de cybersécurité.

11:44Et ça, je crois qu'on n'y réfléchit pas assez.

11:47C'est bien de créer des agents et tout ça.

11:49Et surtout, aujourd'hui, moi, le risque,

11:52c'est très bien, on forme beaucoup les salariés.

11:54C'est ce qu'il faut faire.

11:55Vraiment, il faut que tout le monde s'y mette.

11:56De toute façon, les gens le font chez eux,

11:58donc ils vont arriver à le faire au bureau.

12:00Mais je trouve que dans les entreprises,

12:01on ne surveille pas assez tout ça.

12:03On est beaucoup, nous les premiers,

12:05si notre DSI nous regarde,

12:07à utiliser autre chose que l'IA d'entreprise,

12:11à récupérer.

12:11Alors nous, nos données,

12:12c'est de la recherche.

12:13On est journaliste,

12:14mais imaginons pour des financiers,

12:16qui mettent des données stratégiques.

12:17Et ça aussi, c'est une alerte.

12:18Et je trouve, j'en parle avec pas mal

12:21de patrons informatiques,

12:22de patrons digitales.

12:23Et ils sont un peu soucieux de ça,

12:25parce qu'ils savent que leurs salariés

12:26travaillent à côté avec du chat de GPT,

12:28du cloud et tout ça.

12:29Et peut-être pas avec l'éthique

12:30qu'il faudrait autour des données.

12:32Donc déjà, les données qui sortent,

12:33et puis ensuite, créer des agents

12:34et ne pas savoir ce qu'ils pourraient faire à l'intérieur.

12:36Un mot, Raphaël,

12:37et après, j'aurai des questions très naïves

12:38à vous poser,

12:39mais qui me semblent importantes.

12:40Allez-y.

12:41Déjà, je voudrais revenir sur le vocabulaire.

12:42L'ennemi, ce n'est pas la technologie.

12:44Ça dépend comment on la programme,

12:45comment on la dizaine,

12:46ce qu'on en fait.

12:46La technologie, elle est duale.

12:48Elle peut apporter des politiques.

12:49Mais c'est parce qu'un programmeur derrière,

12:51il y a un humain qui lui a donné des instructions.

12:53Il lui a donné des garde-fous,

12:54qui lui a donné un cadre d'exécution.

12:57Les salariés, on les forme.

12:58Je vais prendre l'exemple des...

13:00Les humains aussi peuvent être malicieux.

13:01Un humain peut se retourner contre son employeur

13:03s'il n'est pas content de sa paie

13:04ou d'une absence de promotion.

13:06Est-ce qu'on forme ?

13:07Est-ce qu'on donne de la sensibilisation aux stagiaires

13:09qui restent trois mois dans l'entreprise ?

13:10Généralement, non.

13:11Il faut considérer les agents IA

13:12comme des collaborateurs de niveau stagiaire

13:14qui ne dorment pas, d'ailleurs,

13:15qui vont travailler 24-7,

13:17mais qu'en fait, on aura oublié de sensibiliser.

13:20Donc, quand on leur donne des droits,

13:21quand on leur donne des privilèges,

13:22il faut se poser la question de l'intention

13:23pour quoi faire.

13:24Et moi, j'ai plus la crainte,

13:26non pas d'un agent qui se rebelle,

13:28ça n'existe pas,

13:29mais de la prise de contrôle extérieure

13:31par ce qu'on appelle des skills,

13:32par exemple, dans les agents,

13:33les compétences des agents,

13:34de la prise de contrôle extérieure

13:35d'un agent dans l'entreprise

13:36pour des intentions malicieuses

13:38qui sont bien pilotées par un humain à l'extérieur.

13:41Je reviens à notre question

13:42de perte de contrôle

13:43et de risque existentiel.

13:44Et pardon, l'idée de l'émission,

13:46ce n'est pas forcément d'être

13:46encore plus anxiogène

13:47que l'actu du moment.

13:48Et on rappelle qu'évidemment,

13:49l'IA, il y a des choses

13:50absolument formidables.

13:52Et on va en reparler

13:52dans le domaine de la santé,

13:54de la science des matériaux.

13:55Enfin voilà.

13:55Et il faudra peut-être se poser la question

13:57d'ailleurs du coût avantage,

13:58en fait, ou du coût bénéfice

14:01entre les risques potentiels

14:02et puis les gains qu'on peut en tirer.

14:04Mais il y a une question

14:05qui revient très très souvent

14:06sur les réseaux sociaux

14:07et qui paraît parfois assez naïf.

14:09Mais si l'IA vraiment

14:10voulait se retourner contre l'humain

14:12et qu'on en perdait le contrôle,

14:14qu'est-ce qu'elle ferait concrètement ?

14:15C'est-à-dire comment est-ce

14:16qu'elle s'y prendrait

14:17pour nous faire du mal ?

14:19Parce qu'on se dit,

14:20voilà, l'IA, c'est des data centers.

14:21Finalement, il suffit

14:22de débrancher la prise.

14:23Est-ce que c'est plus compliqué que ça ?

14:25Moi, ce que je pense,

14:26et ça rejoint un petit peu

14:27ce qui a été dit,

14:28c'est qu'à très court terme,

14:31le risque principal,

14:32c'est des gens mal intentionnés

14:33qui utilisent l'IA pour attaquer.

14:36Je ne pense pas que ce soit

14:37l'IA toute seule

14:38qui se met à attaquer.

14:40C'est un petit peu ce que je disais

14:40aujourd'hui,

14:41ce qui a été déployé dans l'entreprise.

14:42Je ne le vois pas

14:42se retourner contre l'entreprise.

14:46En revanche, oui,

14:46en entreprise, il faut mettre,

14:47surtout si on va vers l'autonomie

14:49des décisions,

14:49beaucoup plus de garde-fous.

14:51Mais aujourd'hui,

14:51le principal risque,

14:52c'est des gens mal intentionnés

14:54qui utilisent ces modèles

14:55pour attaquer.

14:56Pour moi, c'est ça,

14:57à très court terme,

14:58là, maintenant,

14:58ce qui peut se passer.

14:59C'est vrai que,

15:00alors ça me fait penser

15:01à un rapport qui a été publié

15:02par Anthropique,

15:03vous avez dû le voir

15:03il y a quelques jours,

15:04qui dit précisément ça,

15:06qui recensait

15:07toutes les utilisations

15:08les plus dangereuses

15:09et les plus extrêmes

15:10de Claude,

15:11de leur IA,

15:11mais par des êtres humains,

15:13c'est-à-dire pas en mode

15:13autonome, etc.,

15:14et qui lui disait

15:15qu'il y avait des scientifiques

15:16qui utilisaient Claude

15:17pour essayer de faire

15:18des gains de fonction,

15:19d'améliorer des virus

15:20comme le chikungunya,

15:21de les rendre plus transmissibles,

15:22des États qui s'en servaient

15:24pour essayer de concevoir

15:25des systèmes de surveillance

15:26absolument incroyables

15:27pour intercepter

15:27n'importe quel appel.

15:28La menace la plus immédiate,

15:32non pas autonome

15:33qui nous voudrait du mal,

15:34mais ce que peuvent faire

15:36les hommes avec l'IA

15:37de nuisible ?

15:38On l'a vu récemment

15:39dans les domaines militaires,

15:40ce qu'ont fait

15:42les Iraniens,

15:42ils ont essayé

15:44tout un tas de process

15:45avec l'IA

15:46pour voir comment contrer

15:47les missiles,

15:48comment rendre nos missiles

15:49plus performants,

15:49comment trouver,

15:51rendre une maintenance

15:52plus efficace.

15:53Ils s'en sont servis,

15:54eux,

15:55à des niveaux militaires.

15:57Mais c'est toujours l'homme

15:58qui, au départ,

15:59fait le prompt.

15:59Ce n'est pas le missile

16:00qui s'est dit

16:01« Tiens, comment je vais faire

16:01pour être un peu plus

16:03destructeur ? »

16:05Mais encore une fois,

16:05pour l'instant,

16:06si on se projette un peu

16:07sur ces IA

16:08avec de l'amélioration

16:10autorécursive

16:10qui pourraient,

16:11on commence à le voir.

16:12C'est-à-dire qu'on a l'impression

16:13qu'on a eu des incidents

16:14de sécurité,

16:15je parle sous votre contrôle,

16:16Raphaël,

16:16où des IA qui n'étaient pas

16:17censés se connecter à Internet

16:18ont réussi à se connecter

16:19à Internet,

16:20à lancer des attaques

16:21sur des entreprises

16:22de manière autonome,

16:23là, il n'y a pas

16:24de prompt au départ

16:25qui demande à l'IA

16:26de faire ça.

16:26Moi, c'est ça

16:27qui m'interroge

16:29sur les années qui viennent ?

16:30On leur a donné

16:31un cadre de travail,

16:32on leur a demandé

16:33d'être un objectif

16:33qui était de maximiser

16:34un score,

16:35ils ont cherché à tricher

16:36pour maximiser le score.

16:37Il n'y a pas de valeur,

16:38il n'y a pas de volonté

16:39de hacker,

16:40il n'y a pas de volonté

16:40de faire du mal

16:41ou de la nuisance

16:41dans un algorithme,

16:42il n'y a pas d'intention.

16:43Nous, en cybersécurité,

16:44ce qu'on cherche à détecter

16:45quand on observe

16:46des comportements,

16:47c'est l'intention présumée

16:48de celui qui pilote

16:49cet algorithme,

16:49qui n'est pas forcément

16:50dans l'entreprise,

16:51qui peut être à l'extérieur.

16:52Si l'intention est désalignée

16:53par rapport à des objectifs

16:55de protection des données

16:56ou de protection

16:57de la chaîne opérationnelle,

16:58de la chaîne de production

16:59de l'entreprise,

17:00là, ces agents,

17:00il faut effectivement les tuer.

17:02C'est une question

17:02de détection comportementale,

17:04mais il ne faut pas faire

17:05d'anthropomorphisme

17:06non plus sur ces agents.

17:07Oui, alors c'est ça,

17:07ça c'est un point très important

17:08l'anthropomorphisme,

17:09donc c'est le fait

17:10de donner à la machine

17:11ou de prêter à la machine

17:12des caractéristiques

17:13ou des sentiments

17:14qui sont purement humains.

17:16Évidemment, l'IA

17:16ne nous veut pas de mal.

17:18Ça semble complètement idiot

17:20de le dire comme ça,

17:20mais c'est instinctivement

17:22on pourrait dire ça.

17:22C'est un outil

17:23et tout le monde pense

17:24à l'incident Hugging Face.

17:25Quand on voit l'analyse

17:26qu'il y avait faite

17:26de tous les logs

17:27de ce qui s'était passé

17:29lors de cet incident,

17:30jamais l'idée de se dire

17:33on va faire du mal

17:34a été venue.

17:35Il y a un grader

17:36qui donne des notes

17:37en fonction de ce qui est réussi

17:38ou pas.

17:39Ils ont maximisé les notes.

17:40Ce faisant,

17:41ils ont laissé tomber

17:42certains des gardes rails

17:43et ça c'est un des sujets scientifiques.

17:44Les garde-fous.

17:45Aujourd'hui, les garde-fous

17:46ne sont pas tous respectés

17:47mais le but,

17:48c'était simplement

17:49de maximiser la note

17:51qu'on aurait face

17:52à l'expérimentation

17:54qui était faite.

17:55Ce n'est pas malin.

17:56Oui, c'est ça.

17:57C'est intéressant ce que vous dites.

17:58Raphaël, rappelle.

17:59Pour autant,

18:00ce sujet de recherche

18:01nous a quand même éclairé

18:02sur la capacité

18:03de 700 agents

18:04de manière autonome

18:04à se coordonner

18:05pour aligner leur intention,

18:07leur sous-objectif

18:08pour effectivement

18:08on va dire

18:09attaquer entre guillemets

18:10Hugging Face,

18:10en fait tricher aux examens.

18:12Ça pose la question

18:13de l'asymétrie,

18:14de la puissance,

18:15du pouvoir.

18:16Si ces technologies

18:16tombent entre les mains

18:17des adversaires,

18:18de nos adversaires,

18:19des attaquants humains,

18:20aujourd'hui ce qu'on voit

18:21c'est que ces technologies

18:22sont susceptibles

18:23d'abaisser

18:24la différence

18:25entre un attaquant expert

18:27de niveau étatique,

18:28chevronné,

18:28et un attaquant individuel

18:30qui va prompter

18:31pour faire la même chose

18:32et là pour le coup

18:33à titre malveillant

18:34contre une entreprise

18:35et c'est ça

18:36qu'on doit ralentir.

18:37C'est l'accès

18:38par les attaquants

18:39à ces technologies

18:40de frontière

18:41et nous on veut plutôt

18:42que ce soit

18:42les défenseurs

18:43qui se les accaparent

18:45en premier

18:45et qui les utilisent

18:46en premier.

18:46Mais si on donne

18:47un objectif à l'IA

18:48et que le moyen

18:49le plus simple

18:50d'atteindre l'objectif

18:51c'est de nuire

18:52à l'être humain.

18:52Vous savez l'exemple classique

18:54c'est je lui demande

18:56de générer des solutions

18:58pour le réchauffement climatique.

18:59Bon la solution

19:00la plus simple

19:00c'est d'exterminer

19:01la race humaine

19:02parce que voilà

19:02comme ça

19:03il n'y aura plus

19:03ou beaucoup moins

19:04de réchauffement climatique.

19:04On l'a déjà vu

19:04dans les expérimentations militaires

19:06ils avaient fait

19:06des batailles navales.

19:07Non mais c'est ça

19:07et donc là du coup

19:08comment on fait ?

19:09Parce que l'IA

19:09pour le coup

19:10elle a son objectif

19:11elle va tout faire

19:13pour atteindre son objectif

19:14mais l'obstacle

19:15c'est l'être humain

19:15et là on est dans l'inconnu.

19:17Deux réponses

19:18le contrôle

19:19et la responsabilité

19:20mais la responsabilité

19:21au sens de redevabilité.

19:22Il y a toujours un humain

19:23une chaîne de décision humaine

19:24derrière

19:24qui est responsable

19:25de avoir mis en place

19:26ce système.

19:27Et le contrôle

19:28le contrôle unifie centralisé

19:29pour observer

19:30le comportement de ces agents

19:31et de dire

19:31à quel moment

19:32il se désaligne

19:33par rapport à l'intention

19:33qui a été annoncée

19:34par l'humain au début.

19:35Fred tu voulais

19:36dire quelque chose ?

19:37J'avais un exemple militaire

19:38il y a un an et demi

19:39j'avais discuté

19:39avec des militaires

19:41qui me disaient

19:41justement

19:41ils avaient fait

19:41une sorte de bataille navale

19:43et l'IA gagnait toujours

19:45ils se posaient la question

19:46de savoir

19:46et en fait

19:46ils se rendaient compte

19:47que l'IA

19:48elle a batté ses bateaux

19:49et dit

19:49tiens j'ai deux frégates

19:50qui me ralentissent

19:51et ça ne me permet pas de gagner

19:52elle tirait dessus

19:53ce qu'on ne ferait jamais

19:53évidemment

19:54et c'est là où ils se disent

19:55c'est tous ces garde-fous

19:56l'exemple est un peu grossier

19:58mais il a vraiment existé

19:59et c'est là

20:00où il faut mettre en place

20:01ces garde-fous

20:01et c'est à ça qu'il faut penser

20:02c'est pour ça que l'humain

20:03a la réflexion humaine

20:05mais même cédé de l'IA

20:06pour dire

20:07quelles sont les limites

20:09à ne pas dépasser

20:10c'est ça qui est important

20:10Je pense que c'est au-delà

20:11des garde-fous

20:12c'est-à-dire aussi

20:13quel problème

20:14on veut faire résoudre à l'IA

20:15si on dit à l'IA

20:16comment sauver la planète

20:17du climat

20:18je pense qu'on rentre

20:19dans un truc

20:20où effectivement

20:20tout et n'importe quoi

20:21peut sortir

20:22Oui bien sûr

20:22voilà c'est un exemple

20:23un peu extrême

20:24Oui mais c'est pas si extrême

20:25que ça

20:26parce qu'en entreprise

20:26il y a aussi une question

20:27qui est

20:28est-ce que je préfère

20:30un agent complètement universel

20:31à qui je vais poser

20:33je vais faire faire des choses

20:34assez compliquées

20:35de façon autonome

20:36ou au contraire

20:37est-ce que je vais découper ça

20:38dans une série de tâches

20:39qui va être assez déterministe

20:41et je laisse des choses

20:42beaucoup plus précises

20:44et circonscrites

20:44à faire aux agents

20:46et il y a une vraie différence

20:47d'état d'esprit

20:48dans la façon

20:48dont on peut architecturer

20:50ces systèmes

20:51on peut le faire

20:52de façon qui donne

20:53beaucoup plus de marge

20:54de manœuvre à l'IA

20:55ou beaucoup moins

20:56et après de toute façon

20:58les garde-fous

20:59on pourra pas imaginer

21:01tout ce qu'on veut

21:01et on n'est jamais certains

21:02qu'ils seront complètement

21:03appliqués

21:04parce que les modèles

21:07re-hierarchisent

21:08par rapport

21:10à leur objectif

21:11Raphaël

21:11je pense qu'on fait

21:12trop de focus

21:13sur les modèles

21:13et les agents

21:14et ce que tu évoques

21:15Sylvain

21:15ça me fait penser

21:16à ce qu'on appelle

21:16les harnais

21:17dans les IA

21:18quand on met en place

21:18un harnais

21:19pour orchestrer des agents

21:20pour orchestrer des IA

21:21c'est là qu'on donne

21:22le contexte

21:22c'est là qu'on donne

21:23les objectifs

21:24c'est là qu'on donne

21:24les cadres

21:25les limites d'action

21:26et par exemple

21:27quand on demande

21:27à des agents IA

21:29de doper

21:30au modèle de frontière

21:31type Mythos

21:32de tester les vulnérabilités

21:33de nos propres produits

21:34avant de les mettre

21:34sur le marché

21:35c'est un usage très vertueux

21:36il faut qu'on le fasse

21:37il faut que tout le monde le fasse

21:38toutes les entreprises

21:38devraient le faire

21:39effectivement ça pose

21:40la question de comment

21:41construire son harnais

21:42pour pas que l'agent déborde

21:44et aille attaquer

21:45d'autres entités

21:46qui ne sont pas

21:46sur notre responsabilité

21:47ça on a appris à le faire

21:49depuis avril

21:50que Mythos est arrivé

21:51on a appris à le faire

21:52c'est un savoir-faire

21:53c'est même je dirais

21:53un savoir-faire-faire

21:54parce qu'on fait faire

21:55à des agents

21:55et il faut savoir

21:57comment faire faire

21:57à des agents

21:58c'est un savoir-faire-faire

21:59qui est précieux

22:00qu'on doit aussi transmettre

22:01qu'on doit former

22:02on doit former aujourd'hui

22:03les ingénieurs

22:04à harnaisser

22:05pardon pour le néologisme

22:07des IA

22:08à les orchestrer

22:09à mettre un harnais

22:10autour de ces agents IA

22:12c'est l'avenir

22:13de l'orchestration

22:14de ces IA

22:14ok alors il y a une question

22:16quand même

22:16vous avez compris

22:17je me fais un petit peu

22:18l'avocat de viable

22:18je vous trouve très tempéré

22:19je m'attendais à ce qu'il y ait

22:20au moins un doomer

22:21comme on dit

22:22un tenant de l'i-apocalypse

22:24comme on dit maintenant

22:25là je vous trouve

22:26effectivement

22:27ça me rassure un petit peu

22:28d'une certaine manière

22:28si tu veux

22:29je pense que

22:29l'i-apocalypse

22:31c'est presque un sujet

22:33de conviction

22:34plus que de fait établi

22:36nous on a fait une étude

22:37on a demandé

22:37à tout un tas de chercheurs

22:38est-ce qu'ils croient

22:39à l'i-apocalypse

22:39ou est-ce qu'ils n'y croient pas

22:40des scientifiques de l'IA

22:41plusieurs centaines

22:42en fait

22:43on a tous les avis

22:45et

22:46ce que tous nous disent

22:47c'est

22:47à 10 ans

22:48ce qui se passera

22:48on n'en sait rien

22:49ça c'est difficile à dire

22:50après à court terme

22:52eux

22:52pas moi

22:53moi je ne suis pas

22:53un chercheur en IA

22:54mais le consensus

22:56c'était plutôt

22:56qu'à 3-5 ans

22:58ils ne voyaient pas du tout

22:59ce type de scénario

23:00mais maintenant

23:00on peut toujours dire

23:02et si

23:03et si

23:03mais à la fin

23:06je ne suis pas sûr

23:07que ce soit

23:09très fécond

23:10en termes de ce qu'on peut

23:11en tirer

23:12et

23:13je pense que vous mettez

23:14le doigt sur un point

23:15qui est hyper important

23:16c'est-à-dire qu'on est

23:16dans une position

23:17très inconfortable

23:18encore plus

23:19Fred et moi

23:19qui sommes des journalistes

23:21sur ce sujet-là

23:21parce que nous

23:22quand on ne comprend pas

23:22un sujet

23:23en général

23:23on fait appel à des experts

23:24on va appeler effectivement

23:25des chercheurs

23:26le problème

23:26c'est exactement

23:27comme vous le disiez

23:28que quand on appelle

23:29des chercheurs

23:29ils nous disent

23:30tout et son contraire

23:31il y en a qui sont persuadés

23:32enfin quand vous écoutez

23:33ce chercheur

23:34qui nous dit

23:34de chez Anthropique

23:35qui est quand même

23:36quelqu'un d'assez capé

23:37assez haut niveau

23:3710% de risque

23:39d'extinction de l'humanité

23:40dans les 10 ans

23:41et puis d'autres

23:41vous écoutez Yann Lequin

23:42qui vous dit

23:43tout ça c'est n'importe quoi

23:44on monte des trucs

23:45en épingle

23:45qui sont des éléments

23:48qui sont en laboratoire

23:49mais en fait

23:49il ne va rien se passer

23:50mais comment est-ce

23:51que vous trouvez

23:52la vérité là-dedans

23:52c'est impossible

23:53Fred comment on fait

23:54comment vous faites

23:55déjà parce qu'on appartient

23:56à cet univers

23:57de la communication

23:57on essaie aussi

23:58de voir un peu

23:59quelles sont toutes

24:00les ficelles

24:00de la communication

24:01de ces acteurs

24:02OpenAI

24:03Anthropique

24:04ils ont des entrées

24:04en bourse bientôt

24:05il faut rassurer

24:07quelque part

24:07les investisseurs

24:08nous disons

24:08regardez

24:08on est quand même

24:09conscient de tous ces enjeux

24:11mais regardez

24:11comme notre technologie

24:12est puissante

24:12ça c'est là

24:13ça ça rassure les investisseurs

24:15de dire

24:15on a une IA

24:16qui est tellement puissante

24:17qu'elle pourrait ravager

24:17l'humanité

24:18mais justement

24:19ils jouent là-dessus

24:20et derrière

24:21quelle est leur réponse

24:22tout de suite

24:22et d'ailleurs c'est pour ça

24:23qu'on pense qu'il faut

24:23mettre en place

24:24une sorte de police privée

24:25mais que nous allons

24:27maintenir

24:27c'est nous qui allons

24:28monter toute cette régulation

24:29ce qui leur permet

24:30de rassurer

24:31de dire

24:31comme c'est nous

24:32qui maîtrisons

24:33on va pouvoir contrôler

24:34puis ça permet aussi

24:35n'oublions pas

24:35il y a des Chinois

24:37qui sont en train

24:37de développer pas mal

24:38de choses en ce moment

24:39d'essayer de les tenir

24:40à l'écart

24:41parce qu'il y a aussi

24:41un fort élément

24:42concurrentiel

24:46tout cet aspect communication

24:47moi ce qui m'interroge toujours

24:50on a Dario Amodi

24:51il y a 15 jours

24:52il nous dit

24:53il faut ralentir

24:54hier avant-hier

24:55qu'est-ce qu'on a ?

24:56on a version Opus 5.5

24:57de Claude

24:58encore plus puissante

24:59et alors

25:00deux fois moins cher

25:02on a dévisé par deux

25:03le coût des tokens

25:04donc utilisez-la encore plus

25:05dans la foulée

25:06GPT-6

25:07la nouvelle version

25:08nous aussi

25:08deux fois plus puissante

25:10alors on maîtrise mieux

25:11les risques

25:11mais beaucoup moins cher

25:12donc utilisez-la

25:13tu vois tout ça

25:14et je relisais

25:15une interview

25:15de Dario Amodi

25:16qui dit

25:16vous savez

25:17il faut raison garder

25:18aujourd'hui l'IA

25:18ça doit servir

25:20pour la recherche médicale

25:21les cancers

25:22ça doit servir

25:22pour le climat

25:24regarder tout ce qui se passe

25:25dans les catastrophes

25:25et pour les nouveaux matériaux

25:27il faut vraiment

25:27qu'on se concentre là-dessus

25:28et puis à côté

25:29c'est pour ça que c'est compliqué

25:30ils entretiennent aussi

25:31Dario Amodi

25:32qui dit à côté

25:33le patron d'anthropique

25:35il faut le rappeler

25:35dans 15 ans

25:36on aura guéri

25:36toutes les maladies

25:38en substance

25:38mais c'est à peu près ça

25:39c'est là où il y a

25:40cette communication

25:40en milieu de ces gens-là

25:42donc c'est ça

25:42d'un mot

25:43parce qu'il nous reste

25:4330 secondes avant la pub

25:44Raphaël

25:45ce côté marketing de la peur

25:46ça vous l'entendez aussi

25:47c'est à dire

25:47les géants de l'IA

25:49qui souffrent

25:50le chaud et le froid

25:51et qui ont aussi

25:51un intérêt économique

25:52qui est absolument énorme

25:53dans le fait de communiquer

25:54sur ces modèles

25:55toujours moins puissants

25:55je rejoins ce que disait Sylvain

25:56le débat sur le futur

25:58et la philosophie

25:58n'est pas très fécond

25:59quand on est dans une entreprise

26:00ou quand on est investisseur

26:02et qu'on doit se poser la question

26:03de la capacité des attaquants

26:05à accélérer leurs attaques

26:06et à exfiltrer de l'information

26:08maintenant on peut l'exfiltrer

26:09avec ces modèles de frontières

26:10en quelques dizaines de minutes

26:11en 10 minutes

26:12et de l'autre côté

26:14côté défenseur

26:14la question c'est

26:15comment est-ce qu'on utilise

26:16ces technologies

26:16à bon escient

26:17pas forcément en mettant l'humain

26:19en valideur systématique

26:20parce qu'au contraire

26:21l'humain il va s'habituer

26:22il va s'automatiser

26:25de ce que fait l'IA

26:26pour accélérer la défense

26:28et c'est cette asymétrie

26:29que nous on veut combler

26:30on n'est pas dans des discours

26:31catastrophistes

26:32on est dans des discours

26:32disant attention

26:33à ce que les attaquants

26:34ne bénéficient pas

26:35plus rapidement

26:36que les défenseurs

26:37de ces innovations

26:38des technos réalistes

26:40si vous étiez stressé

26:41par rapport à l'intelligence

26:42artificielle

26:42avant de commencer l'émission

26:43j'espère que vous êtes

26:44un peu rassuré

26:45par ce que nous disent

26:46tous nos amis

26:46moi je le suis un petit peu plus

26:48je dois dire

26:48on va continuer à en discuter

26:49évidemment

26:50on va avoir la pub

26:50dans quelques secondes

26:51mais on va continuer

26:53à discuter du risque

26:54réel ou supposé

26:55que fait peser

26:56cette intelligence artificielle

26:57sur nous tous

26:58sur nos entreprises

26:59et puis on va se poser la question

27:00est-ce qu'il faut ralentir

27:01et surtout

27:01est-ce qu'on peut vraiment ralentir

27:03allez à tout de suite

27:10débat et controverse

27:11sur BFM Business

27:12les experts de l'IA

27:14Anthony Morel

27:18allez c'est reparti

27:19pour cette émission spéciale

27:20depuis le stade Vélodrome

27:22de Marseille

27:22à l'occasion

27:23d'AIM Artificial Intelligence

27:25Marseille

27:25le plus grand

27:26événement

27:27il y a de la rentrée

27:28organisé par BFM

27:29La Tribune

27:29on est dans un cadre

27:30exceptionnel ici

27:31c'est vrai qu'on bouscule

27:32un petit peu la grille habituelle

27:33vous inquiétez pas

27:33vous retrouverez leur closier

27:34dès demain évidemment

27:35on continue à s'interroger

27:37sur l'intelligence artificielle

27:40la question la plus importante

27:41du moment

27:41sur la perte de contrôle

27:42potentielle

27:43est-ce qu'il y a une menace

27:44réelle ou supposée

27:45est-ce qu'on joue à se faire peur

27:46avec l'intelligence artificielle

27:47et est-ce qu'il faut ralentir

27:49c'est ce que semblent dire

27:49en tout cas tous les géants de l'IA

27:51on a eu Anthropik

27:52qui a commencé à dire

27:53bah oui ce serait bien

27:53d'appuyer sur la pédale de frein

27:55on a eu Open AI

27:56Elon Musk aussi

27:58qui ont acquiescé

27:59d'une certaine manière

28:00une rare unanimité

28:01dans le secteur

28:02quand même il faut le noter

28:04je voulais vous poser la question

28:05sur votre conviction profonde

28:06tiens si je vous donnais

28:07un bouton magique là

28:08vous pouvez appuyer dessus

28:09et pendant un an

28:10tout s'arrête

28:11voilà

28:11tous les développements

28:12de l'intelligence artificielle

28:13tout le monde joue le jeu

28:14les chinois

28:15les américains

28:16tous les grands laboratoires

28:17de recherche

28:17tout s'arrête

28:18le temps de réfléchir

28:19à où est-ce qu'on va

28:20avec cet IA

28:21vous le faites ou vous le faites pas

28:22Sylvain Duranton

28:23je vous ai pas représenté

28:24Sylvain Duranton

28:24de BCGX

28:25alors

28:27tout dépend de ce qu'on appelle

28:28développement

28:29parce que pour moi

28:29il y a plusieurs choses

28:31aujourd'hui est-ce que les entreprises

28:32doivent faire une pause

28:33dans le déploiement

28:34de leurs IA

28:35je ne crois pas

28:36parce que je pense

28:37qu'il y a moyen

28:37de déployer des choses

28:38en sécurité

28:39et on reviendra sur la place

28:40que la sécurité prend

28:41dans le discours IA

28:42par rapport au reste

28:43et ça a été un peu

28:44l'angle mort des dernières années

28:45mais je pense que les entreprises

28:46vont continuer

28:48sur la recherche elle-même

28:51j'ai du mal à imaginer

28:53ce que serait

28:53qu'une pause

28:54est-ce qu'on dit aux chercheurs

28:55vous cherchez moins vite

28:56avant vous cherchez vite

28:58est-ce qu'on dit

28:59on dit à tous les chercheurs

29:00vous arrêtez

29:01mais certains continueront

29:02de toute façon

29:03je suis moins sûr là-dessus

29:04là où en revanche

29:05j'imagine qu'on pourrait

29:07peut-être un peu décélérer

29:08c'est sur toutes les publications

29:10de nouveaux modèles

29:11si on compare avec

29:12le monde du SaaS

29:13quand SAP ou Salesforce

29:16prévoit une nouvelle release

29:19on sait 6 mois à l'avance

29:21on a une documentation

29:22les entreprises peuvent

29:23faire évoluer leurs API

29:24si c'est nécessaire

29:25et on est capable vraiment

29:27de préparer cette nouvelle release

29:28et de l'intégrer

29:30dans le rythme frénétique

29:32de sortie des modèles

29:33aujourd'hui

29:34pour une entreprise

29:35c'est presque impossible

29:37parce qu'en fait

29:37les modèles changent

29:39qu'on le veuille ou non

29:40d'ailleurs

29:40ils sont tous mis

29:41à disposition

29:42et là on a un rythme

29:44où adapter en sécurité

29:46tout l'environnement technologique

29:47pour accueillir

29:48ces nouveaux modèles

29:49c'est devenu

29:50extrêmement dur

29:51et nous on le voit

29:52quand on met des systèmes

29:53de mesure de performance

29:54des agents par exemple

29:55quand on passe

29:56d'un modèle

29:57à la génération d'après

29:58il y a des situations

29:59où on voit une très forte dégradation

30:01en fait de ce qui se passe

30:02donc là peut-être

30:03et ça c'est dans les mains

30:04des grands acteurs

30:05c'est pas comme la recherche

30:06où c'est dans les mains

30:06de beaucoup beaucoup de gens

30:08je pense que là

30:09on peut se dire

30:09est-ce qu'il faut aller

30:10un petit peu moins vite

30:10et d'ailleurs

30:12ce que Raphaël

30:13vous le mentionniez

30:14sur Mythos

30:14c'est un peu ce qui se passe

30:15avec Mythos

30:16où en fait

30:16avant de le rendre public

30:17on a pris un peu le temps

30:18etc

30:18où ils nous ont dit

30:19là on a un modèle

30:20qui est tellement dangereux

30:21qu'on ne va pas le rendre public

30:22là je pense qu'effectivement

30:24sur le rythme

30:25de sortie des modèles

30:26on peut se demander

30:27s'il ne faudrait pas

30:27mettre un petit peu

30:28d'eau froide dans le système

30:31Frédéric Simotel

30:32ce qu'ils avaient fait

30:33avec ChatGPT2

30:33à l'époque

30:35ChatGPT2

30:35ils ont mis du temps

30:36à lancer ChatGPT3

30:38en disant

30:39ChatGPT2

30:39c'est beaucoup trop puissant

30:40ça va faire des ravages

30:41on n'entend pas

30:42on a un petit problème

30:42de micro avec Frédéric Simotel

30:44alors je ne sais pas

30:44si on peut lui changer

30:45son micro

30:46il va régler ça

30:47en deux secondes

30:48je vais donner la parole

30:49à Raphaël Marichet

30:51directeur sécurité

30:51chez Palo Alto Network

30:52donc géant mondial

30:53de la cybersécurité

30:54le bouton

30:55vous appuyez dessus ou pas ?

30:56on arrête le développement

30:57des IA pendant un an

30:58je pense qu'on

30:59se fait un peu trop

31:00un focus sur les modèles

31:01et comme disait Sylvain

31:02les modèles peut-être

31:02ça va un peu trop vite

31:03en versionning

31:04mais ce n'est pas

31:05les modèles qui comptent le plus

31:06c'est l'orchestration

31:07autour de ces modèles

31:08j'évoquais tout à l'heure

31:08le harnais

31:09je n'ai pas envie

31:10qu'on s'arrête

31:11et qu'on laisse peut-être

31:12la concurrence

31:13où les individus

31:14mal intentionnés

31:15ou les groupes cybercriminels

31:16continuaient d'avancer sans nous

31:17ce bouton que vous évoquez

31:19Anthony

31:20il n'existe pas

31:21oui on est d'accord

31:23ça ne m'a pas échappé non plus

31:25c'était vraiment

31:25un scénario

31:26en parlant du concret

31:27exemple d'usage bénéfique

31:28on parlait de recherche biologique

31:30en cybersécurité

31:31l'usage de mythos

31:33qui nous a été extrêmement bénéfique

31:34c'est de compresser

31:35la fenêtre de temps

31:35pour tester

31:36nos propres systèmes

31:37et les mettre sur le marché

31:38sans faille

31:39on a compressé

31:41à peu près un an

31:42de tests d'intrusion

31:43sur nos propres systèmes

31:44en trois semaines

31:45grâce à ces modèles de frontières

31:46et grâce à ce programme

31:47que Sylvain a évoqué

31:48d'accès restreint

31:51uniquement pour les équipes

31:52de défense

31:53et quand on parle

31:53des programmes

31:54comme Glasswing

31:55Côte à Anthropique

31:56ou Chez Oponeia

31:56maintenant il y a l'équivalent

31:57c'est des programmes permanents

31:58c'est Trust Access for Cyber

32:00ce sont des programmes vertueux

32:02on ne donne pas accès

32:03à tout

32:03c'est le fait de donner accès

32:05à certains modèles

32:06uniquement à des acteurs

32:07de la cybersécurité

32:08uniquement aux équipes

32:08qui cherchent des failles

32:10pour la défense

32:11uniquement aux équipes

32:12qui cherchent à mettre

32:13sur le marché

32:13de l'informatique

32:14qui serait moins vulnérable

32:15on a quand même un problème

32:16aujourd'hui global

32:17dans l'industrie du logiciel

32:18qui est la présence

32:19de failles latentes

32:20de vulnérabilités

32:21qui ne sont pas encore connues

32:22et qui vont être découvertes

32:23est-ce que c'est l'attaquant

32:25ou est-ce que c'est le défenseur

32:26qui vont les découvrir en premier

32:27si c'est l'attaquant

32:28il va les exploiter

32:29si c'est le défenseur

32:30il va les corriger

32:30moi j'attends de cette innovation

32:32dans les modèles

32:33qu'on s'en serve

32:33pour détecter les failles

32:35avant qu'on mette

32:36les produits sur le marché

32:36pour qu'on les corrige

32:38et qu'on assainisse

32:39cette industrie du logiciel

32:40ça c'est un exemple vertueux

32:41il ne faut pas le ralentir

32:42alors j'ai peut-être

32:43effectivement été un peu

32:45j'ai peut-être un peu exagéré

32:46avec ce bouton pause

32:47parce qu'il y a une nuance importante

32:48entre le fait d'appuyer sur la pause

32:50et puis sur le fait de ralentir

32:52simplement

32:52ce qu'ont l'air de dire

32:53un certain nombre d'acteurs du secteur

32:54ils disent attendez

32:55il faut quand même

32:56qu'on prenne le temps de la réflexion

32:57ralentir

32:58qu'est-ce que ça peut vouloir dire

32:59par exemple en tropique

33:00ils disent

33:00on va installer des évaluateurs tiers

33:02qui vont venir

33:03dans notre entreprise

33:05et qui vont être capables

33:06de noter les modèles

33:07de les auditer

33:08de faire des rapports

33:09sans aucune censure

33:10d'abord est-ce que c'est crédible

33:12et est-ce que ça pourrait être

33:13vraiment utile

33:13mais ça veut dire

33:14qu'il va falloir qu'ils changent

33:15un petit peu leur ADN

33:16parce que je le disais tout à l'heure

33:20après le dire

33:20bah nous notre modèle

33:21est encore plus puissant

33:22donc effectivement

33:23je me suis de l'avis de Sylvain

33:24cette course à la nouvelle version

33:27est peut-être trop

33:28c'est peut-être là

33:29où il faut ralentir

33:29il y a les introductions

33:31en cours derrière

33:31et dans les entreprises

33:33il y a des directions éthiques

33:35il y a des directions

33:35qui regardent

33:36quand on signe un contrat

33:38enfin un contrat commercial

33:41il y a une direction juridique

33:42qui regarde si tout est respecté

33:43si les clauses environnementales

33:46sont respectées

33:46si les clauses juridiques

33:47légales sont

33:48c'est peut-être là aussi

33:49sur les IA

33:50il faut davantage

33:51de personnes sur la cyber

33:52regarder si tous les risques

33:53sont bien pris en compte

33:54si voilà

33:56les personnes

33:57qui doivent l'utiliser

33:58quel niveau

33:59d'expertise

34:01elles doivent avoir

34:02et c'est tout ça

34:02et je pense que c'est

34:03à ces acteurs

34:04de travailler dessus

34:05puis surtout

34:05moi ce qui m'inquiète aussi

34:07c'est que là

34:07on parle d'open AI

34:08et d'entropique

34:08mais eux ils vont ralentir

34:09alors les autres

34:10vont peut-être pas ralentir

34:11mais si eux poussent

34:11à ralentir

34:12et que derrière

34:13on a des start-up

34:13on en connait en France

34:14qui sont obligés

34:15qui subissent un peu tout ça

34:17ils vont dire

34:17ah bon nous

34:18il faut qu'on ralentisse aussi

34:19mais attendez

34:20et là

34:21on creuse encore

34:21l'inégalité

34:22c'est ça aussi

34:23c'est pourquoi

34:23certains critiquent

34:24Anthropic, Open AI

34:25enfin tous les tenants

34:26en tout cas du ralentissement

34:27c'est de dire

34:28en fait ils veulent juste

34:28protéger leur position

34:29et empêcher l'innovation

34:31ça fait aussi partie du

34:32ils jouent leur jeu

34:33ils jouent leur partition

34:33d'une certaine manière

34:34oui mais je voulais aussi rebondir

34:36sur ce que tu disais Frédéric

34:37parce que je suis complètement

34:38d'accord là

34:38sur ce que tu disais

34:39sur les cadres juridiques

34:40les normes

34:41enfin les chartes

34:42que les entreprises

34:44peuvent utiliser

34:45je trouve que

34:46sur les 2-3 dernières années

34:48on a beaucoup parlé

34:49d'équité

34:49alors est-ce qu'on peut

34:51traiter des données RH

34:52avec de l'IA

34:52est-ce qu'on peut

34:53faire des décisions

34:54de recrutement

34:55avec de l'IA

34:55est-ce qu'on peut traiter

34:56tel type de données

34:57avec de l'IA

34:57avec un angle

34:58très orienté

34:59justice et équité

35:00qui est important

35:01mais on a eu

35:02un angle mort

35:03énorme

35:04sur la sécurité

35:05et aujourd'hui

35:06dans les chartes

35:07des entreprises

35:07quand on voit

35:08comment elles se préparent

35:09à l'arrivée de l'IA

35:10tout le sujet

35:11sur

35:12quels sont nos protocoles

35:13de test

35:14nos protocoles

35:14de validation

35:15s'assurer qu'on a

35:16des personnes

35:17qui valident

35:17qui sont différentes

35:18des personnes

35:18qui construisent

35:19comment est-ce qu'on définit

35:20nos standards

35:21minimaux

35:22de sécurité d'IA

35:23alors on a parlé

35:24d'accès des agents

35:25on peut parler

35:26de façon dont on gère

35:27le contexte

35:27la mémoire

35:28quelle supervision

35:29on donne

35:29tous ces sujets-là

35:30sont pas complètement

35:32explicités

35:32dans les entreprises

35:33aujourd'hui

35:33et ça

35:34il faut vraiment

35:35avancer là-dessus

35:36mais on l'a perdu

35:37au fil des années

35:38parce que les développeurs

35:39avant faisaient

35:39ces phases de test

35:41regarder tout ça

35:42et aujourd'hui

35:42on a perdu

35:43tout ça

35:44parce qu'on veut aller vite

35:45Raphaël

35:46en fait ça c'est remarquable

35:47Sylvain tu as raison

35:48il y a deux ans

35:48en Europe

35:49on parlait beaucoup

35:49de Responsible AI

35:50il y a un responsable

35:51et moi dans mon métier

35:52j'ai abordé la sécurité

35:53comme un sous-ensemble

35:54de la responsabilité de l'IA

35:55la lutte contre les billets

35:56la sûreté etc

35:57et aujourd'hui

35:58tu disais Anthony

35:59la sécurité devient

36:01premier plan

36:02des discussions

36:03parce qu'on a débordé

36:05du sujet de la pure sécurité

36:06au sens

36:07faire face à un individu

36:08mal intentionné

36:09mais on est dans un sujet

36:09de sûreté de fonctionnement

36:10au sens détournement d'usage

36:13par des individus

36:14qui sont peut-être

36:15peu scrupuleux

36:17d'outils

36:17qui sont déjà présents

36:18Frédéric tu parlais tout à l'heure

36:20de l'IA de l'ombre

36:21le Shadow AI

36:21là on n'est plus

36:22même dans le Shadow AI

36:23on est dans des outils

36:24qui sont déployés

36:25de manière légitime

36:26dans l'entreprise

36:27mais dont l'usage est détourné

36:29pour aller plus vite

36:30et c'est là où il y a un danger

36:31c'est pas la technologie

36:32le danger encore une fois

36:32c'est qu'est-ce qu'on va en faire

36:33par exemple

36:34les agents

36:34en entreprise

36:35qui ont accès aux données RH

36:36qui envoient des mails

36:37avec des factures automatiques

36:39vers les clients

36:40tout ça

36:40on le fait aujourd'hui

36:41il y a aujourd'hui en France

36:44113 identités machines

36:45confiées à des agents

36:46pour une identité humaine

36:48une des erreurs

36:49c'est-à-dire qu'il faut freiner

36:50sur les agents

36:50vous qui déployez aussi

36:52Sylvain l'IA

36:52pas sur les modèles

36:53pas sur les agents

36:54parce qu'on n'arrête pas

36:55de nous dire

36:56il y a agentique

36:57c'est le futur

36:57il faut absolument déléguer

36:58le plus de choses possibles

37:00à l'IA

37:00ça va vous faire gagner

37:01vous allez avoir des gains

37:02de productivité complètement fous

37:03pas freiner

37:03mais maîtriser

37:04quand on délivre

37:05une identité à un agent

37:06quand on délivre une identité

37:07qui est déléguée

37:08d'un humain à un agent

37:09l'erreur à faire

37:10et qui a beaucoup été faite

37:11aujourd'hui jusqu'à présent

37:12ça n'a rien à voir

37:13avec la course au modèle

37:13c'est de donner

37:15son mot de passe

37:16ou un token

37:17à un identifiant de session

37:18qui va faire que l'agent

37:19se comporte comme l'humain

37:20il ne faut jamais donner

37:21son identifiant

37:23et son mot de passe

37:23à un agent IA

37:24non mais c'est le nouveau

37:25conseil de cybersécurité

37:26les gens vous ne savez pas

37:27ce qu'il va faire plus tard

37:28quand vous donnez

37:29une délégation d'identité

37:31à un agent

37:31dans l'entreprise

37:32il faut que ce soit

37:32ce qu'on appelle

37:33du just in time

37:34juste pour le scope

37:35le périmètre d'action

37:36le temps d'action

37:37qui est prévu pour l'agent

37:38si votre agent par exemple

37:39qui envoie des factures

37:40par mail automatiquement

37:41à un client

37:42c'est très bien

37:42s'il se met à envoyer

37:43des mails piégés

37:44à vos collaborateurs

37:45il a les mêmes droits d'accès

37:46mais il ne devrait pas faire ça

37:47et c'est ça qu'il faut

37:48qu'on arrive à bloquer

37:49si on reprend un tout petit peu

37:50de hauteur sur l'idée

37:51alors pas seulement

37:52d'agents mal intentionnés

37:53enfin d'agents

37:53d'humains mal intentionnés

37:54qui utiliseraient l'IA

37:55mais d'une IA

37:56qui deviendrait de plus en plus

37:57autonome d'une certaine manière

37:58il y a la notion

37:59qu'on a déjà évoquée

38:00mais je voudrais

38:00qu'on y revienne

38:01un tout petit peu

38:02d'alignement

38:03qui est très importante

38:05l'alignement c'est

38:06je parle sous votre contrôle

38:07mais c'est l'idée

38:08qu'on doit concevoir

38:10une IA

38:10qui soit alignée

38:12qui soit conforme

38:13à notre valeur

38:15en tant qu'humain

38:15qui mette la vie humaine

38:17finalement

38:17en tant que première

38:18chose de première importance

38:20c'est un peu finalement

38:21les lois d'Azimov

38:21mais appliquées

38:22à l'intelligence artificielle

38:23l'alignement

38:24on peut le résumer

38:24comme ça Sylvain ?

38:25Oui alors je pense

38:26qu'aujourd'hui

38:26quand on cherche

38:27à aligner une IA

38:29on est sur des principes

38:30moins fondamentaux

38:31que la valeur

38:33de la vie humaine

38:34et les règles

38:35de la robotique

38:36d'Azimov

38:37on peut dire

38:39les grands labos d'IA

38:40ils passent un temps

38:41infini

38:41à mettre des garde-fous

38:43si on demande

38:43comment on fabrique

38:44une bombe

38:44on dit non

38:45si on demande

38:46aide-moi à me suicider

38:47on dit non

38:48et on prévoit

38:49tout un tas de cas

38:50où on dit

38:50il ne faut pas faire

38:51mais ce que disait

38:52Frédéric tout à l'heure

38:53c'est impossible

38:54d'imaginer aussi

38:55tous les cas

38:55qui vont se produire

38:56etc

38:57et on a un problème

38:58où même

38:59quand on a mis en place

38:59un garde-fous

39:00on sait qu'ils ne sont pas

39:03systématiquement suivis

39:04et du coup

39:05et j'aime beaucoup

39:06l'exemple que donnait Raphaël

39:07parce que c'est vraiment

39:08un enjeu

39:08c'est une notion

39:09d'identifiant des agents

39:11j'ai un collègue

39:12chercheur en IA

39:12avec qui j'en parlais

39:13qui me disait

39:13tu vois

39:14on va mettre

39:14tous les garde-fous possibles

39:15mais à la fin

39:16un agent

39:17on ne sait pas exactement

39:18ce qui se passe

39:19dans la chaîne de causalité

39:21qui va donner

39:21telle ou telle décision

39:23pour ne pas faire

39:24d'anthropomorphisme

39:25il disait

39:25arrêtons de dire

39:26qu'ils sont méchants

39:26ou je ne sais pas quoi

39:27on ne sait pas

39:28ce qui se passe

39:28entre guillemets

39:29dans leur tête

39:29imagine que tu as un lion

39:31ce lion

39:32imagine qu'il a été dressé

39:34bien dressé

39:35pour ne pas faire

39:35d'imbécilité

39:36et ça c'est un peu

39:37les garde-fous

39:37que mettent

39:38les grands labos IA

39:40parce que c'est un lion

39:41tu as quand même envie

39:42qu'il soit dans une cage

39:43même s'il a été dressé

39:44c'est une bonne analogie

39:45c'est de l'anthropo-lionisme

39:50pour revenir à ce que disait Raphaël

39:53donner le même accès

39:55qu'un humain

39:56en matière de données

39:57d'entreprise

39:58et les mêmes droits

39:58à un agent

40:00c'est pas possible

40:02c'est pas possible

40:03et c'est pas parce que

40:04il n'y a pas de garde-fous

40:05c'est pas parce qu'il est

40:06mal intentionné

40:07non c'est juste

40:08que c'est pas possible

40:09et une chose frappante

40:11c'est que peu d'entreprises

40:12aujourd'hui

40:12ont mis en place

40:13des systèmes

40:14pour se dire

40:14quand quelqu'un se connecte

40:16est-ce que c'est un agent

40:17ou est-ce que c'est un humain

40:19parce que quand on a

40:20une connexion

40:20on va devoir gérer

40:22très différemment

40:23une connexion humaine

40:24par rapport

40:25à une connexion agentique

40:26et donc

40:27oui il y a des efforts

40:28d'alignement

40:30oui on a des défis

40:31d'alignement

40:31mais qui sont des défis

40:32scientifiques

40:34et ça ça impose

40:35de s'assurer

40:36qu'on a bien mis

40:37une petite cage

40:38autour du lion

40:40justement tu disais

40:40de prendre de la hauteur

40:41par rapport à l'alignement

40:42moi je dirais aussi

40:43il faut revenir aussi

40:43aux fondamentaux

40:44moi je reviens sur le rôle

40:45des développeurs

40:47aujourd'hui évidemment

40:47on dit

40:48c'est plus la peine

40:49de développer

40:49on prend du code

40:50on prompt

40:51et puis c'est l'IA

40:51qui va coder

40:52et là c'est là

40:53où on a quand même

40:54il ne s'agit pas tous

40:54de se remettre

40:55à des lignes de code

40:56mais aujourd'hui

40:57il faut que les codeurs

40:57sachent

40:59connaissent l'architecture

41:00de leur algorithme

41:00et tout ça

41:01et ça on est peut-être

41:02en train de le perdre

41:02et ça c'est un peu dangereux

41:03aussi

41:03parce que

41:05je prends juste un exemple

41:06tout le monde a développé

41:07en C, C++

41:09avec une gestion

41:10de la mémoire déplorable

41:11aujourd'hui

41:11on s'en mord les doigts

41:12sur tout un tas de sujets

41:14on n'aurait peut-être

41:15pas besoin d'autant de rames

41:16si on avait mieux développé

41:17avant

41:18mais ça c'est une autre histoire

41:18mais tu vois

41:19il y a cet aspect là aussi

41:21qui est important

41:22le ralentissement

41:22est-ce que c'est juste

41:23une question de laboratoire

41:25de recherche

41:25et de géants de la tech

41:26ou est-ce que c'est aussi

41:27les états qui doivent

41:28chapeauter un petit peu

41:29tout ça

41:29parce qu'on voit que

41:31bon

41:32Anthropik

41:33OpenAI

41:33là ils ont annoncé

41:34c'était la semaine dernière

41:35qu'ils voulaient mettre en place

41:36une sorte d'organe

41:37c'était Démis Asabis je crois

41:38le patron de l'IA

41:39chez Google

41:40une sorte d'organe de supervision

41:42mais qui serait en fait

41:44financé par eux-mêmes

41:45je voyais une comparaison

41:46c'est comme si

41:47Coca et Pepsi

41:48lançaient un organe de supervision

41:50des boissons sucrées

41:50est-ce qu'on aurait vraiment

41:52confiance en ce genre de choses

41:53ou est-ce qu'il doit y avoir

41:54une supervision

41:55un peu plus haute

41:56est-ce qu'on doit

41:57finalement considérer l'IA

41:58peut-être un peu comme le nucléaire

41:59avec une AIEA

42:02une agence internationale

42:03de contrôle

42:04je sais pas

42:04je pose la question

42:05je mets ça sur la table

42:06qu'est-ce que vous en pensez vous ?

42:08je pense que

42:10évidemment

42:10tout le monde appelle

42:11de ses voeux

42:11plus de régulation

42:12pour essayer de gérer

42:13ses risques

42:14il faut se poser la question

42:15de toutes ces entités

42:17qu'est-ce qu'elles feraient

42:17parce que si on prend

42:18l'analogie de l'aérien

42:20l'aérien

42:21tout est archi codifié

42:22on a des standards

42:23donc quand on a un incident

42:24déjà on sait ce que c'est

42:25qu'un incident

42:25et la plupart des incidents

42:26on ne les voit pas

42:27il y a des investigations

42:29qui sont faites

42:30pour se dire

42:30où est la source

42:31de l'incident

42:31etc

42:32mais on a des standards

42:33aujourd'hui

42:34on n'a pas les standards

42:35dans l'industrie

42:36on n'a pas la science

42:37qui va derrière

42:38et donc

42:39avant de commencer

42:40à imaginer

42:40une police

42:41et puis on dit

42:42un képi

42:43un sifflet

42:44des camionnettes

42:44qu'est-ce que je fais

42:45enfin je veux dire

42:45l'IA elle est partout

42:46elle est dans beaucoup

42:47elle est dans plein d'endroits

42:50je pense que l'urgence

42:51c'est les standards

42:52pour se dire

42:53qu'est-ce qu'on se dit

42:54qui est bon

42:54enfin qui est le bon niveau

42:55disons

42:56et puis les initiatives

42:58dont on parlait avec Raphaël

42:59sur

43:00il y a des prélancements

43:02qui sont faits

43:03des acteurs de confiance

43:05pour tester

43:05pour retester

43:06etc

43:07ça c'est des choses

43:08auxquelles je crois

43:08qu'il y ait des communautés

43:10de type open source

43:11même si c'est

43:12l'open source secondaire

43:13qui puissent aussi

43:15vérifier

43:15c'est quoi open source secondaire

43:16ça veut dire quoi ?

43:16open source primaire

43:17c'est complètement open source

43:19open source secondaire

43:20c'est des modèles

43:21qui ont été entraînés

43:22sur des données

43:23dont on ne sait pas

43:24exactement ce qu'elles sont

43:25mais dont les poids

43:26sont verrouillés

43:28c'est les fameux

43:29open weight models

43:29qui eux

43:30une fois que les poids

43:30sont verrouillés

43:31sont ouverts

43:31même si on ne sait pas

43:32exactement comment

43:33ils ont été entraînés

43:34là on peut se dire

43:35que ces communautés open source

43:36peut-être qu'elles peuvent

43:37jouer un rôle aussi

43:37dans le suivi

43:39le monitoring etc

43:41mais réguler demain

43:43je ne sais pas très bien

43:44ce que je ferais

43:44si j'étais patron

43:45de la police de l'IA

43:46alors qu'elle soit faite

43:47par les acteurs de l'IA

43:48par les états

43:49par tout le monde

43:51c'est une super idée

43:52mais je pense que

43:53c'est un peu théorique

43:54c'est difficile d'être concret

43:55Raphaël puis Fred

43:56il ne faut pas déresponsabiliser

43:58les donneurs d'ordre

43:59les patrons d'entreprise

44:00qui consomment aussi

44:01qui utilisent l'IA

44:02je pense que

44:02une bonne analogie

44:03c'est effectivement l'aérien

44:05il y a cette frontière

44:07entre la sécurité

44:08et la sûreté

44:08en matière informatique

44:09qui est en train

44:10de s'émousser

44:11où on commence à avoir peur

44:12avoir des craintes légitimes

44:13qu'on sorte un peu

44:14de la cage

44:15de la sandbox

44:16je vous interromps

44:17une seconde là-dessus

44:17mais si demain

44:19Airbus me dit

44:20mon prochain avion

44:21il est super

44:22enfin un chercheur d'Airbus

44:23en revanche

44:24il y a 10% de chance

44:25qu'il se crache

44:25je ne suis pas sûr

44:26qu'on le fasse décoller

44:27et comment on arrive

44:28à ce résultat

44:29c'est vrai qu'il y a un historique

44:29qui nous manque un peu

44:30dans le domaine de l'IA

44:31et du numérique en général

44:33le passif des sinistres

44:34et des sinistres évités

44:36les presque évités

44:37est trop faible encore

44:38en aérien

44:39ils l'ont beaucoup plus

44:39mais c'est cette culture

44:40de la feedback loop

44:43de la boucle d'apprentissage

44:44de rétroaction

44:44qu'il faudrait qu'on ait

44:45un peu plus en cyber

44:46chaque fois qu'il y a un incident

44:48tout juste évité

44:49par exemple

44:49ça doit donner lieu

44:50à un rapport dans l'entreprise

44:52qui permet à l'entreprise

44:53de devenir plus résiliente

44:54en modifiant

44:55soit ses arnais IA

44:56pour qu'il soit plus contraignant

44:58ou en modifiant

44:59sa gestion d'identité

45:00pour qu'elle soit

45:00moins permissive

45:01ou en modifiant

45:03son exposition

45:04en surface d'attaque externe

45:05pour qu'elle soit

45:06moins exposée à internet

45:07en tout cas apprendre

45:08des incidents

45:09tout juste évité

45:11ça c'est quelque chose

45:11qu'on ne fait pas assez

45:12qu'on pourrait faire plus

45:13avec l'IA d'ailleurs

45:14parce que l'IA

45:14peut nous permettre

45:15d'aller plus vite

45:15dans la boucle d'apprentissage

45:17et dans l'amélioration

45:18de la résilience des entreprises

45:19Frédéric ?

45:20Moi je trouve ce qu'il y a

45:21d'intéressant quand même

45:21aujourd'hui

45:22c'est qu'on voit que c'est monté

45:23au niveau des chefs d'Etat

45:24on vit en ce moment

45:25la rencontre entre

45:25Donald Trump et Xi Jinping

45:26on sait que l'IA

45:28ça va être l'un des thèmes

45:29de leur discussion

45:29le pape est à Paris

45:31il est à l'UNESCO

45:32il passe à l'UNESCO

45:33l'IA va faire partie

45:35on connait

45:35il a fait une encyclique

45:36on recommande d'ailleurs

45:37tous de lire

45:38parce qu'il met quelques

45:40enfin beaucoup de pistes

45:41à l'intérieur

45:41sur lesquelles on pourrait s'inspirer

45:42et à l'UNESCO

45:43il va parler de l'IA

45:44donc je trouve que déjà

45:45on arrive à un niveau état

45:46avant on n'en parlait même pas

45:47la cyber et tout ça

45:49vaguement

45:50et là aujourd'hui

45:51c'est bien que ça remonte

45:52l'exemple de Donald Trump

45:53est intéressant

45:53parce qu'au moment

45:54où tout le monde

45:55nous dit

45:56attention

45:56il y a un risque majeur

45:58il faut absolument ralentir

45:59tiens Donald Trump

46:00lui il est en mode

46:00non non il faut accélérer

46:02on en a parlé

46:03sur l'antenne de BFM Business

46:04hier

46:05vous avez vu

46:06qu'il voulait remplacer

46:07le terme

46:08intelligence artificielle

46:09dans tous les documents officiels

46:10par le terme

46:11de super intelligence

46:12et en fait

46:13c'est pas anodin

46:14il y a un côté gadget

46:14de langage

46:15mais derrière ça

46:16il y a la réflexion

46:17de non on va donner

46:17un côté positif

46:19super intelligence

46:20c'est un super truc

46:21parce qu'il faut surtout

46:22surtout pas ralentir

46:23il faut aller au contraire

46:24beaucoup plus vite

46:25et il faut pas prendre

46:25de retard par rapport

46:26à la Chine

46:26donc il y a aussi

46:27cet enjeu là

46:27qui est absolument majeur

46:28et qui fait que ça va être

46:29compliqué de ralentir

46:29en réalité Fred

46:30mais surtout

46:30juste pour pas garder la parole

46:32mais il y a aussi

46:35une vision différente

46:36entre les américains

46:37et les chinois

46:37les américains

46:38ils sont dans

46:38justement vers cette

46:39super intelligence

46:40on va ressembler à l'homme

46:41et tout ça

46:42alors que les chinois

46:43je les trouve

46:43beaucoup plus pragmatiques

46:44c'est une IA

46:45au service de l'industrie

46:46une IA pour les voitures

46:47autonomes

46:47une IA pour aller plus vite

46:48dans l'espace

46:49une IA pour l'industrie

46:51et je trouve que là-dessus

46:52voilà ils ont une autre

46:53une autre vision aussi

46:54de cette IA

46:55il faut pas forcément

46:56les mettre sur le même

46:57le même point

46:58Sylvain

46:59et ce qui complique aussi

47:00tout le débat

47:00c'est pourquoi est-ce que

47:02Trump en parle

47:03pourquoi est-ce que

47:04le conseil de sécurité

47:05de l'ONU en parle

47:06parce qu'en fait

47:07il y a aussi des implications

47:08militaires associées

47:09à ces technologies

47:09et je pense que c'est aussi

47:10ça qui à un moment donné

47:12est en arrière de fond

47:13sur tous ces débats

47:14et qui rend encore plus difficile

47:16la notion de ralentir ou pas

47:18c'est que c'est pas simplement

47:20pour l'économie

47:21mais il y a des enjeux

47:22qui sont géostratégiques

47:23qui sont majeurs

47:24autour de l'IA

47:25et c'est ce qui vient aussi

47:27je dirais un peu

47:28polluer

47:30le fait que c'est pas

47:31un simple débat

47:32de bâtissons des standards

47:33pour être sûr

47:34de ce qu'on fait

47:35mais que les enjeux

47:36les enjeux dépassent

47:37et l'Europe dans tout ça

47:39alors est-ce que nous

47:39avec notre IA Act

47:41qu'on a été les premiers

47:42à implémenter

47:42on a quand même eu

47:43une régulation

47:44de l'intelligence artificielle

47:46ou un encadrement

47:47avant tout le monde

47:48est-ce qu'il faut

47:48s'en féliciter

47:49vu le climat actuel

47:50très anxiogène

47:51sur les dangers

47:51à l'époque on disait

47:52on veut réguler

47:53avant d'innover

47:54bon là on voit

47:55qu'il y a quand même

47:55un danger potentiel

47:57même si on l'a un peu

47:57tempéré aujourd'hui

47:58est-ce qu'il faut

47:59s'en féliciter

48:00ou est-ce qu'on est encore

48:01on est en train

48:01juste de prendre du retard

48:02par rapport aux Etats-Unis

48:03et à la Chine

48:03qui continuent leur course

48:04à l'innovation

48:05Sylvain

48:06sur l'IAACT

48:07on a beaucoup réfléchi

48:09à équité et justice

48:10moins à sécurité et sûreté

48:12et là il y a un angle mort

48:14un peu

48:14donc

48:15c'est pas vraiment

48:16dans l'IAACT en fait

48:17non c'est un peu à côté

48:18alors il y en a un peu

48:18mais c'est beaucoup moins

48:21développé je dirais

48:22que ce qui se passe

48:22sur les questions

48:23d'équité et de justice

48:24maintenant le jeu

48:25de l'Europe

48:26dans tout ça

48:28il faut trouver

48:29la troisième voie

48:29alors on n'est pas

48:31dans la course

48:31au grand modèle

48:32mais je pense

48:33qu'on peut jouer un rôle

48:35sur justement

48:36ces partages de standards

48:38l'Europe a été associée

48:39quand même

48:39fortement

48:40aux initiatives

48:41sur les pré-test

48:42des derniers modèles

48:43d'Open Air et Anthropique

48:45et je pense que

48:46l'Europe

48:47qui est un peu

48:49indépendante des parties

48:50là-dessus

48:50dans cette course au modèle

48:52je pense que

48:53pour tout ce qui peut être

48:54collaboration

48:55entre grands acteurs

48:55de confiance

48:56entre grands écosystèmes

48:58recherche de standards

48:59on peut faire beaucoup

49:00il y a un sujet

49:01dont on n'a pas parlé

49:02c'est que

49:02il nous manque

49:03de la science aussi

49:04sur ces sujets

49:04notamment sur ces sujets

49:06d'alignement

49:06et donc on a besoin

49:08que les labos de recherche

49:09au-delà des labos IA

49:10mais l'ensemble

49:10de la communauté académique

49:12bossent aussi là-dessus

49:12et produisent

49:14de la connaissance scientifique

49:15et là aussi

49:16l'Europe peut jouer un rôle

49:17indépendamment

49:18de la course

49:19entre les deux géants

49:20Frédéric

49:21il faudrait déjà

49:22que l'Europe réussisse

49:22à parler d'une seule voie

49:23aussi parce qu'on dit l'Europe

49:24mais nous les Français

49:26on tire un peu

49:26dans notre coin

49:27les Allemands

49:28tirent dans le leur

49:29les Anglais

49:30si on les assimile

49:31un peu

49:31au bloc européen

49:33sont un peu

49:34dans leur monde

49:35il y a un peu

49:36ce souci-là aujourd'hui

49:37on aimerait

49:37qu'on aurait aimé

49:38alors nous on a un Mistral

49:39c'est bien

49:40si l'Europe avait pu

49:40se tourner dans un Mistral

49:41puis nous on dit aux Allemands

49:42qu'est-ce que vous avez vous

49:43et nous on sera derrière vous

49:45pour cette partie-là

49:46mais enfin

49:47déjà il y a

49:47cette idée-là

49:49qui est difficile

49:50mais je pense que

49:51l'Europe pour moi

49:53dans ce domaine-là

49:53pour moi la troisième voie

49:54c'est un peu

49:55c'est entre les Chinois

49:56et les Américains

49:57c'est s'intéresser à l'IA

49:58dans les entreprises

49:59c'est les entreprises

49:59qui vont nous aider

50:00à être performantes

50:01à créer de l'emploi

50:01et tout ça

50:02c'est l'IA et l'éducation

50:03il faut aller sur ces points-là

50:04ne pas chercher à avoir

50:06effectivement une vue globale

50:07de l'IA

50:07qui va apporter

50:08mais l'IA et la défense

50:10avoir ces stratégies

50:11un peu sectorielles

50:13ou par métier

50:15il faut vraiment agir

50:15dans ce côté-là

50:16Raphaël ?

50:17on peut avoir

50:18la meilleure technologie du monde

50:19si on ne sait pas

50:20comment s'en servir proprement

50:21si on ne sait pas

50:21comment s'en servir

50:22pour tirer de la valeur

50:22je vais prendre un exemple

50:23on a eu jusqu'à récemment

50:25beaucoup d'entreprises

50:25qui disaient

50:26chez moi l'adoption de l'IA

50:28elle est géniale

50:28j'ai 80% de mes salariés

50:30qui consomment une licence

50:31d'un laboratoire américain

50:33non ce n'est pas la bonne métrique

50:35c'est quelle valeur

50:35ça apporte à la société

50:36en termes de profitabilité

50:38de go to market

50:39de différenciation sur le marché

50:41et aussi dans la chaîne de valeur

50:44quelle est la bottom line

50:45en termes de coût

50:45le nombre de licences consommées

50:47ce n'est pas un indicateur qualitatif

50:48pour savoir si ça apporte de la valeur

50:49c'est un indicateur de coût

50:51au contraire par exemple

50:52donc on se focalise beaucoup

50:53sur les modèles

50:54je vais revenir là-dessus

50:55c'est le savoir faire faire

50:56qui compte

50:57on fait faire à la machine

50:58il faut qu'on sache faire faire

50:59c'est comment on agence ces modèles

51:01comment on les orchestre

51:02c'est comment on crée des harnais

51:03je pense qu'il va y avoir

51:05un domaine qui va se développer

51:07et l'Europe peut jouer dessus

51:09doit jouer dessus en ce moment

51:10et démarrer

51:11c'est orchestrer ces modèles IA

51:13d'où qu'ils viennent

51:14Amérique, Chine, ailleurs

51:16pour les utiliser de manière sûre

51:19en termes de sûreté de fonctionnement

51:20dans l'entreprise et pour que ça dégage

51:22de la valeur économique

51:24on approche de la fin de l'émission

51:26je voulais vous poser quelques questions

51:28de conclusion

51:28si on se projette un tout petit peu

51:30on est en 2030

51:31qu'est-ce qui vous inquiète le plus ?

51:33est-ce que c'est que l'IA soit devenue

51:35trop puissante, potentiellement dangereuse

51:37ou qu'on ait eu tellement peur

51:39qu'on ait fini par freiner

51:41voire stopper une révolution extraordinaire ?

51:43vous ayant écouté tout au long de l'émission

51:45j'ai pas tellement de doute sur la réponse

51:47je vous la pose quand même

51:48Sylvain

51:48moi je pense qu'on aura du mal à stopper

51:50il y a un engouement énorme au niveau

51:53du grand public, des entreprises

51:55etc. autour de l'IA

51:56donc je pense qu'on va y aller

51:57de toute façon

51:57et tu l'as dit à un moment donné aussi

51:59on attend beaucoup de choses de l'IA

52:01en éducation, en santé

52:02sur tout un tas de domaines

52:03qui sont très importants

52:05mon souci à court terme

52:07assurons-nous qu'on ne crée pas

52:08un rejet trop fort de l'IA

52:10et on commence à voir poindre

52:11ici et là

52:12des voix très dissonantes

52:13par rapport à l'IA

52:14des mouvements d'IA même

52:15tout à fait

52:16des mouvements

52:16et donc à mon avis

52:18il y a un énorme enjeu

52:19d'éducation

52:20de communication

52:21et de responsabilité

52:23mais alors pas au sens

52:25responsabilité

52:26comme on l'entend

52:26il y a responsable

52:27aujourd'hui dans les entreprises

52:29responsabilité sociétale

52:30des grands acteurs de l'IA

52:32pour s'assurer

52:32qu'on fait quelque chose

52:33qui embarque l'humanité

52:34et qui ne laisse pas

52:36une partie de l'humanité

52:37sur le côté

52:37Raphaël Marichet

52:38Anthony

52:39vous allez être surpris

52:40de ma réponse

52:42ce qui m'empêche

52:43de dormir moi

52:44aujourd'hui

52:45quand je vois

52:46que toute informatique

52:47moderne aujourd'hui

52:48est construite

52:48à 90% au moins

52:50sur du code source

52:51qui vient des logiciels libres

52:52même les logiciels propriétaires

52:53sont construits

52:54en grande partie

52:55sur du code source

52:55qui vient des logiciels libres

52:56ce logiciel libre

52:57grâce ou à cause

52:59des capacités

53:00de ces modèles de frontières

53:01est devenu

53:01complètement transparent

53:02pour y découvrir des failles

53:04la grande crainte

53:05c'est que de nombreuses entreprises

53:07en France

53:07partout ailleurs

53:08se fassent compromettre

53:10pas parce qu'elles ont été ciblées

53:11mais par ce qu'on appelle

53:12une attaque en supply chain

53:13une attaque en chaîne

53:14d'approvisionnement logiciel

53:15c'est qu'un composant

53:15de logiciel libre

53:16qui est utilisé massivement

53:18dans les entreprises

53:18soit lui-même compromis

53:20et piégé

53:21et installé légitimement

53:22dans les entreprises

53:23et qui l'exfiltre

53:24de la donnée

53:25qui verrouille les systèmes

53:26c'est une attaque

53:27à l'échelle

53:28systémique

53:28via la supply chain logiciel

53:31parce qu'en fait

53:31le composant

53:32aura déjà été installé

53:33puisque c'est un composant légitime

53:34on a eu des prémices de ça

53:35ces derniers mois

53:36des entreprises tech

53:38de développement

53:38dont les équipes

53:40de développement logiciel

53:41ont été compromises

53:42non pas parce qu'il y avait

53:43une faille

53:44mais parce qu'ils utilisaient

53:45légitimement

53:47un outil de développement

53:48qui lui-même

53:49avait été compromis en amont

53:50et qui repose souvent

53:51sur le logiciel libre

53:51cette transparence

53:52là il y a un vrai danger

53:53que l'IA met

53:54sur le logiciel libre

53:56nous oblige collectivement

53:57à aller plus vite

53:58et sécuriser

53:59toute notre pile

54:01technologique

54:02qui est aujourd'hui présente

54:03dans nos entreprises

54:04c'est une urgence

54:05Frédéric

54:05moi Macra

54:06évidemment

54:06j'abonde

54:09dans ce que

54:09viennent de dire

54:10Sylvain et Raphaël

54:11mais c'est

54:11le coût du token

54:12il ne faut pas oublier ça

54:13c'est qu'aujourd'hui

54:14ça coûte cher

54:15de faire de l'IA

54:17aujourd'hui

54:17c'est un peu absorbé

54:18par les abonnements

54:19c'est pas si cher

54:20aujourd'hui

54:20mais ça va monter

54:21mais c'est en train

54:21de monter

54:22dans beaucoup d'entreprises

54:23et le risque

54:23c'est qu'on crée

54:24encore plus

54:25une fracture

54:26numérique

54:26déjà qu'on voit

54:29juste un mot

54:29sur l'appauvrissement

54:30de la France

54:30parce qu'il y a

54:32le conseil d'analyse économique

54:33qui a dit que c'était notamment

54:34parce qu'on n'avait pas

54:35une adoption du numérique

54:36assez rapide

54:37dans les PME, TPE

54:38et bien si en plus

54:39le token devient trop cher

54:41et en plus sur l'IA

54:41ils prennent du retard

54:42par rapport à ça

54:44ça va être un peu compliqué

54:47donc moi c'est ça

54:47et ma deuxième crainte

54:48c'est tout ce qui est

54:50autour de l'éducation

54:51vraiment c'est

54:51comment on doit intégrer

54:53l'IA dans l'enseignement

54:54dans l'éducation

54:54comment les jeunes

54:55doivent utiliser l'IA

54:56et comment on doit

54:57leur enseigner l'IA

54:58Parfait

54:59merci beaucoup messieurs

55:00on va arriver au terme

55:01de cette émission

55:01c'était passionnant

55:02j'espère que ça vous a

55:03intéressé à la maison

55:04clairement

55:06j'espère que vous êtes

55:07rassuré

55:07si vous étiez un peu

55:08affolé par cette révolution

55:10de l'IA

55:10et tout ce qu'on entend

55:11comme news un peu

55:12anxiogène ces derniers temps

55:13c'est vrai que c'était

55:14intéressant de vous écouter

55:15tous les trois

55:16Frédéric Simotel

55:17évidemment de BFM Business

55:18Raphaël Marichet

55:19le directeur sécurité

55:20chez Palo Alto Networks

55:22et Sylvain Duranton

55:23spécialiste de l'IA

55:24et directeur monde

55:25de BCGX

55:26les experts de l'IA

55:28c'est terminé

55:28vous retrouvez leur closier

55:29pour les experts

55:30dès demain évidemment

55:31tout de suite c'est les experts

55:32de l'IMO avec

55:33Marie-Cœur de Roi

55:34et puis à l'IA

55:35Marseille ça continue

55:36évidemment

55:36demain il y aura un débat

55:37absolument passionnant

55:38avec les candidats

55:39à la présidentielle

55:40et leurs représentants

55:42ce sera ici

55:42depuis Marseille

55:43ce sera retransmis

55:44sur BFM Business

55:44ce sera assez intéressant

55:45de voir comment les candidats

55:47prennent en compte

55:48et leur vision

55:49de cette révolution

55:51de cette lame de fond

55:51technologique

55:52qui est en train

55:53de déferler sur nous

55:54celle de l'intelligence

55:55artificielle

55:55merci beaucoup

55:56et à très vite

56:02les experts de l'IA

56:04sur BFM Business

56:05non

56:06c'est pour ce qui est

Catégorie

Transcription

Recommandations