- il y a 15 minutes
Ce jeudi 24 septembre, la perte de contrôle potentielle et les menaces de l'IA ont été abordées par Sylvain Duranton, spécialiste de l'IA et directeur monde du BCG X, Raphaël Marichez, CSO France et Europe du Sud chez Palo Alto Networks, et Frédéric Simottel, journaliste BFM Business, dans l'émission Les Experts, présentée par Anthony Morel sur BFM Business. Retrouvez l'émission du lundi au vendredi et réécoutez la en podcast.
Catégorie
📺
TVTranscription
00:01Allez c'est reparti pour cette émission spéciale depuis le stade Vélodrome de Marseille à l'occasion d'AIM Artificial
00:07Intelligence Marseille le plus grand événement il y a de la rentrée organisé par BFM La Tribune on est dans
00:13un cadre exceptionnel ici c'est vrai qu'on bouscule un petit peu la grille habituelle vous inquiétez pas vous
00:17retrouverez leur closier dès demain évidemment on continue à s'interroger sur l'intelligence artificielle la question la plus importante
00:24du moment sur la perte de contrôle potentielle est ce qu'il y a une menace réelle ou supposée est
00:28ce qu'on joue à se faire peur avec l'intelligence artificielle
00:30et est-ce qu'il faut ralentir c'est ce que semble dire en tout cas tous les géants de
00:34l'IA on a eu Anthropik qui a commencé à dire bah oui ce serait bien d'appuyer sur la
00:37pédale de frein on a eu OpenAI Elon Musk aussi qui ont acquiescé d'une certaine manière une rare unanimité
00:45dans le secteur quand même il faut le noter je voulais vous poser la question sur votre conviction profonde tiens
00:49si je vous donnais un bouton magique là vous pouvez appuyer dessus et pendant un an tout s'arrête voilà
00:54tous les développements de l'intelligence artificielle tout le monde joue le jeu les chinois les américains tous les grands
00:59laboratoires
01:00de recherche tout s'arrête le temps de réfléchir à où est-ce qu'on va avec cet IA vous
01:04le faites ou vous le faites pas Sylvain Duranton je vous ai pas représenté Sylvain Duranton de BCGX
01:09Alors tout dépend ce qu'on appelle développement parce que pour moi il y a plusieurs choses aujourd'hui est
01:15-ce que les entreprises doivent faire une pause dans le déploiement de leurs IA je ne crois pas parce que
01:20je pense qu'il y a moyen de déployer des choses en sécurité et on reviendra sur la place que
01:24la sécurité prend dans le discours IA par rapport au reste et ça a été un peu l'angle mort
01:27des dernières années mais je pense que les entreprises vont continuer
01:31Sur la recherche elle-même j'ai du mal à imaginer ce que serait qu'une pause est-ce qu
01:37'on dit aux chercheurs vous cherchez moins vite avant vous cherchez vite est-ce qu'on dit à tous les
01:43chercheurs vous arrêtez mais certains continueront de toute façon je suis moins sûr là-dessus
01:47L'un où en revanche j'imagine qu'on pourrait peut-être un peu décélérer c'est sur toutes les
01:53publications de nouveaux modèles si on compare avec le monde du SaaS quand SAP ou Salesforce prévoit une nouvelle release
02:01on sait 6 mois à l'avance on a une documentation les entreprises peuvent faire évoluer leurs API si c
02:08'est nécessaire et on est capable vraiment de préparer cette nouvelle release et de l'intégrer
02:13Dans le rythme frénétique de sortie des modèles aujourd'hui pour une entreprise c'est presque impossible parce qu'en
02:20fait les modèles changent qu'on le veuille ou non d'ailleurs ils sont tous mis à disposition et là
02:26on a un rythme où adapter en sécurité tout l'environnement technologique pour accueillir ces nouveaux modèles c'est devenu
02:33extrêmement dur
02:35Et nous on le voit quand on met des systèmes de mesure de performance des agents par exemple quand on
02:39passe d'un modèle à la génération d'après il y a des situations où on voit une très forte
02:43dégradation en fait de ce qui se passe
02:45Donc là peut-être et ça c'est dans les mains des grands acteurs c'est pas comme la recherche
02:49où c'est dans les mains de beaucoup beaucoup de gens je pense que là on peut se dire est
02:52-ce qu'il faut aller un petit peu moins vite
02:54Et d'ailleurs ce que Raphaël vous le mentionniez sur Mythos c'est un peu ce qui se passe avec
02:58Mythos où en fait avant de le rendre public on a pris un peu le temps etc
03:02Où ils nous ont dit là on a un modèle qui est tellement dangereux qu'on ne va pas le
03:05rendre public
03:05Là je pense qu'effectivement sur le rythme de sortie des modèles on peut se demander s'il ne faudrait
03:10pas mettre un petit peu d'eau froide dans le système
03:14Frédéric Simotel
03:15Ce qu'ils avaient fait avec ChatGPT2 à l'époque
03:18ChatGPT2 ils ont eu du temps à sortir à lancer ChatGPT3 en disant ChatGPT2 c'est beaucoup trop puissant ça
03:23va faire des ravages
03:24On n'entend pas on a un petit problème de micro avec Frédéric Simotel alors je sais pas si on
03:27peut lui changer son micro ou il va régler ça en deux secondes
03:31Je vais donner la parole à Raphaël Marichet directeur sécurité chez Palo Alto Network donc géant mondial de la cybersécurité
03:37Le bouton vous appuyez dessus ou pas ? On arrête le développement des IA pendant un an
03:41Je pense qu'on se fait un peu trop un focus sur les modèles et comme disait Sylvain les modèles
03:45peut-être ça va un peu trop vite en versionning
03:47Mais c'est pas les modèles qui comptent le plus c'est l'orchestration autour de ces modèles j'évoquais
03:51tout à l'heure le harnais
03:52J'ai pas envie qu'on s'arrête et qu'on laisse peut-être la concurrence où les individus mal
03:58intentionnés ou les groupes cybercriminels continuaient d'avancer sans nous
04:01Ce bouton que vous évoquez Anthony il n'existe pas
04:04Oui on est d'accord
04:06Ça ne m'a pas échappé non plus c'était vraiment un scénario hypothétique
04:10En concret exemple d'usage bénéfique on parlait de recherche biologique en cybersécurité
04:14L'usage de mythos qui nous a été extrêmement bénéfique c'est de compresser la fenêtre de temps pour tester
04:19nos propres systèmes et les mettre sur le marché sans faille
04:22On a compressé à peu près un an de tests d'intrusion sur nos propres systèmes en trois semaines grâce
04:28à ces modèles de frontières
04:29Et grâce à ce programme que Sylvain a évoqué d'accès restreint uniquement pour les équipes de défense
04:36C'est quand on parle des programmes comme Glasswing, Côté Anthropique ou chez OpenAI
04:39Maintenant il y a l'équivalent
04:40C'est des programmes permanents
04:41C'est Trust Access for Cyber
04:43Ce sont des programmes vertueux
04:45On ne donne pas accès à tout
04:46Pour expliquer en fait c'est le fait de donner accès à certains modèles uniquement à des acteurs de la
04:50cybersécurité
04:51Oui uniquement aux équipes qui cherchent des failles pour la défense
04:54Uniquement aux équipes qui cherchent à mettre sur le marché de l'informatique qui seraient moins vulnérables
04:58On a quand même un problème aujourd'hui global dans l'industrie du logiciel
05:01Qui est la présence de failles latentes, de vulnérabilités qui ne sont pas encore connues et qui vont être découvertes
05:07Est-ce que c'est l'attaquant ou est-ce que c'est le défenseur qui vont les découvrir en
05:10premier ?
05:10Si c'est l'attaquant il va les exploiter, si c'est le défenseur il va les corriger
05:14Moi j'attends de cette innovation dans les modèles qu'on s'en serve pour détecter les failles avant qu
05:19'on mette les produits sur le marché
05:20Pour qu'on les corrige et qu'on assainisse cette industrie du logiciel
05:23Ça c'est un exemple vertueux, il ne faut pas le ralentir
05:25Alors j'ai peut-être effectivement été un peu exagéré avec ce bouton pause
05:30Parce qu'il y a une nuance importante entre le fait d'appuyer sur la pause et puis sur le
05:34fait de ralentir simplement
05:35Ce qu'ont l'air de dire à un certain nombre d'acteurs du secteur
05:37Ils disent attendez, il faut quand même qu'on prenne le temps de la réflexion
05:41Ralentir, qu'est-ce que ça peut vouloir dire ?
05:42Par exemple en tropique ils disent on va installer des évaluateurs tiers qui vont venir dans notre entreprise
05:48Et qui vont être capables de noter les modèles, de les auditer, de faire des rapports sans aucune censure
05:53D'abord est-ce que c'est crédible et est-ce que ça pourrait être vraiment utile ?
05:56Mais ça veut dire qu'il va falloir qu'ils changent un petit peu leur ADN
05:59Parce que je le disais tout à l'heure lorsque je parlais des modèles qui sortent
06:01Dès qu'il y en a un qui sort un modèle, deux jours après l'autre dire
06:04Bah nous notre modèle est encore plus puissant
06:05Donc effectivement je me suis de l'avis de Sylvain
06:08Cette course à la nouvelle version est peut-être trop
06:11C'est peut-être là où il faut ralentir
06:13Il y a les introductions en bourse derrière
06:14Et dans les entreprises il y a des directions éthiques
06:18Il y a des directions qui regardent
06:19Quand on signe un contrat commercial
06:24Il y a une direction juridique qui regarde si tout est respecté
06:27Si les clauses environnementales sont respectées
06:29Si les clauses juridiques, légales sont
06:31C'est peut-être là aussi sur les IA
06:33Il faut davantage de personnes sur la cyber
06:35Regarder si tous les risques sont bien pris en compte
06:37Si les personnes qui doivent l'utiliser, quel niveau d'expertise elles doivent avoir
06:45Et c'est tout ça et je pense que c'est à ces acteurs de travailler dessus
06:48Puis surtout, moi ce qui m'inquiète aussi
06:50C'est que là on parle d'OpenAI et d'Enthropic
06:51Mais eux ils vont ralentir
06:53Alors les autres ne vont peut-être pas ralentir
06:54Mais si eux poussent à ralentir
06:55Et que derrière on a des start-up, on en connaît en France
06:57Qui sont obligés, qui subissent un peu tout ça
07:00Ils vont dire, ah bon nous il faut qu'on ralentisse aussi
07:02Mais attendez, et là on creuse encore l'inégalité
07:05C'est ce pourquoi certains critiquent
07:07Enthropic, OpenAI, enfin tous les tenants
07:09En tout cas du ralentissement, c'est de dire
07:11En fait ils veulent juste protéger leur position
07:12Et empêcher l'innovation
07:14Ça fait aussi partie du
07:15Ils jouent leur jeu, ils jouent leur partition d'une certaine manière
07:17Oui mais je voulais aussi rebondir sur ce que tu disais Frédéric
07:20Parce que je suis complètement d'accord là
07:22Sur ce que tu disais sur les cadres juridiques
07:24Les normes, enfin les chartes
07:26Que les entreprises peuvent utiliser
07:28Je trouve que sur les
07:30Deux, trois dernières années
07:31On a beaucoup parlé d'équité
07:33Alors est-ce qu'on peut traiter des données RH avec de l'IA
07:36Est-ce qu'on peut faire des décisions de recrutement avec de l'IA
07:38Est-ce qu'on peut traiter tel type de données avec de l'IA
07:41Avec un angle très orienté justice et équité
07:43Qui est important
07:45Mais on a eu un angle mort énorme sur la sécurité
07:48Et aujourd'hui dans les chartes
07:50Des entreprises, quand on voit
07:51Comment elles se préparent à l'arrivée de l'IA
07:53Tout le sujet est sur
07:55Quels sont nos protocoles de test
07:57Nos protocoles de validation
07:58S'assurer qu'on a des personnes qui valident
08:00Qui sont différentes des personnes qui construisent
08:02Comment est-ce qu'on définit nos standards minimaux
08:05De sécurité d'IA
08:06Alors on a parlé d'accès des agents
08:08On peut parler de façon dont on gère le contexte
08:10La mémoire
08:11Quelle supervision on donne
08:12Tous ces sujets-là
08:13Sont pas complètement explicités
08:15Dans les entreprises aujourd'hui
08:16Et ça
08:17Il faut vraiment avancer là-dessus
08:19Mais on l'a perdu au fil des années
08:21Parce que les développeurs avant
08:22Faisaient ces phases de test
08:24Regardaient tout ça
08:25Et aujourd'hui on a perdu tout ça
08:27Parce qu'on veut aller vite
08:28Raphaël ?
08:29En fait ça c'est remarquable
08:30Sylvain tu as raison
08:31Il y a deux ans en Europe
08:32On parlait beaucoup de
08:33Responsible AI
08:34Il y a un responsable
08:34Et moi dans mon métier
08:35J'ai abordé la sécurité
08:36Comme un sous-ensemble
08:37De la responsabilité de l'IA
08:38La lutte contre les billets
08:39La sûreté etc
08:40Aujourd'hui
08:41Tu disais Anthony
08:42La sécurité devient
08:44Premier plan des discussions
08:46Parce qu'on a débordé
08:48Du sujet de la pure sécurité
08:49Au sens
08:50Faire face à un individu mal intentionné
08:52Mais on est dans un sujet
08:53De sûreté de fonctionnement
08:54Au sens détournement d'usage
08:55Par des individus
08:58Qui sont peut-être
08:59Peu scrupuleux
09:00D'outils qui sont déjà présents
09:02Frédéric tu parlais tout à l'heure
09:03De l'IA de l'ombre
09:04Le Shadow AI
09:04Là on n'est plus
09:05Même dans le Shadow AI
09:06On est dans des outils
09:07Qui sont déployés
09:08De manière légitime
09:09Dans l'entreprise
09:10Mais dont l'usage est détourné
09:12Pour aller plus vite
09:13Et c'est là où il y a un danger
09:14C'est pas la technologie
09:15Le danger encore une fois
09:15C'est qu'est-ce qu'on va en faire
09:16C'est la façon de relire
09:17Par exemple les agents
09:17IA en entreprise
09:18Qui ont accès aux données RH
09:19Qui envoient des mails
09:20Avec des factures automatiques
09:22Vers les clients
09:23Tout ça c'est
09:23On le fait aujourd'hui
09:24Il y a aujourd'hui en France
09:27113 identités machines
09:28Confiées à des agents
09:29Pour une identité humaine
09:31Une des erreurs par exemple
09:33C'est-à-dire qu'il faut freiner
09:33Sur les agents
09:33Vous qui déployez aussi
09:35Sylvain l'IA
09:36Pas sur les modèles
09:37Pas sur les agents
09:37Parce qu'on n'arrête pas
09:38De nous dire
09:39Il y a agentique
09:39Il y a agentique
09:40C'est le futur
09:40Il faut absolument déléguer
09:42Le plus de choses possibles
09:43A l'IA
09:43Ça va vous faire gagner
09:44Vous allez avoir des gains
09:45De productivité complètement fous
09:46Pas freiner
09:47Mais maîtriser
09:47Quand on délivre
09:48Une identité à un agent
09:49Quand on délivre
09:50Une identité qui est déléguée
09:51D'un humain à un agent
09:53L'erreur à faire
09:53Et qui a beaucoup été faite
09:54Aujourd'hui jusqu'à présent
09:55Ça n'a rien à voir
09:56Avec la course au modèle
09:57C'est de donner
09:58Son mot de passe
09:59Ou un token
10:00A un identifiant de session
10:01Qui va faire que l'agent
10:02Se comporte comme l'humain
10:03Il ne faut jamais donner
10:05Son identifiant
10:06Et son mot de passe
10:06A un agent IA
10:07Non mais c'est
10:08C'est le nouveau conseil
10:09De la sécurité
10:09Vous ne savez pas
10:10Ce qu'il va faire plus tard
10:11Quand vous donnez
10:13Une délégation d'identité
10:14A un agent
10:14Dans l'entreprise
10:15Il faut que ce soit
10:15Ce qu'on appelle
10:16Du just in time
10:17Juste pour le scope
10:18Le périmètre d'action
10:19Le temps d'action
10:20Qui est prévu pour l'agent
10:21Si votre agent
10:22Par exemple
10:22Qui envoie des factures
10:23Par mail automatiquement
10:24A un client
10:25C'est très bien
10:25S'il se met à envoyer
10:26Des mails piégés
10:27A vos collaborateurs
10:28Il a les mêmes droits d'accès
10:29Mais il ne devrait pas faire ça
10:30Et c'est ça qu'il faut
10:31Qu'on arrive à bloquer
10:32Si on reprend un tout petit peu
10:33De hauteur sur l'idée
10:34Alors pas seulement
10:35D'agents mal intentionnés
10:36Enfin d'agents
10:36D'humains mal intentionnés
10:37Qui utiliseraient l'IA
10:38Mais d'une IA
10:39Qui deviendrait
10:39De plus en plus autonome
10:40D'une certaine manière
10:41Il y a la notion
10:42Qu'on a déjà évoquée
10:43Mais je voudrais
10:44Qu'on y revienne
10:45Un tout petit peu
10:45D'alignement
10:46Qui est très importante
10:48L'alignement
10:49C'est
10:50Je parle sous votre contrôle
10:51Mais c'est l'idée
10:51Qu'on doit concevoir
10:53Une IA
10:53Qui soit alignée
10:55Qui soit conforme
10:56A notre valeur
10:58En tant qu'humain
10:58Qui mette la vie humaine
11:00Finalement
11:00En tant que première
11:02Chose de première importance
11:03C'est un peu finalement
11:04Les lois d'Azimov
11:05Mais appliquées
11:05A l'intelligence artificielle
11:07On peut le résumer
11:07Comme ça Sylvain ?
11:08Oui alors je pense
11:09Qu'aujourd'hui
11:09Quand on cherche
11:10A aligner une IA
11:12On est sur des principes
11:13Moins fondamentaux
11:14Que la valeur
11:16De la vie humaine
11:17Et les règles
11:19De la robotique
11:19D'Azimov
11:20On peut dire
11:20Si
11:22Les grands labos d'IA
11:23Ils passent un temps
11:24Infini
11:25A mettre des garde-fous
11:26Si on demande
11:27Comment on fabrique
11:27Une bombe
11:28On dit non
11:28Si on demande
11:29A être moi
11:30A me suicider
11:30On dit non
11:31Et on prévoit
11:32Tout un tas de cas
11:33Où on dit
11:34Il ne faut pas faire
11:34Mais ce que disait
11:35Frédéric tout à l'heure
11:36C'est impossible
11:37D'imaginer aussi
11:38Tous les cas
11:39Qui vont se produire
11:39Etc
11:40Et on a un problème
11:41Où même
11:42Quand on a mis en place
11:43Un garde-fous
11:43On sait que
11:45Ils ne sont pas
11:47Systématiquement suivis
11:47Et du coup
11:48Et j'aime beaucoup
11:49L'exemple que donnait Raphaël
11:50Parce que c'est vraiment
11:51Un enjeu
11:52C'est une notion
11:52D'identifiant des agents
11:54J'ai un collègue
11:55Chercheur en IA
11:56Avec qui j'en parlais
11:56Qui me disait
11:57Tu vois
11:57On va mettre
11:57Tous les garde-fous possibles
11:58Mais à la fin
11:59Un agent
12:00On ne sait pas exactement
12:01Ce qui se passe
12:02Dans la chaîne
12:03De causalité
12:04Qui va donner
12:04Telle ou telle décision
12:06Pour ne pas faire
12:07D'anthropomorphisme
12:08Il disait
12:08Arrêtons de dire
12:09Qu'ils sont méchants
12:10Ou je ne sais pas quoi
12:10On ne sait pas
12:11Ce qui se passe
12:11Entre guillemets
12:12Dans leur tête
12:13Imagine que tu as un lion
12:14Ce lion
12:15Imagine qu'il a été dressé
12:17Bien dressé
12:18Pour ne pas faire
12:18D'imbécilité
12:19Et ça c'est un peu
12:20Les garde-fous
12:20Que mettent les grands labos IA
12:23Parce que c'est un lion
12:24Tu as quand même envie
12:25Qu'il soit dans une cage
12:26Même s'il a été dressé
12:27C'est une bonne analogie
12:28C'est de l'anthropolionisme
12:31Pour revenir à ce que
12:34Disait Raphaël
12:36Donner le même accès
12:38Qu'un humain
12:39En matière de données
12:40D'entreprise
12:41Et les mêmes droits
12:42A un agent
12:43C'est pas possible
12:45C'est pas possible
12:46Et c'est pas parce que
12:47Il n'y a pas de garde-fous
12:48C'est pas parce qu'il est
12:50Mal intentionné
12:50Non
12:51C'est juste que
12:52C'est pas possible
12:52Et une chose frappante
12:54C'est que peu d'entreprises
12:55Aujourd'hui
12:55Ont mis en place
12:56Des systèmes
12:57Pour se dire
12:57Quand quelqu'un se connecte
12:59Est-ce que c'est un agent
13:00Ou est-ce que c'est un humain
13:01Parce que quand on a une connexion
13:03On va devoir gérer
13:05Très différemment
13:06Une connexion humaine
13:07Par rapport
13:08A une connexion agentique
13:10Et donc
13:11Oui il y a des efforts
13:12D'alignement
13:12Oui on a des défis
13:14D'alignement
13:15Mais qui sont des défis
13:15Scientifiques
13:17Et ça ça impose
13:18De s'assurer
13:19Qu'on a bien mis
13:21Une petite cage
13:21Autour du lion
13:23Justement tu disais
13:24De prendre de la hauteur
13:24Par rapport à l'alignement
13:25Moi je dirais aussi
13:26Il faut revenir aussi
13:27Aux fondamentaux
13:27Moi je reviens sur le rôle
13:28Des développeurs
13:30Aujourd'hui évidemment
13:31On dit
13:31C'est plus la peine de développer
13:32On prend du code
13:33On prompt
13:34Et puis c'est l'IA
13:34Qui va coder
13:35Et là c'est là
13:36On a quand même
13:37Il ne s'agit pas tous
13:37De se remettre à des lignes de code
13:39Mais aujourd'hui
13:40Il faut que les codeurs
13:41Sachent
13:42Connaissent l'architecture
13:43De leur algorithme
13:44Et tout ça
13:44Et ça on est peut-être
13:45En train de le perdre
13:45Et ça c'est un peu dangereux aussi
13:47Parce que
13:48Je prends juste un exemple
13:49Tout le monde a développé
13:50En C, C++
13:52Avec une gestion
13:53De la mémoire déplorable
13:54Aujourd'hui on s'en mord les doigts
13:55Sur tout un tas de sujets
13:57On n'aurait peut-être
13:58Pas besoin d'autant de rames
13:59Si on avait mieux développé avant
14:01Mais ça c'est une autre histoire
14:02Mais tu vois
14:03Il y a cet aspect là aussi
14:04Qui est important
14:05Le ralentissement
14:06Est-ce que c'est juste
14:06Une question de laboratoire
14:08De recherche
14:08Et de géants de la tech
14:09Ou est-ce que c'est aussi
14:10Les états
14:11Qui doivent chapoter un petit peu tout ça
14:12Parce qu'on voit que
14:14Bon
14:15Anthropik
14:16Open AI
14:16Là ils ont annoncé
14:17C'était la semaine dernière
14:18Qu'ils voulaient mettre en place
14:19Une sorte d'organe
14:20C'était Démis Asabis je crois
14:21Le patron de l'IA
14:22Chez Google
14:22Qui a eu cette idée
14:23Oui c'est ça
14:23Une sorte d'organe de supervision
14:25Mais qui serait en fait
14:27Financé par eux-mêmes
14:28Je voyais une comparaison
14:29C'est comme si
14:30Coca et Pepsi
14:31Lançaient un organe de supervision
14:33Des boissons sucrées
14:33Est-ce qu'on aurait vraiment confiance
14:35En ce genre de choses
14:36Ou est-ce qu'il doit y avoir
14:37Une supervision
14:38Un peu plus haute
14:39Est-ce qu'on doit
14:40Finalement considérer l'IA
14:41Peut-être un peu comme le nucléaire
14:43Avec une AIEA
14:45Une agence internationale
14:46De contrôle
14:47Je sais pas
14:48Je pose la question
14:49Je mets ça sur la table
14:49Qu'est-ce que vous en pensez vous ?
14:51Moi je pense que
14:53Évidemment tout le monde
14:54Appelle de ses voeux
14:55Plus de régulation
14:56Pour essayer de gérer ses risques
14:57Il faut se poser la question
14:58De toutes ces entités
15:00Qu'est-ce qu'elles feraient ?
15:01Parce que si on prend
15:01L'analogie de l'aérien
15:03L'aérien
15:04Tout est archi codifié
15:05On a des standards
15:06Donc quand on a un incident
15:07Déjà on sait ce que c'est
15:08Qu'un incident
15:09Et la plupart des incidents
15:09On les voit pas
15:10Il y a des investigations
15:12Qui sont faites
15:13Pour se dire
15:13Où est la source de l'incident
15:14Etc
15:15Mais on a des standards
15:16Aujourd'hui
15:17On n'a pas les standards
15:18Dans l'industrie
15:19On n'a pas la science
15:20Qui va derrière
15:21Et donc
15:22Avant de commencer
15:23A imaginer une police
15:24Et puis on dit
15:25Un képi
15:26Un sifflet
15:27Des camionnettes
15:27Qu'est-ce que je fais ?
15:28Enfin je veux dire
15:28L'IA elle est partout
15:29Elle est dans beaucoup
15:30Elle est dans plein d'endroits
15:33Je pense que l'urgence
15:34C'est les standards
15:35Pour se dire
15:36Qu'est-ce qu'on se dit
15:37Qui est bon
15:37Enfin qui est le bon niveau
15:39Disons
15:39Et puis les initiatives
15:41Dont on parlait avec Raphaël
15:42Sur
15:43Il y a des prélancements
15:45Qui sont faits
15:46Des acteurs de confiance
15:48Pour tester
15:48Pour retester
15:49Etc
15:50Ça c'est des choses
15:51Auxquelles je crois
15:51Qu'il y ait des communautés
15:53De type open source
15:54Même si c'est
15:55L'open source secondaire
15:56Qui puissent aussi
15:58Vérifier
15:58C'est quoi open source secondaire ?
15:59Ça veut dire quoi ?
15:59Open source primaire
16:00C'est complètement open source
16:02Open source secondaire
16:03C'est des modèles
16:04Qui ont été
16:05Entraînés
16:05Sur des données
16:07Dont on ne sait pas
16:08Exactement ce qu'elles sont
16:08Mais dont les poids
16:10Sont verrouillés
16:11C'est les fameux
16:12Open weight models
16:13Qui eux
16:13Une fois que les poids
16:14Sont verrouillés
16:14Sont ouverts
16:15Même si on ne sait pas
16:15Exactement comment
16:16Ils ont été entraînés
16:17Là on peut se dire
16:18Que ces communautés open source
16:19Peut-être qu'elles peuvent
16:20Jouer un rôle aussi
16:20Dans le suivi
16:22Le monitoring
16:23Etc
16:24Mais réguler demain
16:26Je ne sais pas très bien
16:27Ce que je ferais
16:27Si j'étais patron
16:28De la police de l'IA
16:29Alors qu'elle soit faite
16:30Par les acteurs de l'IA
16:31Par les états
16:32Par tout le monde
16:34C'est une super idée
16:35Mais je pense
16:36Que c'est un peu théorique
16:37À ce stade
16:37C'est difficile d'être concret
16:38Raphaël puis Fred
16:39Il ne faut pas déresponsabiliser
16:41Les donneurs d'ordre
16:42Les patrons d'entreprises
16:43Qui consomment aussi
16:44Qui utilisent l'IA
16:45Je pense que
16:45Une bonne analogie
16:46C'est effectivement l'aérien
16:48Il y a cette frontière
16:50Entre la sécurité
16:51Et la sûreté
16:52En matière informatique
16:52Qui est en train
16:53De s'émousser
16:54Où on commence à avoir peur
16:55Avoir des craintes légitimes
16:57Qu'on sorte un peu
16:57De la cage
16:58De la sandbox
16:58Non mais l'aérien
17:00Je vous interromps
17:00Une seconde là-dessus
17:01Mais si demain
17:02Airbus me dit
17:03Mon prochain avion
17:04Il est super
17:05Enfin un chercheur d'Airbus
17:06En revanche
17:07Il y a 10% de chances
17:08Qu'il se crache
17:09Je ne suis pas sûr
17:09Qu'on le fasse décoller
17:10Et comment on arrive
17:11A ce résultat
17:12C'est vrai qu'il y a un historique
17:13Qui nous manque un peu
17:13Dans le domaine de l'IA
17:14Et du numérique en général
17:16Le passif des sinistres
17:17Et des sinistres évités
17:19Les presque évités
17:20Est trop faible encore
17:22En aérien
17:22Ils l'ont beaucoup plus
17:23Mais c'est cette culture
17:24De la feedback loop
17:26De la boucle d'apprentissage
17:27De rétroaction
17:27Qu'il faudrait qu'on ait
17:28Un peu plus en cyber
17:30Chaque fois qu'il y a
17:30Un incident tout juste évité
17:32Par exemple
17:33Ça doit donner lieu
17:34A un rapport dans l'entreprise
17:35Qui permet à l'entreprise
17:36De devenir plus résiliente
17:37En modifiant
17:38Soit ses arnais IA
17:39Pour qu'il soit plus contraignant
17:41Ou en modifiant
17:42Sa gestion d'identité
17:43Pour qu'elle soit
17:43Moins permissive
17:45Ou en modifiant
17:47Son exposition
17:47En surface d'attaque externe
17:49Pour qu'elle soit
17:49Moins exposée à internet
17:50En tout cas
17:50Apprendre
17:51Des incidents
17:52Tout juste évité
17:54Ça c'est quelque chose
17:55Qu'on ne fait pas assez
17:55Qu'on pourrait faire plus
17:56Avec l'IA d'ailleurs
17:57Parce que l'IA
17:57Peut nous permettre
17:58D'aller plus vite
17:59Dans la boucle d'apprentissage
18:00Et dans l'amélioration
18:01De la résilience des entreprises
18:03Frédéric
18:03Moi je trouve
18:04Ce qu'il y a d'intéressant
18:04Quand même aujourd'hui
18:05C'est qu'on voit
18:05Que c'est monté
18:06Au niveau des chefs d'Etat
18:07On vit en ce moment
18:08La rencontre
18:08Entre Donald Trump
18:09Et Xi Jinping
18:10On sait que l'IA
18:11Ça va être l'un des thèmes
18:12De leur discussion
18:13Le pape est à Paris
18:14Il est à l'UNESCO
18:16Il passe à l'UNESCO
18:17L'IA va faire partie
18:18On connait
18:18Il a fait une encyclique
18:19On recommande d'ailleurs
18:20Aux tous de lire
18:21Parce qu'il met quelques
18:23Beaucoup de pistes
18:24À l'intérieur
18:24Sur lesquelles on pourrait s'inspirer
18:26Et à l'UNESCO
18:26Il va parler de l'IA
18:27Donc je trouve que déjà
18:28On arrive à un niveau état
18:29Avant on n'en parlait même pas
18:30La cyber et tout ça
18:32Vaguement
18:33Et là aujourd'hui
18:34C'est bien que ça remonte
18:35L'exemple de Donald Trump
18:36Est intéressant
18:36Parce qu'au moment
18:37Où tout le monde
18:38Nous dit
18:39Attention il y a un risque majeur
18:41Il faut absolument ralentir
18:42Tiens Donald Trump
18:43Lui il est en mode
18:43Non non il faut accélérer
18:45On en a parlé
18:46Sur l'antenne de BFM Business
18:48Hier
18:48Vous avez vu qu'il voulait
18:50Remplacer le terme
18:51Intelligence artificielle
18:52Dans tous les documents officiels
18:53Par le terme de super intelligence
18:55Et en fait c'est pas anodin
18:57Il y a un côté gadget de langage
18:58Mais derrière ça
18:59Il y a la réflexion de
19:00Non on va donner
19:00Un côté positif
19:03Super intelligent
19:03C'est un super truc
19:04Parce qu'il faut surtout
19:06Surtout pas ralentir
19:06Il faut aller au contraire
19:07Beaucoup plus vite
19:08Et il faut pas prendre de retard
19:08Par rapport à la Chine
19:09Donc il y a aussi
19:10Cet enjeu là
19:10Qui est absolument majeur
19:11Et qui fait que ça va être compliqué
19:12De ralentir en réalité Fred
19:13Mais surtout
19:14Juste pour pas garder la parole
19:15Mais il y a aussi
19:18Une vision différente
19:19Entre les américains
19:20Et les chinois
19:20Les américains
19:21Ils sont justement
19:22Vers cette super intelligence
19:23On va ressembler à l'homme
19:24Et tout ça
19:25Alors que les chinois
19:26Je les trouve
19:26Beaucoup plus pragmatiques
19:27C'est une IA
19:28Au service de l'industrie
19:30Une IA pour aller plus vite
19:31Dans l'espace
19:32Une IA pour l'industrie
19:34Et je trouve que là-dessus
19:35Voilà ils ont une autre
19:36Une autre vision aussi
19:37De cette IA
19:38Il faut pas forcément
19:39Les mettre sur le même point
19:41Sylvain ?
19:42Et ce qui complique aussi
19:43Tout le débat
19:44C'est pourquoi est-ce que
19:45Trump en parle
19:46Pourquoi est-ce que
19:47Le conseil de sécurité
19:48De l'ONU en parle
19:49Parce qu'en fait
19:50Il y a aussi des implications
19:51Militaires associées
19:52A ces technologies
19:52Et je pense que c'est aussi ça
19:54Qui à un moment donné
19:55Est en arrière de fond
19:56Sur tous ces débats
19:57Et qui rend encore plus difficile
19:59La notion de ralentir ou pas
20:01C'est que c'est pas simplement
20:03Pour l'économie
20:04Mais il y a des enjeux
20:05Qui sont géostratégiques
20:07Qui sont majeurs
20:07Autour de l'IA
20:08Et c'est ce qui vient aussi
20:10Je dirais un peu
20:12Polluer
20:13Le fait que c'est pas
20:14Un simple débat
20:15De bâtissons des standards
20:17Pour être sûr de ce qu'on fait
20:18Mais que les enjeux
20:19Les enjeux dépassent
20:20Et l'Europe dans tout ça
20:22Alors est-ce que nous
20:23Avec notre IA Act
20:24Qu'on a été les premiers
20:25A implémenter
20:26On a quand même eu
20:27Une régulation
20:27De l'intelligence artificielle
20:29Ou un encadrement
20:30Avant tout le monde
20:31Est-ce qu'il faut
20:31S'en féliciter
20:32Vu le climat actuel
20:33Très anxiogène
20:34Sur les dangers
20:34A l'époque on disait
20:35On veut réguler
20:36Avant d'innover
20:37Bon là on voit
20:38Qu'il y a quand même
20:38Un danger potentiel
20:40Même si on l'a un peu
20:40Tempéré aujourd'hui
20:41Est-ce qu'il faut
20:42S'en féliciter
20:43Ou est-ce qu'on est encore
20:44On est en train
20:44Juste de prendre du retard
20:45Par rapport aux Etats-Unis
20:46Et à la Chine
20:47Qui continuent leurs courses
20:48A l'innovation
20:49Sylvain
20:49Sur l'IA Acte
20:51On a beaucoup réfléchi
20:52A équité et justice
20:53Moins à sécurité et sûreté
20:55Et là il y a un angle mort
20:57Un peu
20:57Donc
20:58C'est pas vraiment
20:59Dans l'IA Acte en fait
21:00Non c'est un peu à côté
21:01Alors il y en a un peu
21:02Mais c'est beaucoup moins
21:04Développé je dirais
21:05Que ce qui se passe
21:06Sur les questions
21:06D'équité et de justice
21:07Maintenant le jeu
21:08De l'Europe
21:09Dans tout ça
21:11Il faut trouver la troisième voie
21:13Alors on n'est pas
21:14Dans la course au grand modèle
21:15Mais je pense
21:16Qu'on peut jouer un rôle
21:18Sur justement
21:19Ces partages de standards
21:21L'Europe a été associée
21:22Quand même fortement
21:23Aux initiatives
21:24Sur les pré-tests
21:26Des derniers modèles
21:27D'Open Air et Anthropique
21:28Et je pense que
21:29L'Europe qui est un peu
21:32Indépendante des parties
21:33Là-dessus
21:33Dans cette course au modèle
21:35Je pense que pour
21:36Tout ce qui peut être
21:37Collaboration entre
21:38Grands acteurs de confiance
21:39Entre grands écosystèmes
21:41Recherche de standards
21:42On peut faire beaucoup
21:43Il y a un sujet
21:44Dont on n'a pas parlé
21:45C'est qu'il nous manque
21:46De la science aussi
21:47Sur ces sujets
21:48Notamment sur ces sujets
21:49D'alignement
21:49Et donc on a besoin
21:51Que les labos de recherche
21:52Au-delà des labos IA
21:53Mais l'ensemble
21:53De la communauté académique
21:55Bossent aussi là-dessus
21:56Et produisent
21:57De la connaissance scientifique
21:58Et là aussi
21:59L'Europe peut jouer un rôle
22:00Indépendamment de la course
22:02Entre les deux géants
22:03Frédéric ?
22:04Il faudrait déjà
22:05Que l'Europe réussisse
22:06A parler d'une seule voix aussi
22:07Parce qu'on dit l'Europe
22:08Mais nous les Français
22:09On tire un peu
22:09Dans notre coin
22:10Les Allemands
22:11Tirent dans le leur
22:12Les Anglais
22:13Si on les assimile un peu
22:14Au bloc européen
22:17Sont un peu dans leur monde
22:18Il y a un peu
22:19Ce souci là aujourd'hui
22:20On aimerait
22:20Qu'on aurait aimé
22:21Alors nous on a un Mistral
22:22C'est bien
22:23Si l'Europe avait pu
22:24Se tourner derrière un Mistral
22:25Puis nous on dit aux Allemands
22:25Qu'est-ce que vous avez vous
22:26Et nous on sera derrière vous
22:28Pour cette partie là
22:29Mais en sein
22:30Déjà il y a
22:31Cette idée là
22:32Qui est difficile
22:33Mais je pense que
22:34L'Europe pour moi
22:36Dans ce domaine là
22:36Pour moi la troisième voie
22:38C'est un peu
22:38C'est entre les Chinois
22:39Et les Américains
22:40C'est s'intéresser à l'IA
22:41Dans les entreprises
22:42C'est les entreprises
22:42Qui vont nous aider
22:43A être performantes
22:44A créer de l'emploi
22:45Et tout ça
22:45C'est l'IA et l'éducation
22:46Il faut aller sur ces points là
22:47Ne pas chercher à avoir
22:49Effectivement une vue globale
22:50De l'IA
22:50Qui va apporter
22:51Mais aller à l'IA
22:52Et la défense
22:53Avoir ces stratégies
22:55Un peu sectorielles
22:56Ou par métier
22:58Il faut vraiment agir
22:59Dans ce côté là
22:59Raphaël
23:00On peut avoir
23:01La meilleure technologie du monde
23:02Si on ne sait pas
23:03Comment s'en servir proprement
23:04Si on ne sait pas
23:04Comment s'en servir
23:05Pour tirer de la valeur
23:06Je vais prendre un exemple
23:06On a eu jusqu'à récemment
23:08Beaucoup d'entreprises
23:09Qui disaient
23:09Chez moi l'adoption de l'IA
23:11Elle est géniale
23:11J'ai 80% de mes salariés
23:13Qui consomment une licence
23:15D'un laboratoire
23:15JGPT ou Pelloré
23:17Non ce n'est pas la bonne métrique
23:18C'est quelle valeur
23:18Ça apporte à la société
23:19En termes de profitabilité
23:21De go to market
23:22De différenciation sur le marché
23:24Et aussi dans la chaîne de valeur
23:27Quelle est la bottom line
23:28En termes de coût
23:29Le nombre de licences consommées
23:30Ce n'est pas un indicateur qualitatif
23:32Pour savoir si ça apporte de la valeur
23:33C'est un indicateur de coût
23:34Au contraire par exemple
23:35Donc on se focalise beaucoup
23:37Sur les modèles
23:37Je vais revenir là-dessus
23:38C'est le savoir faire faire
23:39Qui compte
23:40On fait faire à la machine
23:41Il faut qu'on sache faire faire
23:42C'est comment on agence ces modèles
23:44Comment on les orchestre
23:45C'est comment on crée des harnais
23:47Je pense qu'il va y avoir
23:48Un domaine qui va se développer
23:50Et l'Europe peut jouer dessus
23:51Et doit jouer dessus en ce moment
23:53Et démarrer
23:54C'est orchestrer ces modèles IA
23:56D'où qu'ils viennent
23:57Amérique, Chine
23:58Ailleurs
23:59Pour les utiliser de manière sûre
24:02En termes de sûreté de fonctionnement
24:03Dans l'entreprise
24:04Et pour que ça dégage
24:05De la valeur économique
24:08On approche de la fin de l'émission
24:09Je voulais vous poser
24:10Quelques questions de conclusion
24:11Si on se projette un tout petit peu
24:13On est en 2030
24:14Qu'est-ce qui vous inquiète le plus ?
24:16Est-ce que c'est
24:17Que l'IA soit devenue trop puissante
24:19Potentiellement dangereuse
24:20Ou qu'on ait eu tellement peur
24:22Qu'on ait fini par freiner
24:23Voir stopper une révolution extraordinaire ?
24:26Vous ayant écouté tout au long de l'émission
24:28J'ai pas tellement de doutes sur la réponse
24:30Je vous la pose quand même
24:31Sylvain
24:31Moi je pense qu'on aura du mal à stopper
24:34Il y a un engouement énorme au niveau
24:36Du grand public
24:37Des entreprises
24:38Etc autour de l'IA
24:39Donc je pense qu'on va y aller
24:40De toute façon
24:41Et tu l'as dit à un moment donné aussi
24:42On attend beaucoup de choses de l'IA
24:44En éducation
24:45En santé
24:45Sur tout un tas de domaines
24:46Qui sont très importants
24:48Mon souci à court terme
24:50Assurons-nous
24:50Qu'on crée pas un rejet
24:52Trop fort de l'IA
24:53Et on commence à voir poindre
24:54Ici et là
24:55Des voix très dissonantes
24:56Par rapport à l'IA
24:57Des mouvements en d'IA
24:58Tout à fait
24:59Des mouvements
25:00Et donc à mon avis
25:01Il y a un énorme enjeu
25:02D'éducation
25:03De communication
25:04Et de responsabilité
25:06Mais alors pas au sens
25:08Responsabilité
25:09Comme on l'entend
25:09IA responsable aujourd'hui
25:11Dans les entreprises
25:13Responsabilité sociétale
25:13Des grands acteurs de l'IA
25:15Pour s'assurer
25:15Qu'on fait quelque chose
25:16Qui embarque l'humanité
25:18Et qui laisse pas une partie
25:19De l'humanité sur le côté
25:20Raphaël Marichet
25:21Anthony vous allez être surpris
25:23De ma réponse
25:23J'imagine
25:25Ce qui m'empêche
25:26De dormir moi aujourd'hui
25:28Quand je vois
25:29Que toute informatique moderne
25:31Aujourd'hui
25:31Est construite à 90%
25:33Au moins
25:33Sur du code source
25:34Qui vient des logiciels libres
25:35Même les logiciels propriétaires
25:37Sont construits en grande partie
25:38Sur du code source
25:38Qui vient des logiciels libres
25:39Ce logiciel libre
25:41Grâce ou à cause
25:42Des capacités
25:43De ces modèles de frontières
25:44Est devenu complètement transparent
25:46Pour y découvrir des failles
25:47La grande crainte
25:48C'est que de nombreuses entreprises
25:50En France
25:50Partout ailleurs
25:51Se fassent compromettre
25:53Pas parce qu'elles ont été ciblées
25:54Mais par ce qu'on appelle
25:55Une attaque en supply chain
25:56Une attaque en chaîne
25:57D'approvisionnement logiciel
25:58C'est qu'un composant
25:58De logiciel libre
25:59Qui est utilisé massivement
26:01Dans les entreprises
26:02Soit lui-même compromis
26:03Et piégé
26:04Et installé légitimement
26:05Dans les entreprises
26:06Et qui l'exfiltre
26:07De la donnée
26:08Qui verrouille les systèmes
26:09C'est une attaque à l'échelle
26:10Systémique
26:11Via la supply chain logiciel
26:14Parce qu'en fait
26:14Le composant aura déjà été installé
26:16Puisque c'est un composant légitime
26:17On a eu des prémices de ça
26:18Ces derniers mois
26:19Des entreprises tech
26:21De développement
26:22Dont les équipes
26:23De développement logiciel
26:24Ont été compromises
26:25Non pas parce qu'il y avait une faille
26:27Mais parce qu'ils utilisaient
26:28Légitimement
26:30Un outil de développement
26:31Qui lui-même avait été compromis
26:33En amont
26:33Et qui repose souvent
26:34Sur le logiciel libre
26:39Nous oblige collectivement
26:40A aller plus vite
26:41Et sécuriser
26:42Toute notre pile
26:45Technologique
26:45Qui est aujourd'hui présente
26:46Dans nos entreprises
26:47C'est une urgence
26:48Frédéric
26:48Moi Macra
26:49Evidemment
26:50J'abonde
26:52Dans ce que viennent dire
26:53Sylvain et Raphaël
26:54Mais c'est
26:54Le coût du token
26:55Il ne faut pas oublier ça
26:56C'est qu'aujourd'hui
26:57Ça coûte cher
26:58De faire de l'IA
27:00Aujourd'hui
27:00C'est un peu absorbé
27:01Par les abonnements
27:02C'est pas si cher aujourd'hui
27:03Mais ça va monter
27:04Mais c'est en train de monter
27:05Dans beaucoup d'entreprises
27:06Et le risque
27:06C'est qu'on crée encore plus
27:08Une fracture numérique
27:09Déjà qu'on voit
27:12Juste un mot
27:13Sur l'appauvrissement
27:13De la France
27:14Parce que
27:14Il y a le conseil
27:15D'analyse économique
27:16Qui a dit que c'était notamment
27:17Parce qu'on n'avait pas
27:18Une adoption du numérique
27:19Assez rapide
27:20Dans les PME, TPE
27:21Et bien si en plus
27:22Le token devient trop cher
27:24Et en plus sur l'IA
27:25Ils prennent du retard
27:26Par rapport à ça
27:27Ça va être un peu compliqué
27:30Donc moi c'est ça
27:30Et ma deuxième crainte
27:32C'est tout ce qui est
27:33Autour de l'éducation
27:34Vraiment c'est
27:35Voilà comment on doit
27:36Intégrer l'IA
27:36Dans l'enseignement
27:37Dans l'éducation
27:37Comment les jeunes
27:38Doivent utiliser l'IA
27:40Et comment on doit
27:40Le renseigner l'IA
27:42Parfait merci beaucoup
27:43Messieurs
27:43On va arriver au terme
27:44De cette émission
27:44C'était passionnant
27:45J'espère que ça vous a
27:46Intéressé à la maison
27:48Clairement
27:49J'espère que vous êtes rassuré
27:50Si vous étiez un peu affolé
27:52Par cette révolution de l'IA
27:53Et tout ce qu'on entend
27:54Comme news un peu anxiogène
27:56Ces derniers temps
27:57C'est vrai que c'était intéressant
27:58De vous écouter tous les trois
27:59Frédéric Simotel
28:00Évidemment de BFM Business
28:01Raphaël Marichet
28:02Le directeur sécurité
28:04Chez Palo Alto Networks
28:05Et Sylvain Duranton
28:06Spécialiste de l'IA
28:07Et directeur monde
28:08De BCGX
28:10L'IA
Commentaires