- il y a 3 minutes
- #ia
- #intelligenceartificielle
- #tech
- #openai
- #anthropic
Un chercheur d’Anthropic vient de démissionner en accusant les grandes entreprises d’intelligence artificielle de foncer vers une superintelligence qu’elles ne maîtriseront pas. Faut-il y voir une alerte fondée ou un vertige de plus ?
Jacob Coxon a claqué la porte cette semaine en affirmant que ceux qui construisent l’IA croient sérieusement qu’elle pourrait nous tuer d’ici à la fin de la décennie. Un responsable de l’entreprise lui a emboîté le pas en évaluant ce risque à plus de 10 % sur dix ans. Pendant ce temps, OpenAI et Anthropic préparent des introductions en Bourse annoncées à plusieurs centaines de milliards de dollars.
Alerter d’un côté, accélérer de l’autre : Guillaume Grallet, rédacteur en chef technologie et sciences du « Point », réagit à cette contradiction, sur les agents IA qui se sont échappés de leur environnement de test cet été, sur les scénarios de catastrophe qui circulent chez les chercheurs, sur l’idée d’une agence internationale sur le modèle de l’AIEA, et sur la course de vitesse entre les États-Unis et la Chine, dont l’avance se compterait désormais en semaines plutôt qu’en mois.
§ #IA #IntelligenceArtificielle #tech #OpenAI #Anthropic
Suivez-nous sur :
Youtube : https://www.youtube.com/c/lepoint/
Facebook : https://www.facebook.com/lepoint.fr/
Twitter : https://twitter.com/LePoint
Instagram : https://www.instagram.com/lepointfr
Tik Tok : https://www.tiktok.com/@lepointfr
LinkedIn : https://www.linkedin.com/company/le-point/posts/
Bluesky : https://bsky.app/profile/lepoint.fr
Threads : https://www.threads.net/@lepointfr
WhatsApp : https://www.whatsapp.com/channel/0029VaDv82FL2ATwZXFPAK3c
www.lepoint.fr
§
Jacob Coxon a claqué la porte cette semaine en affirmant que ceux qui construisent l’IA croient sérieusement qu’elle pourrait nous tuer d’ici à la fin de la décennie. Un responsable de l’entreprise lui a emboîté le pas en évaluant ce risque à plus de 10 % sur dix ans. Pendant ce temps, OpenAI et Anthropic préparent des introductions en Bourse annoncées à plusieurs centaines de milliards de dollars.
Alerter d’un côté, accélérer de l’autre : Guillaume Grallet, rédacteur en chef technologie et sciences du « Point », réagit à cette contradiction, sur les agents IA qui se sont échappés de leur environnement de test cet été, sur les scénarios de catastrophe qui circulent chez les chercheurs, sur l’idée d’une agence internationale sur le modèle de l’AIEA, et sur la course de vitesse entre les États-Unis et la Chine, dont l’avance se compterait désormais en semaines plutôt qu’en mois.
§ #IA #IntelligenceArtificielle #tech #OpenAI #Anthropic
Suivez-nous sur :
Youtube : https://www.youtube.com/c/lepoint/
Facebook : https://www.facebook.com/lepoint.fr/
Twitter : https://twitter.com/LePoint
Instagram : https://www.instagram.com/lepointfr
Tik Tok : https://www.tiktok.com/@lepointfr
LinkedIn : https://www.linkedin.com/company/le-point/posts/
Bluesky : https://bsky.app/profile/lepoint.fr
Threads : https://www.threads.net/@lepointfr
WhatsApp : https://www.whatsapp.com/channel/0029VaDv82FL2ATwZXFPAK3c
www.lepoint.fr
§
Catégorie
🗞
NewsTranscription
00:00Si vous demandez à une IA de fabriquer le plus de trombones possible sur Terre,
00:04eh bien cette IA, petit à petit, elle va se développer.
00:08Et si les humains s'y opposent, eh bien elle se mettra à se retourner contre eux.
00:12L'intelligence artificielle va-t-elle éradiquer l'humanité ?
00:15Si l'affirmation semble complètement folle, elle agite le milieu de la tech qui commence à prendre peur.
00:20Alors justement, faut-il avoir peur de l'iapocalypse,
00:24cette super intelligence artificielle qui échapperait au contrôle humain pour provoquer des catastrophes en chaîne.
00:30J'en parle aujourd'hui avec Guillaume Gralet, rédacteur en chef tech et sciences du point.
00:35Salut Guillaume.
00:35Bonjour Clément.
00:36Merci d'être avec nous.
00:37Alors tu as vu qu'un chercheur d'entropie qui s'appelle Jacob Coxon a démissionné cette semaine
00:41pour alerter publiquement sur une IA qui pourrait nous tuer d'ici la fin de la décennie.
00:46Il explique que certains dirigeants partagent cette crainte en privé tout en restant publiquement rassurant.
00:51Alors est-ce qu'il faut y voir une forme de duplicité de la part des entreprises d'intelligence artificielle
00:56?
00:56Ce qui m'a frappé Clément, c'est d'abord le profil de Jacob Coxon dont tu parles, ce chercheur.
01:01C'est tout sauf quelqu'un de fantasque.
01:03C'est un très bon mathématicien.
01:05Il a remporté plusieurs Olympiades.
01:07Et en fait, en réalité, lorsqu'on regarde son parcours,
01:10on est frappé de l'importance qu'il porte à l'explicabilité de cette intelligence artificielle
01:16qu'on utilise de plus en plus tous les jours.
01:18Il a à cœur, avec d'autres chercheurs avec qui il a publié un article de recherche,
01:24de reconstituer ce qu'on appelle la chain of thought,
01:26c'est-à-dire la chaîne de pensée d'une intelligence artificielle,
01:30bien comprendre comment celle-ci prend ses décisions.
01:32Et son parcours, j'en ai un tout petit peu parlé dans ses études,
01:36il a commencé notamment chez OpenAI.
01:38Il a décidé, donc la maison mère de JazzGPT,
01:41il a décidé d'en partir, d'en claquer la porte,
01:43pour rejoindre Anthropik, ça c'était il y a quelques mois,
01:46en espérant retrouver dans cette entreprise,
01:49créée par Dario et Daniela Amodey,
01:52deux chercheurs qui ont à cœur de créer une intelligence artificielle
01:56beaucoup plus éthique.
01:57Il pensait qu'il pourrait développer cette exigence qui est la sienne.
02:02Et il s'est rendu compte, en réalité, qu'il ne pouvait pas,
02:05que les solutions qu'il proposait étaient jugées trop chères
02:08et qu'Anthropik avait uniquement pour objectif de réaliser un maximum de profit.
02:12Il faut savoir qu'Anthropik et OpenAI,
02:15donc la maison mère de JazzGPT,
02:16préparent tous les deux une introduction en bourse
02:18qu'on annonce comme record.
02:20On parle de valorisation entre 1000 et 2000 milliards de dollars.
02:24C'est colossal.
02:24C'est colossal.
02:25C'est jusqu'à 100 fois plus que la valorisation actuelle de Mistral,
02:30notre champion français.
02:32Et il est déçu.
02:34Donc il se dit plutôt que de devenir riche,
02:37c'est-à-dire qu'il part au bout de 4 mois chez Anthropik,
02:39il faut qu'il y reste 6 mois pour avoir accès à des actions.
02:42Ils préfèrent démissionner et lancer ce cri d'alerte.
02:45Donc qu'est-ce que ça signifie de la part des entreprises d'intelligence artificielle ?
02:48Elles alertent d'un côté, mais elles accélèrent de l'autre.
02:51Elles ont des valorisations absolument colossales.
02:53Est-ce que cette duplicité n'est pas au cœur de leur stratégie, finalement ?
02:56Oui, c'est ça.
02:57On observe ça notamment dans le cas de l'entreprise Anthropik,
03:00qui a été créée, rappelons-le, par Dario et Daniela Amoday,
03:04qui ont quitté, c'était en 2020, Open AI, la maison mère de Tchad-GPT,
03:11parce qu'ils ne se reconnaissaient plus dans la politique de sécurité d'Open AI.
03:15Et Anthropik a toujours eu à cœur de défendre certaines valeurs,
03:18notamment l'altruisme efficace.
03:21Et effectivement, Jacob Coxon ne trouve pas chez Anthropik
03:25les valeurs qu'il défend au quotidien.
03:27Alors, on voit que cette semaine, toujours, il y a eu un autre responsable d'Anthropik
03:31qui s'appelle Evan Humiger, qui a déclaré croire qu'il y a plus de 10% de chance
03:36que l'IA tue tous les humains dans les 10 ans,
03:39ce qui relance évidemment le débat sur le risque existentiel.
03:42Est-ce que tu pourrais nous dire à quoi ressemblerait un scénario catastrophe
03:46d'une IA qui, finalement, dégénère ?
03:49On a eu des petits précédents cet été.
03:51Oui, on a eu des petits précédents cet été.
03:53On a vu notamment des agents IA qui...
03:57Alors, il faut reconstituer un petit peu l'expérience.
04:01Explique-nous le cadre de l'expérience.
04:02Voilà, exactement.
04:03Tout ça, ça s'est passé entre mai et juin.
04:05Open AI, qui voulait tester un de ces tout derniers modèles,
04:09a décidé de les installer dans ce qu'on appelle une sandbox,
04:12c'est-à-dire un bac à sable pour notamment les isoler du reste du monde.
04:16Parce qu'on s'est rendu compte au cours des derniers mois
04:18que certains modèles qu'on appelle frontières,
04:20puisque ce sont les plus développés, peuvent être redoutables.
04:23En termes de détection de cyberfailles pour lancer des cyberattaques.
04:28Donc, ils se sont dit, on va les mettre dans une sandbox.
04:31On va faire nos expérimentations et on va bien voir ce dont elles sont capables.
04:35Et en réalité, au bout de plusieurs semaines,
04:37les chercheurs se sont rendus compte que plusieurs agents,
04:40plusieurs centaines d'agents avaient réussi à trouver une faille
04:43en passant par la plateforme open source Hugging Face pour rejoindre Internet
04:48et trouver une partie des solutions aux problèmes qu'on leur avait demandé de résoudre.
04:55C'est-à-dire qu'en fait, la fin...
04:56Elles s'étaient échappées, elles s'étaient émancipées.
04:57Voilà, elles se sont non seulement émancipées du contrôle humain,
05:01elles ont développé un mode de communication qui a échappé aux humains.
05:05Alors, j'ai envie de dire, Clément, il faut rassurer.
05:07C'est-à-dire que ces agents IA ne se sont pas encore retournés contre l'homme.
05:11Mais on voit bien dans cette expérience à laquelle on a assisté
05:17que la fin justifie les moyens pour ces agents IA.
05:20Et ça me fait penser à une expérience de pensée
05:23qui avait été développée par un philosophe britannique qui s'appelle Nick Bostrom,
05:27où il avait parlé de la machine à fabriquer des trombones.
05:31C'est-à-dire qu'il expliquait...
05:32Explique-nous, raconte-nous.
05:33Il avait dit, si vous, parce qu'il est notamment célèbre pour avoir écrit un livre
05:38qui s'appelle Superintelligence, et il avait dit,
05:39si vous demandez à une IA de fabriquer le plus de trombones possible sur Terre,
05:44eh bien, cette IA, petit à petit, elle va se développer.
05:48Elle va mettre en place, superviser le fonctionnement de différentes usines.
05:54Mais ces usines, si elles ont besoin d'avoir accès à l'énergie,
05:58n'hésiteront pas à accéder à l'énergie qui est utile aux humains.
06:02Et si les humains s'y opposent, eh bien, elle se mettra à se retourner contre eux.
06:06C'est-à-dire que, lorsque l'on fixe un but à une intelligence artificielle,
06:10il est très important d'avoir en tête...
06:13Elle reste trop concentrée.
06:14Oui, elle reste trop concentrée, c'est-à-dire qu'elle ne va pas...
06:17Il y aura forcément des dommages collatéraux,
06:19et c'est tout ça qu'il faut anticiper, réfléchir.
06:22Et je pense que la réflexion de Jacob Coxon est intéressante
06:26lorsqu'il demande davantage d'ouverture, d'explication de ce qu'on est en train de créer.
06:31Et donc, on parle de scénario catastrophe.
06:33Est-ce que tu peux nous en dire un petit peu plus à quoi ressemblerait un scénario catastrophe ?
06:36C'est quoi ? Des prises de contrôle, de systèmes de sécurité, de centrales, d'avions ?
06:41Est-ce que tu peux un peu... Est-ce que des gens ont travaillé sur ce sujet-là ?
06:44On peut faire à peu près tout ce qu'on veut avec l'intelligence artificielle.
06:48De plus en plus, on s'en rend compte aujourd'hui.
06:51Parfois, pour le meilleur, on sait qu'il y a énormément de projets.
06:54Je pense par exemple à AlphaFold qui permet la modélisation du repliement des protéines.
07:00Ça peut avoir des conséquences absolument géniales en chimie, en agriculture, en biologie, en médecine également.
07:07Mais on a vu aussi au cours de l'été la possibilité pour une intelligence artificielle,
07:12si elle a accès à des données bactériologiques, épidémiologiques par exemple,
07:17la possibilité de créer des virus, des virus qui pourraient être redoutables, inconnus
07:23et qui pourraient totalement surprendre l'homme.
07:27Alors il y a la possibilité bien sûr d'avoir...
07:30On a parlé tout à l'heure d'IA qui s'échappe d'un environnement qui a été totalement contrôlé.
07:36On peut très bien avoir des virus ou des intelligences artificielles qui s'échappent
07:41et qui vont pénétrer ce qu'on appelle des infrastructures critiques.
07:47Je pense par exemple à des installations électriques, des installations nucléaires.
07:50Donc on peut tout imaginer en réalité.
07:52Alors on a vu il n'y a pas longtemps plus de 1000 chercheurs qui ont signé une tribune
07:56pour demander un moratoire.
07:58Donc un moratoire c'est une pause on va dire sur le développement de l'IA
08:02après tous les incidents de sécurité qu'on a vu cet été.
08:05Quelles sont après toi les chances de voir aboutir ce moratoire
08:09ou en tout cas cette prise de conscience de prospérer ?
08:12Oui en tout cas je trouve que c'est très bien de réfléchir.
08:14On voit bien que les avertissements dont tu parles de certaines entreprises,
08:20je pense que certains sont totalement sincères, ne suffiront pas.
08:23Il faudra une concertation.
08:25Je pense qu'il n'est pas totalement neutre d'imaginer une instance.
08:29D'ailleurs plusieurs chercheurs de très haut niveau réfléchissent à ce scénario.
08:34Un peu comme l'agence internationale de l'énergie atomique.
08:37C'est-à-dire que l'énergie atomique est capable du meilleur comme du pire.
08:43Et Sam Altman en privé s'enorgueillit parfois d'être né un 22 avril comme Robert Oppenheimer.
08:48Donc un des pères de la bombe atomique.
08:49Donc il a bien conscience du pouvoir absolument génial mais aussi de nuisances.
08:54Donc je pense que cette instance pourrait être intéressante.
08:59Certains imaginent aussi des agences comme la FDA aux Etats-Unis ou l'agence du médicament,
09:05l'Organisation mondiale de la santé.
09:06Avant de délivrer un médicament, on s'assure qu'il ne causera pas de tort à l'humanité.
09:14Moi ce qui me frappe dans toute cette histoire, c'est que ces avertissements,
09:16on a la chance de pouvoir bien couvrir toutes ces problématiques au point.
09:21On avait fait le portrait d'Amanda Haskell, une philosophe écossaise qui a été recrutée par Anthropique justement pour donner
09:29un cadre.
09:29On voit que les entreprises d'intelligence artificielle se dotent de philosophes d'entreprise.
09:33C'est-à-dire qu'il y a déjà ces réflexions qui sont très intéressantes.
09:36Et Amanda Haskell, si tu lui parles, elle va te parler d'Aristote.
09:41Tout ça, c'est très intéressant. Elle veut doter une constitution, un cadre.
09:44Elle ne veut pas notamment aller vers trop de flagornerie de la part de l'intelligence artificielle.
09:49Tout ça, c'est très bien. Il faut encourager.
09:51Mais je pense qu'on ne s'économisera pas une réflexion internationale la plus ouverte possible.
09:57Mais le problème de l'IA n'est pas tant ce qu'elle est capable de faire elle-même que
10:00ceux qui la contrôlent.
10:01C'est-à-dire qu'on peut demander à ceux qui la conçoivent d'avoir toutes les règles éthiques du
10:04monde.
10:05La vraie question, c'est entre les mains de qui elle va tomber.
10:08Et ça, pour le coup, c'est peu ou pas régulé, semble-t-il.
10:11Même si on voit que les États commencent à essayer de mettre la main sur des modèles puissants et commencent
10:16à avoir des doutes eux-mêmes.
10:18Il y a eu un autre scandale qui a fait beaucoup peur chez les chercheurs.
10:22Un hacker s'est invité sur les serveurs d'OpenAI et a pu récupérer des conversations de chercheurs entre eux.
10:29Ça a ému beaucoup la communauté de recherche.
10:32Et OpenAI a décidé de ne pas aller plus loin en disant que ce hacker ne pourrait rien en faire.
10:37Mais à partir du moment où on met en place des outils capables de cyberattaques, c'est pour cette raison,
10:45rappelons-le, parce que l'histoire s'accélère tellement qu'il faut rappeler certains épisodes de ces toutes dernières semaines.
10:50On a vu Anthropik interdire la sortie de certains modèles.
10:55Je pense par exemple à Fable 5 ou encore à Mythos 5.
10:58Parce qu'on se rendait compte, là aussi, en croisant des données, que l'intelligence artificielle était extrêmement forte pour
11:06trouver des failles.
11:07Et que si on l'a laissée dans la nature, en réalité, elle trouverait énormément de failles zérodées, c'est
11:14-à-dire des failles complètement inconnues.
11:15Et ça pourrait mettre en danger les infrastructures critiques qu'on utilise au quotidien.
11:19Allez, une dernière question.
11:21Il y a beaucoup de géopolitiques dans l'IA.
11:24Et on voit que les Chinois ont misé sur l'open source, c'est-à-dire en gros des intelligences
11:29artificielles dont le code est connu, est ouvert et publié.
11:33Est-ce que ce sont, indépendamment des questions géopolitiques, des IA en lesquelles on peut avoir davantage confiance, qui ont
11:39moins de risque de dégénérer ?
11:41Ou est-ce que ça ne change pas grand-chose ?
11:43Alors, elles ont pour elles, effectivement, c'est une très bonne question parce qu'on en parle de plus en
11:47plus.
11:47Kimi, par exemple, GLM 5.2, ça rentre dans le langage courant, au même titre que ChatGPT ou Cloud, par
11:54exemple, ou Perplexity.
11:57Parce que ce sont des modèles moins coûteux, censés être moins énergivores et censés surtout être plus ouverts.
12:03Donc, c'est bien sûr très séduisant.
12:06On voit bien, en réalité, pour revenir à l'affaire qui nous réunit aujourd'hui, Clément, qu'il y a
12:12une course de vitesse.
12:13Une course de vitesse, on en a parlé entre OpenAI et Anthropic, mais surtout entre les États-Unis et la
12:18Chine.
12:19Pour avoir parlé avec plusieurs responsables et même conseillers aux États-Unis, il regarde avec énormément d'anxiété le rattrapage
12:27qu'effectue la Chine, l'avance qu'avaient les États-Unis sur la Chine.
12:31Il était estimé à peu près six mois l'année dernière, mais on ne l'évalue aujourd'hui qu'à
12:35deux ou trois mois.
12:36C'est-à-dire que les Américains ont extrêmement peur de ce rattrapage chinois.
12:42Et ce que j'observe aujourd'hui, c'est qu'en dehors de l'introduction en bourse dont rêvent OpenAI
12:51et Anthropic, dans cette course de vitesse par rapport à la Chine, ils oublient un peu certains principes.
12:57Et donc là, je pense que certains chercheurs qui réfléchissent à des modèles plus ouverts, plus respectueux de nos besoins,
13:07il ne faut pas oublier que l'intelligence artificielle, c'est une création de l'homme.
13:09Au départ, ça doit être un outil pour l'homme, doit le rester.
13:15Ce que je pense qu'il faut absolument éviter, c'est d'être un peu dans la situation de petit
13:19lapin face à des phares de voiture.
13:20C'est-à-dire qu'on est complètement aveuglé, on ne sait pas trop vers quoi il faut aller.
13:26Ces interrogations, en réalité, Clément, elles sont très anciennes.
13:30Il y a une personnalité que j'adore dans l'histoire de l'intelligence artificielle, c'est Alan Turing, bien
13:34sûr.
13:34Il y a eu un film absolument génial sur lui.
13:36Il y a une autre personnalité qui est un peu moins connue, qui s'appelle Norbert Wiener.
13:40Et Norbert Wiener, qui avait notamment porté la notion de cybernétique.
13:44Et c'est en réaction à la notion de cybernétique, dans les années 50, que John McCarthy a popularisé le
13:50terme intelligence artificielle.
13:51Ça avait fait beaucoup de polémiques, mais déjà, John McCarthy voulait lever de l'argent.
13:55Et Norbert Wiener, j'en parle en quelques instants, il était docteur en mathématiques à l'âge de 17 ans.
14:00Ce qui est quand même un beau parcours.
14:02Mais en 1947, il va publier un article qui s'appelle « Un scientifique se rebelle » dans « The
14:09Atlantic Monthly ».
14:11Et parce qu'il se rendait compte, il s'est rendu compte que l'armée utilisait une partie de ses
14:17modèles mathématiques.
14:18Et ça pouvait se retourner contre ses citoyens.
14:20Donc, ces interrogations, elles sont très anciennes.
14:23Il y a une tradition d'alerte.
14:25Aujourd'hui, on a une accélération, mais encore une fois, je pense que ça ne doit pas nous amener à
14:30la sidération, à la crainte infondée.
14:32On en a parlé rapidement, l'IA est aussi capable du meilleur.
14:36La résolution d'équations de problèmes qu'on appelle du millénaire par l'intelligence artificielle.
14:41J'en parlais très récemment avec Hugo Dumini, le copain, un médaillé fils français brillant, extrêmement humaniste.
14:46Il me disait « Je trouve ça super que l'IA résolve des problèmes, des équations complexes que nous, humains,
14:52on a beaucoup de mal à résoudre.
14:54Mais il ne faudrait pas se mettre à croire que ça ne sert plus à rien de faire des mathématiques
14:59parce que la machine peut les faire.
15:01Et en réalité, je pense qu'il ne faut pas trop semer la crainte parce que sinon, on va laisser
15:06la machine penser pour nous.
15:08Et peut-être une des recettes, je pense Clément, pour ne pas être tous craintifs, trop craintifs,
15:13c'est d'ouvrir au maximum ces modèles et surtout la réflexion pour utiliser l'IA de manière la plus
15:20sereine possible.
15:20Merci Guillaume Rallet, tu es rédacteur en chef technologie et sciences au Point.
15:26Merci Clément.
15:27Merci. Si vous avez aimé cet échange, n'hésitez pas à vous abonner à la chaîne du Point.
15:31Retrouvez-nous sur vos plateformes de podcast préférées.
Commentaires