00:00Tech & Co, la quotidienne, la chronique BFM Tech.
00:06J'accueille Salomé Ferrari maintenant sur le plateau de Tech & Co, journaliste à BFM Tech.
00:09Bonsoir Salomé.
00:10Bonsoir.
00:11Et 9 secondes, c'est tout ce qu'il a fallu à un agent OIA pour effacer une entreprise entière.
00:16Le cauchemar.
00:17Alors comment a-t-elle l'accident a pu se produire ?
00:19La réponse tient en un point les permissions accordées à CETIA.
00:23Tout commence en fait avec Pocket OS, une entreprise qui développe des logiciels pour les loueurs de voitures.
00:27Elle gère les réservations, les clients, les logiciels.
00:30Sauf que fin avril, son fondateur James Rémy Crane a découvert qu'un agent OIA un petit peu trop zélé
00:35avait supprimé l'ensemble des bases de données de l'entreprise.
00:38Et même les sauvegardes internes.
00:40Et bien sûr.
00:41C'est ça forcément.
00:42Mais oui, autrement ça aurait été beaucoup moins rigolo.
00:44Exactement.
00:45Et tu l'as dit, en 9 secondes, donc ça a été très rapide.
00:47L'outil en cause, ce serait Cursor, donc un agent de codage qui est basé sur le modèle Cloud Opus
00:51d'Entropique.
00:53Résultat, 3 mois de réservation effacée, les infos des clients disparus.
00:56Et surtout des loueurs totalement désorganisés.
00:59Ce qu'on ne comprend pas, c'est que comment il n'y a pas eu de garde-fou finalement
01:02?
01:02C'est ça qui est troublant parce que l'agent DIA avait été programmé pour suivre des instructions très très
01:06claires.
01:07Et notamment l'interdiction totale d'exécuter des commandes destructives sans validation explicite.
01:12Sauf qu'apparemment ça ne l'a pas arrêté.
01:15L'agent DIA lui-même l'a reconnu.
01:17Il a enfreint ses propres règles de sécurité.
01:20Finalement, Pocket OS a parvenu à restaurer une partie des données grâce à des anciennes sauvegardes et à des outils
01:26annexes.
01:26Mais tout n'a pas été récupéré.
01:28Alors pour Jérémy Crane, le PDG, c'est loin d'être un simple incident.
01:32C'est vraiment un signal d'alarme.
01:33C'est la preuve qu'on développe des outils d'intelligence artificielle plus vite que les garde-fous nécessaires.
01:39D'ailleurs, Cursor est loin d'en être à son coup d'essai.
01:42Parce qu'il avait déjà supprimé des systèmes d'exploitation entiers.
01:45Et même des recherches entières pour une thèse d'attente de plusieurs années.
01:49C'est incroyable.
01:49Vraiment, ce n'est pas une première.
01:51C'est la preuve qu'il vaut mieux être prudent avant de confier les règles de son entreprise à une
01:54IA.
01:55Parce que là, l'agent n'a pas oublié les règles.
01:57Elle les a juste décidé de les contourner.
02:00Carrément.
02:00Pourquoi pas finalement, j'ai envie de te dire.
02:02Bon, écoutez, si vous avez envie de revivre ce drame en direct, allez sur BFM Tech.
02:06Salomé vous raconte tout ça à l'écrit.
02:09Évidemment sur le site de BFM Tech.
02:11Merci beaucoup Salomé.
02:12Merci.
Commentaires