00:00C'est l'histoire de pertinence dont je parlais un peu tout à l'heure. Parce qu'on dit c'est super l'IA, on fait plein de trucs avec, machin, vous vous amusez avec, vous faites vos résumés avec, machin, tout ça.
00:11Bravo, super. En avril 2023, il y a un avocat qui s'est dit je vais demander à l'IA de New York, au New York, je vais demander à l'IA qu'il me fasse ma plédoirie.
00:22Il avait un cas où il avait un plaignant qui n'était pas content d'une compagnie aérienne. Donc il rentre les 2-3 éléments qu'il lui faut et Chajipiti, en 15 secondes, lui pond une plédoirie.
00:36Il envoie la plédoirie au juge et le juge, quelques jours après, lui renvoie un mot et lui dit bravo, c'est la meilleure plédoirie que tu m'aies jamais envoyée.
00:44L'avocat est super, j'ai gagné 6 heures de mon temps, je vais être très riche maintenant parce que je peux prendre plein plein de cas et c'est super.
00:53Mais le juge continue, il lui dit bon c'est super, c'était super la plédoirie. Il y a un seul petit problème, c'est que toutes les jurisprudences que tu cites à la fin, elles n'existent pas.
01:03Les case numbers ont l'air ok, les juges, les noms des juges ont l'air ok, mais ça n'existe pas.
01:08Donc l'erreur qu'a fait cet avocat, il a fait 2 erreurs. La première c'est qu'au moment où il a parlé à Chajipiti, il n'a pas donné de référence.
01:17Et la deuxième erreur c'est qu'il n'a pas relu son truc à la fin. Relire c'est bien, c'est plutôt une bonne chose.
01:25Parce que quand je vous disais tout à l'heure que le 100% n'existe pas, le 60% existe.
01:31C'est-à-dire que ces IA sont pertinentes à 64%. Alors ça 64% c'est un chiffre qui fait un peu peur, parce que vous vous dites quand même que ça veut dire que 36% du temps,
01:41le truc il me raconte n'importe quoi. C'est super difficile à prouver, c'est super difficile à montrer, mais l'université de Hong Kong a réussi à faire un truc qui est rigolo,
01:51que je vais vous décrire maintenant, qui montre ce chiffre. Pourquoi c'est super difficile à prouver ?
01:57Parce que quand vous vous interrogez ces IA, la façon dont vous vous posez la question vous donnez déjà plus ou moins la réponse.
02:05C'est-à-dire que vous orientez la réponse et pour vous du coup ça devient pertinent.
02:10C'est-à-dire que si vous demandez à l'IA montre-moi que la terre est plate, il va vous montrer que la terre est plate.
02:16Parce qu'il y a des sites platistes qui existent et donc il va vous montrer que la terre est plate.
02:19Et donc c'est pertinent. C'est ce que vous avez demandé. D'accord ?
02:22Donc c'est compliqué de comprendre ce que c'est la pertinence.
02:25Mais là, l'université de Hong Kong a fait quelque chose d'intelligent.
02:28Ils ont pris des millions, des millions de faits communément acceptés comme vrais.
02:34Des faits communément acceptés comme vrais, c'est quoi ? 2 plus 2 égale 4.
02:38Ok ? Bon, on est tous d'accord que c'est comme ça.
02:41Et donc, ils ont pris ces millions de faits et ils ont demandé à l'IA, est-ce que ce fait est vrai ?
02:47S'il y a dit, c'est vrai. C'est vrai parce que c'est vrai.
02:52S'il y a dit, c'est faux. C'est faux parce que c'est vrai.
02:55Suivez là ? Ouais, c'est bon ?
02:57Ok. Donc, à la fin, on compte les vrais et les faux.
03:01Et donc, ce qu'ils ont compté, 64% de vrais.
03:04Ça veut dire que 36% du temps, l'IA dit qu'un truc vrai est faux.
03:10Et ça, c'est statistique. C'est-à-dire qu'il ne va jamais dire les mêmes.
03:13D'accord ?
03:14Et donc, c'est un peu embêtant parce que ça veut dire quand même que ces trucs-là disent n'importe quoi.
03:19Et ça ne va pas en s'arrangeant.
03:21Parce que, comme je disais tout à l'heure, le problème, c'est que maintenant, les IA sont en train de se...
03:25de s'auto-alimenter exactement avec leur data synthétique.
03:30Et donc, du coup, on voit, il y a un papier d'OpenAI qui est sorti il y a deux semaines.
03:33Donc, c'est tout récent.
03:35Qui montre, et bon, ils n'ont pas trop fait de pub là-dessus, d'ailleurs.
03:38Qui montre qu'en deux ans, on a perdu 2%.
03:42Parce que, petit à petit, donc, la pertinence descend.
03:46Parce que, de plus en plus, on met, pour être clair, du caca dans les IA.
03:51Ok ? Voilà.
Commentaires