00:01BFM Bourse, vos placements, nos conseils sur BFM Business.
00:05Les périodes de publication de résultats sont assommantes, on peut le dire pour les investisseurs.
00:10Une montagne de publications d'entreprises d'un seul coup à avaler, c'est parfois trop pour un seul esprit,
00:14pour l'esprit humain.
00:15Charles-Henri Dovigny, lui, n'a pas peur. Il est Managing Partner de Réputation H.
00:18Bonjour Charles-Henri. Bonjour Guillaume.
00:20Avis de vous retrouver. Du coup, la tentation est grande chez certains de demander à l'IA d'analyser les
00:25publications.
00:26On ne va pas avoir à tout éplucher soi-même. Laissez faire l'intelligence artificielle.
00:29Est-ce une bonne idée ? Justement, vous avez testé l'IA là-dessus.
00:33Oui, tout à fait. On s'est mis dans la position qu'on soit un investisseur individuel ou un investisseur
00:37institutionnel.
00:39Et on a demandé à l'IA de nous sortir quatre indicateurs.
00:45Le résultat, le chiffre d'affaires, le résultat d'exploitation, la dette nette et le résultat net des 39 entreprises
00:56qui ont publié des résultats avant le 3 mars.
00:59Sachant que Pernod Ricard, eux, ont un exercice décalé.
01:02Donc, c'était les résultats semestriels.
01:04Et là, nous avons fait un constat tout à fait déplorable.
01:08Puisque quand on pose juste la question au LLM,
01:13donc on a posé la question à Tchad GPT, à Gemini, Claude, Mistral,
01:20nous avons un résultat proche de zéro.
01:23En tous les cas, en termes de bons chiffres, Mistral a même répondu qu'il ne pouvait pas répondre.
01:29Donc, au moins, ils ont eu la gentillesse de nous dire qu'on ne peut pas vous répondre,
01:32on n'a pas les éléments pour pouvoir vous répondre.
01:35Tchad GPT, c'était zéro sur zéro.
01:38En termes de résultats, il n'y avait que des erreurs, en tous les cas, sur cette première question.
01:44Votre question était simple.
01:45Vous ne demandiez pas à ces différentes IA de faire de la philosophie autour des publications d'entreprise.
01:49On leur demandait de restituer les publications.
01:51Ça, on l'avait fait l'année dernière, au moment de la publication des résultats semestriables.
01:56Mais là, on avait nourri les outils de l'LLM.
02:00On leur avait demandé de nous donner des conseils d'investissement.
02:03Mais on leur avait donné les publications, les communiqués de presse
02:07et les éléments fournis par les entreprises.
02:10Et on leur avait demandé des conseils d'investissement.
02:12On avait constaté un certain nombre d'hallucinations quand même sur les chiffres.
02:15Certains ne reprenaient même pas les chiffres publiés dans les communiqués de presse.
02:19Mais là, ce que vous êtes en train de nous dire,
02:21c'est que restituer ne serait-ce qu'un minimum des chiffres, là, c'est incapable.
02:27Incapable, en tous les cas.
02:28La base du truc, quoi.
02:29La base, vous faites un premier prompt où vous vous posez la question.
02:33Ensuite, on a fait un deuxième exercice.
02:34On a créé un propre agent.
02:36Et on leur a demandé d'aller véritablement chercher l'information.
02:40Là, le résultat est un peu meilleur, mais moins de 15% de résultats.
02:49Utilisable.
02:50Après, on a fait un troisième exercice.
02:52On a créé un autre agent.
02:54Et là, on lui a dit, va chercher les informations.
02:58Va là où tu peux aller trouver les informations.
03:01Et particulièrement sur Google Search.
03:03Là, on arrive à un taux de réussite, je dirais, de 80%.
03:09Est-ce qu'il y a des entreprises sur lesquelles vous voyez un taux de réussite
03:11quand même plus important que sur d'autres, par exemple ?
03:13Parce que là, vous nous donnez une moyenne, la moyenne des résultats, etc.
03:15Mais est-ce qu'il y a des boîtes sur lesquelles vous avez demandé à ces différentes IA ?
03:18Tiens, donne-nous l'essentiel de leur publication, l'essentiel des chiffres annoncés,
03:22et des boîtes pour lesquelles ça a mieux marché que pour d'autres,
03:25pour lesquelles l'IA s'est montré plus performant que pour d'autres.
03:26Très peu, très peu.
03:27Les crédits rédicoles, mais voilà, c'est tout.
03:32Là, on s'aperçoit que finalement, lorsqu'on pose des questions à l'IA,
03:37il ne faut pas prendre ça pour l'argent comptant.
03:39Ensuite, on s'aperçoit que l'IA va chercher, ce sont des modèles américains,
03:44donc ils vont plutôt privilégier les sources américaines.
03:48D'accord.
03:48Donc, à la limite, ça, il y en a, Bloomberg, CNBC, etc.
03:54Non, mais ça, même pas, il arrive à les retrouver.
03:55Et puis, les sites des sociétés ne sont pas des référents pour l'IA.
04:02Ou même, alors après, on s'est intéressé quand même à voir comment les sociétés publiaient leurs chiffres
04:09et comment on arrivait à accéder aux chiffres.
04:11On s'aperçoit que pour certaines boîtes, c'est très compliqué.
04:15Moi, je suis investisseur individuel ou institutionnel.
04:17Si je veux avoir les résultats, par exemple, d'assosystèmes,
04:20j'ai mis un quart d'heure, allez, montre en main, pour trouver les chiffres.
04:28Voilà.
04:28– Waouh. C'est impressionnant, là, ce que vous nous dites.
04:30Mais ça parlera aussi aux particuliers qui, peut-être, parfois, demandent à l'IA
04:34de leur simplifier leur tâche d'investisseur.
04:36Résume-moi les publications d'entreprises, etc.
04:38– À ce moment-là, il faut nourrir le modèle, il faut créer son propre agent, il faut le nourrir.
04:46On avait fait aussi l'exercice l'année dernière, on s'était intéressé au moment des assemblées générales.
04:52Et là, on avait nourri les agents, surtout Tchat GPT,
04:56et on avait mis tous les documents qu'un actionnaire reçoit au moment des assemblées générales.
05:01Et on lui avait demandé des conseils de vote.
05:03« Je suis un actionnaire, je suis très préoccupé par l'ESG,
05:08qu'est-ce que sont les consignes que tu peux me dire ? »
05:11Là, on a eu quelques hallucinations, mais il y a aussi des conseils très pertinents.
05:14Par exemple, c'est l'exemple d'Hubert Védrine,
05:18qui était candidat à sa réélection en tant qu'administrateur indépendant chez LVMH.
05:23Là, Tchat GPT me dit non, qu'on ne pouvait pas voter pour Hubert Védrine,
05:26puisqu'il n'est plus indépendant, parce que dans le code d'AFEP-MEDEF,
05:29on est indépendant jusqu'à 12 ans de mandat.
05:32Là, il est à sa 15e année, donc vous ne pouvez pas renouveler M. Védrine,
05:37parce qu'il était plus de 15 ans de mandat.
05:39Bien vu, là.
05:40Bien vu.
05:40Non, non, mais quand ils sont nourris, ils peuvent donner de bons conseils.
05:45Mais il faut faire l'effort, à ce moment-là, de nourrir.
05:48Il ne faut pas compter sur l'IA pour vous recracher l'information.
05:51C'est un défi énorme pour les entreprises,
05:54parce que les périodes de publication de résultats sont stratégiques pour toutes les entreprises.
05:58Si de plus en plus d'investisseurs, particuliers ou professionnels même,
06:02se servent de l'IA pour analyser leurs publications,
06:04et donc se basent sur des datas fausses, celles que restitue l'IA, c'est compliqué.
06:08Comment les entreprises peuvent prendre ce taureau par l'école ?
06:11Ça, c'est toute la question.
06:13C'est pour ça que nous, on a créé le gros,
06:16qui est le Generative Reputation Optimization,
06:19pour faire un jeu de mots avec le Reputation Age,
06:23parce que normalement, c'est le GIO, Generative Engine Optimization.
06:29C'est modérément drôle.
06:30Mais c'est un peu drôle quand même, Charles-Henri, je vous rassure.
06:32Non, à partir de là, il faut que les entreprises puissent travailler
06:37et faire des véritables audits de gros pour savoir où sont leurs points de faiblesse
06:44et quelles sont les sources d'informations de l'IA
06:48pour alimenter ces sources d'informations de l'IA.
06:51Et on s'aperçoit que des sites comme Zone Bourse, comme Boursorama, comme BFM Bourse
06:55ne sont pas forcément des sites de référence.
06:58Les sites des entreprises ne sont pas des sites de référence.
07:02Certaines, d'ailleurs, bloquent.
07:04Il y a des firewalls qui bloquent le scrolling des IA.
07:07Et donc, à partir de là, les IA ne peuvent pas accéder à la bonne information.
07:10Donc, il y a tout un travail à faire pour déterminer
07:13quels sont les sites de référence de ces plateformes d'IA.
07:18Bienvenue dans un monde distordu, quand même.
07:20On en est là.
07:21Oui, ça va être intéressant de voir comment les entreprises
07:25et les LLM vont pouvoir se développer sur ce type de sujet
07:29et pouvoir fournir une information correcte.
07:32Après, l'IA, elle corrige.
07:34Parce qu'une fois que vous voyez une aberration, vous vous dites
07:36« Ah non, vous vous êtes trompé, le chiffre c'est ça »,
07:39il va se nourrir de votre nouvelle information.
07:44Mais ce qui est assez sympa de la part de Mistral,
07:47c'est de dire « Non, moi je ne peux pas répondre ».
07:48Alors que ChatGPT, à chaque fois, vous dit « Oui, je peux répondre ».
07:51Antoine ?
07:52Vous savez, sur Twitter, en ce moment, il y a quantité de gens
07:55qui vous donnent, soi-disant, en 10 lignes de prompte.
07:58J'ai remplacé mon Bloomberg ou mon analyste financier.
08:02Oui.
08:02On a encore le temps de voir venir.
08:04Merci beaucoup, Charles-Henri.
08:05Voilà ce témoignage, cette étude que vous avez réalisée
08:07avec vos experts chez Réputation âge.
08:09Merci, Guillaume.
08:10Charles-Henri, Dovigny, bon retour, Charles-Henri.
Commentaires