00:00Frédéric Simotel, parlons avec vous de l'économie des tokens.
00:03En pleine période budgétaire, les DSI, donc les patrons des achats, s'inquiètent.
00:08Comment prévoir, comment anticiper la consommation des tokens ?
00:11C'est une unité de mesure de l'usage de l'IA.
00:14Oui, le token, en gros, quand vous faites un prompt, c'est comme si le token,
00:16on va découper un peu toute votre requête en petites syllabes,
00:20et ça c'est un token, et puis un token en entrée, et bien sûr la réponse est le token
00:23en sortie.
00:24Alors jusqu'alors, vous savez, pendant 15 ans, on avait des logiciels en cloud,
00:27dans le software de service, donc on avait un nombre d'utilisateurs,
00:30un nombre de licences, un contrat de maintenance, voilà, tout était assez clair.
00:33Puis là, l'IA a complètement fait exploser tout ça.
00:35C'est des patrons informatiques qui me disaient, mais moi, j'ai des factures quand ils multiplient par 10,
00:40et qu'est-ce que je fais, là, dans mon budget ?
00:42Est-ce que dans les dépenses IA, je mets 400 000 euros, ou 4 millions d'euros ?
00:45Donc vous voyez, on est quand même un peu complètement perdus.
00:47Des ordres de grandeur très différents, oui.
00:48Alors beaucoup disent qu'ils ont signé des contrats, mais sans trop savoir ce qu'ils vont vraiment dépenser,
00:53surtout que dans l'entreprise, vous avez aussi ce qu'on appelle du shadow IA,
00:55c'est-à-dire, vous avez une IA proposée par l'entreprise,
00:58mais à côté, les salariés, qu'est-ce qu'ils font ?
00:59Ils ont leur abonnement en chat de GPT, leur abonnement en cloud, etc.
01:03Et ça, ils le font passer en note de frais, donc voilà, ça fait des...
01:05Sans passer par la direction des achats, donc ça fait une dépense supplémentaire.
01:09On prend, il y a certains qui prennent, ils ont des crédits de token,
01:11et puis quand ils les dépassent, ils vont toquer à la porte de leur chef.
01:14Est-ce que je peux dépasser le seuil ?
01:15Oui, là encore, c'est pas complètement géré par la direction des achats.
01:19En plus, on a des agents, les agents qui vont eux-mêmes consommer des tokens,
01:23ça, comment on les contrôle ?
01:25Et puis, il y a une tarification à l'usage qui est en train de se mettre en place.
01:27Selon une étude du cabinet Gartner,
01:32sur plus de 1000 entreprises interrogées,
01:3411% disent qu'ils ne savent pas du tout ce que leur département,
01:37leur division ont dépensé en IA en 2025.
01:40Mais quand même, en 2026, 85% disent,
01:43de toute façon, on va dépenser plus ce qu'on en a besoin.
01:44Problème sur quelle base ?
01:46Alors, ce qui est dingue, c'est que même chez Apple, on s'inquiète,
01:48ces équipes d'ingénierie sont mises à la diète
01:50et doivent respecter un cadre qui est très strict.
01:52Oui, et puis, ils ont été un peu perturbés
01:53parce qu'au départ, on leur dit, allez-y, il faut utiliser l'IA,
01:56il faut vraiment des gains de productivité.
01:57Et puis, tout d'un coup, quand les premières factures sont arrivées,
01:59ils ont dit, oh là là, attention, on freinons.
02:01Alors, on voit carrément, dans les équipes d'ingénierie,
02:03on leur dit, c'est plus de 200 dollars,
02:06300 dollars, tu peux penser, c'est 200 dollars.
02:08Pour certains, on leur dit, toi, c'est 100 dollars
02:10et toi, tu ne fais pas partie des ingénieurs,
02:11donc ce sera 25 dollars.
02:12Donc, on voit, on met tout le monde à la diète.
02:14Alors, du coup, que vont faire les entreprises
02:16pour accélérer sur l'IA
02:18sans se retrouver avec des factures
02:19complètement délirantes d'usages IA ?
02:20Alors, le but, évidemment,
02:22ce n'est pas de brider les utilisateurs,
02:23il faut qu'ils continuent à utiliser l'IA.
02:25Alors, quand vous avez certains logiciels
02:26comme Salesforce, comme SAPE,
02:28ils intègrent ça à l'intérieur,
02:29mais il faut quand même, si on vous dit,
02:30utiliser nos outils d'IA internes,
02:32ça va coûter 8 à 25 % plus cher.
02:34En gros, qu'est-ce qu'il faut faire ?
02:35Il faut regarder, il faut mettre en place des plafonds
02:38et puis on alerte l'utilisateur,
02:40on dit, quand vous êtes à 80 %,
02:42voilà, commencez à vous méfier.
02:43Il faut savoir aussi choisir le modèle
02:47adapté à chaque tâche.
02:48Il faut regarder, en fait,
02:49il faut descendre en détail dans les contrats.
02:50On appelle ça dans l'informatique le FinOps.
02:52C'est celui qui va regarder pour chaque application,
02:54chaque métier, chaque utilisation,
02:56quelle est la meilleure requête
02:57et essayer d'aller au plus proche de la requête
03:02et du modèle à utiliser.
03:03Mais ce n'est pas aussi évident.
03:05Merci Frédéric Simotel.
03:06On vous retrouve à 8h15 pour l'actualité de la tech.
Commentaires