00:00Uber pensait faire gagner du temps à ses développeurs grâce à l'IA.
00:03Résultat, l'entreprise a consommé son budget annuel alloué à l'IA en seulement 4 mois.
00:08Mais pourquoi la facture des promptes est-elle si compliquée à anticiper ? On vous explique.
00:12Le changement dans les pratiques s'est opéré beaucoup plus vite que ce que eux ne le pensaient.
00:16En théorie, les entreprises payent un abonnement pour avoir accès à un modèle d'IA.
00:20Le plus utilisé par les développeurs, c'est Claude, développé par Anthropik.
00:24Sauf qu'en réalité, l'abonnement est souvent dépassé et là, tout se complique parce qu'on paye au token.
00:29Unité de base de l'intelligence artificielle.
00:32Eux, ils ne réfléchissent pas en langage, ils réfléchissent en token.
00:34C'est-à-dire que dès qu'on va leur envoyer du texte, ils vont convertir ce texte en token.
00:37François-Marie est développeur et fondateur de l'Inuit Studio.
00:41Si je dis bonjour, bon c'est un token et jour c'est un autre token.
00:45Ces tokens ont un prix, fixé par les entreprises qui développent leurs modèles.
00:48Les utilisateurs, eux, payent deux fois.
00:51D'abord pour les tokens envoyés avec leurs promptes,
00:53puis pour ceux que l'IA génère dans sa réponse, qui coûtent souvent 5 fois plus cher.
00:57Et comme la longueur d'une réponse est imprévisible, son coût l'est aussi.
01:01Il n'y a pas de compteur comme si on mettait de l'essence et quand il y a le
01:05compteur augmenté.
01:05Pour voir ça, typiquement, il faut aller dans les paramètres, dans l'utilisation, il faut aller voir assez loin.
01:09Et pourtant, ce n'est pas impossible à vérifier non plus.
01:12Maintenant, ça se configure assez simplement de pouvoir suivre sa consommation directement dans l'outil.
01:17Lui, c'est Nagil Etaïfa, il est directeur technique de Miracle.
01:21Ce n'était pas le cas il y a encore quelques temps,
01:23mais maintenant, c'est assez visible de pouvoir traquer un peu son usage.
01:27Mais pour les grandes entreprises, la facture peut vite grimper.
01:30Miracle, c'est 800 employés dans le monde.
01:32Il me semble qu'Uber, c'est à peu près 35 000.
01:35Donc, c'est sûr que ce n'est pas la même échelle.
01:38Et plus une conversation avec un chatbot est longue, plus elle coûte cher.
01:42Qui dit du contexte, dit des tokens en plus.
01:44Donc, en fait, dans son contexte global,
01:46on va avoir peut-être 10 à 100 fois plus de tokens que ce qu'on aurait dans un échange
01:50de chat GPT classique.
01:51Ce qui explique aussi des coûts extrêmement élevés.
01:53Aujourd'hui, Uber plafonne les dépenses mensuelles à 1 500 dollars par employé.
01:57Microsoft se tourne vers un système interne.
01:59Et Meta vient de retirer un classement interne qui glorifiait les salariés qui consommaient le plus de tokens.
02:04L'entreprise avait consommé 60 000 milliards de tokens en 30 jours.
02:09Au tarif public, cela reviendrait à 9 milliards de dollars.
Commentaires