00:05On termine cette édition avec le monde du libre, du logiciel libre, et on va parler de Neocloud avec Jean
00:11-Paul Smets,
00:11le PDG de Rapid Space, qui nous offre cette chronique régulièrement.
00:15Alors quel est le lien entre les deux ? On peut peut-être rappeler rapidement ce qu'est un Neocloud
00:19déjà.
00:20Un Neocloud, on va dire, c'est un cloud qui fournit beaucoup de services liés à l'apprentissage ou à
00:25l'inférence pour l'IA.
00:28C'est aussi des solutions alternatives à ce qu'on trouve chez les hyperscalers, beaucoup plus...
00:34Disons que quand les boîtes grossissent, elles deviennent moins flexibles, donc ça donne l'opportunité à des nouveaux acteurs d
00:39'être meilleurs en matière d'IA.
00:41Et le lien avec le logiciel libre ?
00:42Une fois de plus, on a une légende européenne, Linux, Linux Torvalds européen, dans l'IA, il s'appelle Gyorgy
00:50Gerganov.
00:51J'ai demandé à mon ingénieur bulgare comment prononcer.
00:53Bravo !
00:54Et il a créé en 2023 le logiciel de référence de l'inférence IA qui s'appelle Lama CPP,
01:01en s'inspirant des travaux de Fabrice Bélard sur la compression par réseau de neurones de modèles textuels.
01:10En 2023, Natfried Bann, l'ancien PDG de GitHub, a investi dans l'entreprise de Gyorgy Gerganov.
01:18Lama CPP est sorti.
01:21Et puis récemment, son entreprise a été revendue à Hug & Face de nos amis, notamment Julien Chaumont.
01:29Est-ce que tu peux nous préciser quand même à quoi sert Lama CPP ?
01:33Lama CPP, ça sert à faire l'inférence.
01:36Donc à ma gauche, la question, quels sont les grands développeurs de logiciels libres ?
01:40À ma droite, le gros fichier modèle d'IA.
01:43On mélange les deux avec Lama CPP et ça répond Linus Torvalds, Richard Stolman et Eric Raymond.
01:49Et donc Lama CPP, c'est à la fois la librairie, mais également le format de fichier GBUF
01:54qui permet de stocker de façon très compressée les dossiers et de bien gérer l'usage de la mémoire.
02:01Et pourquoi est-ce qu'on n'a plus besoin de passer par des hyperscalers ?
02:04Déjà, on peut le faire tourner sur son ordinateur à la maison.
02:07Ça a d'abord été fait pour des CPU, puis après ça a été entendu au CPU NVIDIA,
02:12puis après au NPU, puis après aux AVX, puis etc.
02:16Ça a été étendu à peu près à tout ce qu'on peut imaginer.
02:19Et donc, ça veut dire qu'on peut monter son cluster d'inférences IA
02:24pour quelques dizaines de milliers d'euros, plus besoin de NVIDIA.
02:27Donc les NEOcloud, c'est ça ?
02:29Oui.
02:29Ça donne naissance aux NEOcloud ?
02:30Absolument.
02:32Et donc, ce qu'on fait, en fait, c'est qu'on exploite certaines fonctions des nouveaux microprocesseurs.
02:37Par exemple, dans les processeurs, il y a du calcul vectoriel, ça s'appelle AVX,
02:40ça permet de faire huit multiplications en même temps de vecteurs.
02:43Il y a des NPU, ça permet de faire jusqu'à 1024 multiplications,
02:49additions de nombres flottants en un coup.
02:51Et donc, ça se trouve dans des processeurs qui consomment seulement 10 watts,
02:55que ce soit chez Intel, mais en Chine, chez Space Meat, en Europe, chez NXP.
03:00Et donc, les NEOcloud peuvent profiter de toute cette nouvelle génération de matériel
03:04à faible consommation d'énergie, à faible coût,
03:07et qui permettent de faire de l'inférence grâce à notre nouveau Linux de l'IA,
03:11l'AMACPP du bulgar Georgi Gergalov.
03:14On retient bien ce nom.
03:15Merci beaucoup, Jean-Paul Smet.
03:16Je n'ai pas le temps de vous faire réagir.
03:18Malheureusement, c'est déjà la fin de cette émission.
03:20Merci, donc, Jean-Paul Smet de Rapid Space,
03:22Wafa Amal de Prismemai et de Enejma Travaglini de Nolèj.
03:27Merci d'avoir été avec nous.
03:28Merci à tous de nous suivre régulièrement sur la chaîne Bsmart.
03:32On se retrouve très vite.
Commentaires