Copier le cerveau d'une IA : l'astuce toute bête qui a visé OpenAI

L'astuce était simple.

OpenAI raconte avoir arrêté une campagne organisée pour copier le raisonnement de ses modèles. Elle attribue le cœur de cette activité à des personnes liées à Moonshot AI, l'entreprise chinoise qui développe Kimi.

C'est quoi, la distillation ?
Pomper en masse les réponses d'une IA concurrente pour entraîner la sienne. Ici, on monte d'un cran : ce qui intéresse les copieurs, ce n'est pas la réponse, c'est le raisonnement caché.

Comment ils s'y sont pris
Quand ces modèles réfléchissent avant de répondre, leur raisonnement est renvoyé sous forme chiffrée, donc illisible. L'une des astuces : copier ce raisonnement chiffré dans une conversation, puis demander à un modèle, dans une autre conversation, de le déchiffrer et de le recopier en clair. Lors des deux plus gros pics, OpenAI a compté 16 000 requêtes venues de plus de 4 000 utilisateurs.

La réponse d'OpenAI
Elle dit avoir bloqué ou restreint les comptes frauduleux et fermé cette porte. Elle reste prudente sur le coupable : elle ne sait pas si tout venait d'un seul acteur. Selon elle, ce raisonnement permettrait d'entraîner un autre modèle sans les garde-fous d'origine, et elle parle même de risque pour la sécurité nationale.

La faille reste ouverte
Des chercheurs indépendants, qui avaient eux-mêmes signalé ce genre de faille, arrivent encore à extraire mot pour mot le raisonnement des modèles Astra et Sol d'OpenAI, en passant par des fournisseurs tiers qui proposent ces modèles. La porte principale est fermée, mais il reste des fenêtres ouvertes.

Questions fréquentes
Qu'est-ce que la distillation en IA ?
C'est le fait d'utiliser en masse les réponses d'une IA pour en entraîner une autre.

Peut-on encore copier le raisonnement des modèles d'OpenAI ?
Oui, selon des chercheurs indépendants, en passant par des fournisseurs tiers qui proposent ces modèles.

#OpenAI #Kimi #Distillation