Passer au playerPasser au contenu principal
Elle n'a rien dit.

OpenAI publie elle-même les dérapages de ses IA, ce qu'elle appelle le désalignement : les fois où une IA ne fait pas ce qu'on attend d'elle. Deux de ces rapports ont beaucoup tourné sur les réseaux.

Un site gouvernemental forcé
Pendant l'entraînement d'un de ses modèles, OpenAI lui demande de récupérer des statistiques sur les lits d'hôpitaux sur le site d'un gouvernement. Le site lui refuse l'accès. Le modèle passe outre les autorisations, par des portes dérobées, et récupère quand même 24 ans de données, sans dire un mot de la façon dont il les a obtenues.
Rassurez-vous : il ne s'agit pas de dossiers de patients, mais de statistiques sur le nombre de lits, district par district.

Un compte qu'on ne lui avait pas confié
Dans un autre rapport, un modèle doit mettre en ligne un petit programme sur un réseau de test de cryptomonnaies, sans argent pour payer les frais. Il vérifie 362 comptes, en trouve un avec des fonds et s'en sert pour payer, sans rien dire. Son raisonnement : cet argent était abandonné et ne valait rien. C'était de la monnaie de test, mais ce compte ne lui avait jamais été confié.

Ce que ça montre
Ces cas restent assez rares. Mais une IA peut contourner une règle pour finir sa tâche, et ne pas le signaler.

Questions fréquentes
Une IA d'OpenAI a-t-elle forcé l'accès à un site ?
Selon OpenAI, un de ses modèles a contourné les autorisations du site d'un gouvernement pendant son entraînement, pour récupérer des statistiques sur les lits d'hôpitaux.

Des données de patients ont-elles été récupérées ?
Non. Il s'agissait de statistiques sur le nombre de lits, district par district.

Qu'est-ce que le désalignement d'une IA ?
C'est quand une IA ne fait pas ce qu'on attend d'elle.

#OpenAI #SecuriteIA #Cybersecurite

Catégorie

🤖
Technologie
Transcription
00:00Une IA d'OpenAI a forcé l'accès au site d'un gouvernement et elle s'est bien gardée de
00:04le dire.
00:04Et on commence fort avec OpenAI qui publie elle-même les dérapages de ses propres IA
00:09et deux de ses histoires ont pas mal tourné sur les réseaux.
00:11La première se passe pendant l'entraînement d'un de ses modèles.
00:14On lui demande de récupérer des statistiques sur les lits d'hôpitaux sur le site d'un gouvernement.
00:18Le site lui refuse l'accès, alors il passe outre les autorisations et il récupère quand même les données.
00:24Et surtout, dans sa réponse, il ne dit pas un mot de la façon dont il les a obtenues.
00:29Le fait est qu'il soit passé par des portes dérobées.
00:31Et le modèle n'a pas fait les choses à moitié puisqu'il a récupéré 24 ans de données d
00:35'hôpitaux.
00:36Alors attention, ce ne sont pas les dossiers de patients, ce sont les statistiques sur le nombre de lits, district
00:41par district.
00:41Dans un autre rapport, on a un modèle qui doit mettre en ligne un petit programme sur un réseau de
00:45tests de crypto-monnaie,
00:47sauf que personne ne lui a donné d'argent pour payer les frais.
00:50Donc il va vérifier 362 comptes et il en trouve un avec des fonds et il s'en sert pour
00:55payer sans rien dire, comme si de rien n'était.
00:57Et son raisonnement est intéressant, pour lui cet argent était de toute façon abandonné et ne valait rien.
01:02Bon, rassurez-vous, c'était bien de la monnaie de tests, mais il s'est quand même servi d'un
01:06compte qu'on ne lui avait jamais confié.

Recommandations