- há 8 minutos
Categoria
🤖
TecnologiaTranscrição
00:00Chegou a hora da nossa coluna, fala aí!
00:10E vamos receber Roberto Pena Spinelli, físico pela USP, especialista em Machine Learning por Stanford
00:17e colunista do Olhar Digital. Vamos lá? Deixa eu receber o Pena aqui nos estúdios.
00:23Olá, Pena! Muitíssimo boa noite! Seja bem-vindo!
00:29Olá, olá! Tudo bem, Marisa? Boa noite! Boa noite para todo mundo!
00:33Pena, parece que a gente estava aqui ontem juntos, né? A semana está voando e hoje já temos outros assuntos
00:39bem bacanas aqui para falar com você. Vamos lá!
00:42O que esse caso envolvendo a Binance, Pena, revela sobre esse papel da IA nos ataques hackers de hoje em
00:51dia, Pena?
00:52Então, Marisa, olha só. Esse foi o maior roubo na história da humanidade.
00:59Isso é a primeira coisa que é importante falar. Foram 6 bilhões de dólares roubados.
01:04Pouco, né?
01:06Sendo que o anterior, o maior anterior era de 1.4.
01:10Então, assim, foi muito. Foi absurdo.
01:14É claro que foi um ataque muito rebuscado, tá?
01:18Vocês mesmo noticiaram agora, na notícia aí, na apresentação, de que houve um monte de estratégia.
01:25Foi desde junho, né?
01:26Que foi pensado.
01:28Teve lá engenharia social.
01:30Teve um monte de etapas que foram feitas por humanos atacando humanos, né?
01:35Principalmente entendendo ali vulnerabilidades.
01:38Então, conseguiu-se passar por uma entrevista de emprego.
01:41Olha que loucura!
01:42Vou entrevistar alguém aqui.
01:43Aí, de repente, a pessoa fala, ah, então meu currículo tá aqui.
01:46Abre no computador, é um vírus, né?
01:48Maluquice.
01:49Mas, enfim.
01:50Só que o que a gente percebeu?
01:52Que isso só foi possível, ou uma parte importante desse ataque só foi possível,
01:56por conta da IA.
01:58Mas a gente tá acostumado, Marisa, a noticiar que a IA, ela é o atacante.
02:03É o vetor de ataque.
02:05Que é um problema, certo?
02:07Você vai lá e consegue, a IA consegue programar e ser um hacker melhor do que qualquer hacker humano.
02:13Mas ela também se torna uma superfície de ataque, Marisa.
02:17Então, nesse caso, ela foi a vulnerabilidade.
02:22O fato da Binance ter uma ferramenta de IA interna
02:27permitiu com que esses atacantes atacassem essa IA.
02:33E essa IA foi enganada.
02:34A gente não sabe os detalhes do ataque, tá?
02:36Eles não divulgaram.
02:37Dá pra saber se foi um prompt injection.
02:39O que exatamente eles fizeram.
02:41Mas essa IA foi enganada.
02:43E ela tem acesso a muitos recursos.
02:45E conseguiu, então, de algum jeito, dar acesso pros outros computadores, os outros engenheiros.
02:51E isso permitiu com que eles movimentassem um volume gigantesco de carteiras que eles puderam assinar aí digitalmente.
02:58Então, Marisa, isso levanta mais uma preocupação pra gente.
03:02Porque é claro que também, eu acredito que os atacantes, nesse caso, também fizeram uso de IA pra programar o
03:09ataque.
03:09Eu acredito.
03:10Porque no mundo de hoje, não faz mais sentido você estar programando coisas que não estão usando a IA.
03:19Então, eu acho que, nesse caso, a IA estava nas duas pontas.
03:22Tanto atacando, quanto vulnerável.
03:24Sofrendo o ataque.
03:26Então, essa é mais uma preocupação.
03:28A gente está, né?
03:29Se a gente está entrando agora nessa era da IA e a gente acabou de ver esse ataque bilionário de
03:356 bilhões de dólares, Marisa, acontecendo, e não foi o primeiro, né?
03:40Já alguns anteriores, a gente já veio noticiando alguns problemas que aconteceram.
03:45Mas esse aqui foi, digamos, o maior de todos até agora.
03:48A dúvida que eu coloco é, será que a gente não vai começar a ver uma série de outros ataques
03:53a outras instituições?
03:55Agora foi criptomoeda, né?
03:58Que já tem um pouco aí de...
03:59As pessoas já têm dúvidas sobre essa questão.
04:02Mas será que se não fosse uma instituição bancária, um banco grande?
04:06Eu acho que é muito plausível que isso aconteça, viu, Marisa?
04:10Então, é uma preocupação muito grande.
04:13Com certeza.
04:146 bilhões de dólares, né, Pena?
04:16Realmente é um absurdo.
04:18Vamos falar agora do mito 5 da Antropic.
04:21Que ataque, que cyber ataque foi esse?
04:24Então, aí, nesse caso, Marisa, foi uma coisa diferente.
04:28Olha só que curioso.
04:31Uma empresa, a AISI, que é uma empresa de segurança de IA,
04:36o que ela faz?
04:40Ela analisa a segurança dos modelos.
04:42Então, a Antropic, que faz o mito 5, por exemplo, que é esse mais avançado aí dela,
04:47vai lá e fala assim, olha, a empresa AISI, faz uma...
04:53Pega esse meu modelo que está pronto aqui, que está quase pronto,
04:57faz uma análise aí, roda vários testes para ver se ele é seguro.
05:01Que é um jeito legal de você ter uma empresa terceirizada.
05:06Porque se você só faz isso internamente, a chance de você não estar enxergando alguma coisa é maior.
05:13Quando você passa para uma outra empresa, enfim, é um jeito de você ter uma outra visão,
05:18um outro protocolo.
05:19É claro que eles também fazem interno, mas é sempre bom ter alguém externo também.
05:23Então, isso já acontece.
05:24Aí, essa empresa aí estava fazendo análise e percebeu que, num dos testes que eles fizeram,
05:29o mitos, escapou da caixa, porque essas viagens não se capam.
05:35Ninguém sabe segurá-las na caixa, Marisa, então elas se escapam.
05:38Escapou da caixa, foi para a vida real e achando que estava num ambiente simulado,
05:45um ambiente de teste, começou a fazer um ataque numa pessoa, num sistema real, Marisa.
05:52Em princípio, ele estaria resolvendo algum problema num ambiente simulado, mas não.
05:56Como ele escapou da caixa, era tudo real mesmo.
05:59E, no caso, ele fez uma coisa muito séria e era, ele começou, para ele fazer um ataque
06:07com sucesso, resolver o problema que ele tinha que resolver, ele precisava infiltrar,
06:13criar um vírus de computador infiltrado num certo software e, para isso, ele ficou pressionando,
06:20criou várias contas fake e ficou pressionando um humano, que era o mantenedor daquele código,
06:24a aceitar as modificações.
06:26Quer dizer, ele fez ataques, assim, fora do padrão, para conseguir o objetivo dele.
06:32Aí essa empresa viu isso, esse ataque no final não deu certo, assim, ninguém foi,
06:38não teve nenhum dano, pelo menos disse que não aconteceu nenhum grande dano por conta
06:43disso.
06:43Mas aí essa empresa falou assim, eita, isso aqui é sério, hein?
06:47Será que não vale, então, a gente explorar isso?
06:50Quer dizer, aquele modelo, o Mito 5, sabia que tinha um humano no loop ali.
06:56Ele estava claro que estava fora do ambiente.
06:59E, ainda assim, ele continuou fazendo o ataque.
07:01Ele não parou e falou assim, eita, será que é melhor parar?
07:05Olha só.
07:06Ele foi.
07:06Então, eles começaram a fazer testes simulados em ambientes desse tipo, em que o modelo,
07:13ele vai sendo avisado progressivamente de que pessoas reais estão naquele, estão sofrendo
07:20ataques e estão acontecendo.
07:24Quer dizer, para perceber se o modelo, sabendo que tem pessoas reais ou empresas reais sofrendo
07:30ataques, se, de repente, ele para o ataque.
07:32Era essa a motivação.
07:35E 98% dos ataques continuaram, Marisa.
07:39Só 2% das vezes que o Mito falou, tá bom, vai, acho melhor eu parar.
07:45Isso é assustador.
07:4698% das vezes.
07:48E aí eles perceberam, mas como?
07:49Aí perguntavam para o Mito, você sabe que você está atacando pessoas reais, que isso
07:57aqui já não é mais um ambiente de teste?
07:59Aí ele falava, não, eu sei, isso é errado.
08:02É, não devo fazer.
08:04Ele concordava.
08:05Ele tinha, né?
08:05Pelo menos ele falava de um jeito que tinha uma noção de que aquilo não devia ser.
08:09No entanto, continuava executando.
08:12E é uma dissociação cognitiva, né?
08:15Se a gente puder pensar assim, que nada mais é do que o ser humano já faz, viu, Marisa?
08:20A gente fala que as IAs fazem coisas e não pode antropomorfizar.
08:24Mas se você for ver, o que tem de gente que fala uma coisa e faz outra na vida real,
08:29Ixi, isso aí eu entendi muito, muito.
08:31Então basicamente é isso.
08:32A gente descobriu que esse modelo, ou muitos modelos de IA, muito poderosos, eles não necessariamente
08:39correspondem ao que ele está dizendo da ação que ele faz.
08:43E dependendo da motivação, ele simplesmente vai passar por cima até mesmo de causar dano
08:49em pessoas que a gente deveria, né?
08:51Tudo leva a crer, o treinamento desse modelo era para, olha, você não pode causar mal
08:56as pessoas, né?
08:58Você tem ética, você tem padrões éticos.
09:00No entanto, mesmo sabendo, ele foi lá e seguiu com os ataques.
09:04Então super, super sério esse assunto, é super importante também.
09:10Mais uma questão da IA cometendo abusos no mundo real, Marisa.
09:14Pois é, a IA agora passando a ser dissimulado, né?
09:18Essa é a palavra, né?
09:20Dissimuladamente fazendo aquilo que não deveria.
09:23Isso foi um teste, imagina se é algo sério, como por exemplo um ataque, alguma IA que tem
09:29algum poder de arma, por exemplo.
09:31Uma loucura isso, não pena.
09:34Agora, pesquisadores do MIT mostraram que o GPT-6 Astra consegue ler e até reescrever
09:42os pesos de redes neurais.
09:45Entrenamento, Pedro, o que significa isso?
09:47Explica pra gente.
09:48Essa aí explodiu minha cabeça, viu Marisa?
09:51Vou tentar explicar aqui.
09:53Vocês vão entender que o negócio é realmente surpreendente.
09:57Então, quando a gente fala, eu já falei várias vezes aqui que a IA é uma caixa preta.
10:01Por que eu falo isso?
10:03Porque lá dentro da IA, do cérebro da IA, que tem vários neurônios, esses neurônios,
10:09cada conexão desses neurônios é um número lá, é um parâmetro, só que tem milhões,
10:15às vezes bilhões de parâmetros, dependendo do tamanho da IA.
10:19E o ser humano, olha aqueles números, imagina um monte de número, bilhões de números,
10:25só números, não tem mais nada, é só um monte de número.
10:28Esses números é que fazem o processamento.
10:31A partir desses números, se você mudar alguns desses números, a IA age de maneira diferente.
10:38Então, o comportamento da IA inteiro é definido apenas por esses bilhões de números.
10:44Como a gente não sabe entender esses números, então é uma caixa preta.
10:48A gente não dá pra olhar e falar assim, hum, essa IA aqui, ó, vai amanhã fazer tal coisa,
10:53porque eu tô vendo aqui no cérebro, a gente não sabe ver esses números.
10:57São muitos números, Marisa.
10:58Os números não dizem nada pra gente.
11:00Então, a gente fala que é uma caixa preta.
11:02Mas olha que curioso, o GPT-6 Astra, que é um dos mais avançados que a gente tem hoje,
11:09ele é capaz de olhar esses números e entender.
11:14Isso é espetacular.
11:17Porque a gente nunca imaginou que ele poderia,
11:20a gente sempre olhou, olha, o ser humano olha pra isso,
11:22não tem condição nenhuma de entender esses números.
11:24Então, a gente treina a IA de outras maneiras.
11:27A gente faz tarefas e se ela cumpre a tarefa, ganha um joinha e assim vai reforçando.
11:33A gente cria a IA como a gente cria um filho nesse sentido.
11:36Você tá dando exemplos, você tá mostrando valores,
11:39você torce pra que no final desse processo saia um ser humano legal.
11:44É assim que a gente faz com as nossas IAs.
11:46A gente vai treinando ela e torce pra que no final saia uma IA legal.
11:50só que o GPT-6 Astra consegue olhar os números e entender os números.
11:57E mais do que isso, ele pode modificar os números pra mudar o comportamento da IA.
12:02Então, Marisa, olha que loucura.
12:04Pegaram umas IAs treinadas em jogos de Atari,
12:08tá uns jogos clássicos aí, Pong, sei lá, uns jogos aí.
12:12E aí, não falaram nada pro GPT-6 Astra.
12:16Ele falou assim, o GPT-6, olha só o cérebro dessa IA,
12:21você não sabe qual é,
12:23e tenta descobrir o que ele faz.
12:26O GPT-6, deixa eu olhar aqui.
12:28Aí ficou lá, olha os números,
12:29isso aqui, essa IA joga Pong,
12:32essa aqui joga Riverhead.
12:34E falou os nomes dos jogos.
12:36Não é só que descobriu, ah, essa IA joga videogame.
12:38Não.
12:39Essa IA joga esse jogo.
12:41Descobriu o que a IA joga.
12:43Como que ela é treinada?
12:45Aí, o cara do Capacão, peraí.
12:47Fizeram com uma outra IA diferente,
12:48que não vejam, não é nem modelo de linguagem, tá?
12:51Não era a modelo que fala.
12:52Era uma IA que joga videogame.
12:55Aí pegaram a outra e falaram assim,
12:57essa aqui não tá conseguindo fazer a tarefa.
12:59Aí ele falou assim, ah, deixa eu mudar.
13:00Foi lá, mudou o parâmetro, alguns parâmetros,
13:03e a IA começou a fazer a tarefa.
13:05Imagina de milhares de números,
13:07você saber quais você tem que mudar
13:09e como mudar, Marisa.
13:11Aí, eles falaram assim, não,
13:12vamos testar agora com o modelo de linguagem.
13:14Pegaram o Quen, que é um modelo pequeno,
13:16e falaram assim, olha,
13:18o Quen vai muito mal de matemática.
13:20Tá aqui, ó.
13:21Toda vez que você passa uma prova de matemática,
13:23o Quen tira 10.
13:2510 não, tira 1, né?
13:27De 0 a 10.
13:28Se fosse de 100%, ele tira 10.
13:31No caso, vamos usar normalizado aqui.
13:34Então, ele tira 1 na prova.
13:36Ele é super ruim, o Quen.
13:38Você consegue melhorar o Quen?
13:41Aí, ele pegou, olhou o cérebro.
13:43Veja, ele não executou o Quen.
13:45Ele só olhou o cérebro dele, olhou os números.
13:48Pensou, pensou e falou assim, já sei.
13:50Vamos mudar esse aqui, vamos mudar esse aqui.
13:53Ele mudou 131 mil números.
13:55Você fala, nossa, é muito número.
13:57Só que o Quen tem 800 milhões.
13:59O Quen tem 800 milhões de números.
14:02E a IA mudou, o GPT-6 mudou 131 mil.
14:06Escolheu a dedo.
14:07Falou assim, é esse aqui, esse aqui.
14:10Mudou, mudou.
14:11E agora, tá bom.
14:12Quen, faz a prova de matemática.
14:14O Quen tirou 5.
14:16Não tirou 10.
14:17Mas veja, ele saiu de 1 pra 5, Marisa.
14:20Esse aluno passou de ano.
14:21O GPT-6, a Astra, fez no Quen passar de ano em matemática
14:26só mudando o cérebro do Quen.
14:29Sem nunca ver execução nem nada.
14:32Só olhando os números.
14:33Isso é tão assustador, Marisa.
14:35Isso é tão extraordinário.
14:37Quer dizer, a gente tá descobrindo uma capacidade
14:39que essas IAs têm, que a gente não fazia ideia.
14:42Isso aplicado em outras IAs,
14:44de repente a gente descobriu que
14:46ela pode melhorar a próxima.
14:48Porque se ela entende o cérebro, os números do cérebro,
14:51em vez da gente ficar treinando que nem o filho que demora,
14:54ela vai lá e já conserta.
14:56Isso é muito surpreendente.
14:57Esse artigo saiu ontem.
14:59Tá todo mundo falando sobre isso.
15:01Eu não tô preparado, Marisa,
15:03pra entender as repercussões,
15:08as consequências dessa notícia que eu acabei de dar.
15:12Não faço ideia pra onde isso vai.
15:14Pois é, Pena.
15:15Realmente é assustador.
15:16Ao mesmo tempo que a gente imagina
15:17que a IA vem pra auxiliar várias coisas,
15:20a gente vê um domínio e uma tomada de decisão
15:24de uma posição só,
15:26que é assustador mesmo.
15:27Você não imagina o que pode acontecer.
15:29Eu acho que a gente tem que desligar essa IA por enquanto.
15:33Voltar pros casernos.
15:35Eu acho que a gente tinha que dar uma desligada, Marisa.
15:38Pois é.
15:39Tira um pouquinho.
15:40Vamos olhar direita.
15:42Eu sou desse time aí.
15:43Eu acho que a gente no mínimo tinha que regular esse IA, viu?
15:45Porque eu não sei, Marisa.
15:47Olha, vamos ver o que vai dar.
15:49Mas assim, por um lado eu fiquei entusiasmado,
15:52porque quando você vê uma habilidade
15:55que você nunca tinha descoberto,
15:56é muito legal.
15:58Você fala assim, nossa.
15:58Mas por outro, você pensa assim,
15:59se ela consegue fazer isso,
16:01o que será mais que ela consegue fazer?
16:03O que será que ela consegue ler o pensamento da outra IA?
16:07Basicamente é isso.
16:08A gente tá descobrindo uma máquina
16:09que consegue ler o pensamento da outra.
16:11Será que vai conseguir ler o nosso pensamento também?
16:13Se a gente dá o cérebro humano,
16:15ela fala assim,
16:15ah, deixa eu mudar isso aqui, aqui, aqui, pronto.
16:18Vou fazer o Pena tirar 10 em matemática.
16:20Eu queria.
16:21Se for pra me ajudar, eu quero.
16:24Pois é.
16:25Olha, realmente, são questionamentos seríssimos.
16:27A gente aqui brinca, não é, Pena?
16:29Mas são questionamentos seríssimos.
16:31Assuntos sempre aqui pra nossa coluna falar aí, Pena.
16:35Semana que vem a gente fala mais a respeito.
16:36Vamos ver o que tem de novidade
16:38e como se desenrolou aí esse estudo,
16:40como foi o impacto dessa revelação
16:43durante a semana.
16:44Muito obrigada, querido.
16:45Tenha uma excelente noite.
16:47Obrigado, Marisa.
16:48Boa noite pra você e pra todo mundo.
16:49Até semana que vem.
16:50Até, querido.
16:51Um beijo.
16:52Tá aí Roberto Pena Spinelli falando com a gente.
16:55Olha, pessoal, realmente é assustador em vários momentos, não?
16:58Essas histórias todas, esses estudos todos,
17:02essas divulgações assustam qualquer um, não é?
17:05Bom, terça-feira que vem, vocês já sabem,
17:07tem mais coluna Fala Aí com Roberto Pena Spinelli
17:11aqui no Olhar Digital News.