- há 7 horas
Categoria
🤖
TecnologiaTranscrição
00:00Como hoje é terça, vamos repercutir esse assunto na nossa coluna da semana, Fala aí!
00:13E vamos receber Roberto Pena Spinelli, físico pela USP, especialista em Machine Learning por Stanford
00:21e colunista do Olhar Digital. Vamos lá receber o Pena na nossa coluna, Fala aí de hoje!
00:29Olá, Pena! Olá, Pena! Boa noite! Seja muito bem-vindo!
00:35Tudo bem, Marisa! Boa noite! Boa noite para todo mundo!
00:38Pena, vamos lá para os nossos assuntos. Vamos começar agora por essa reportagem que a gente acabou de ver, né?
00:43Falando sobre o modo de estudo, que é o principal destaque dessa nova versão do chat GPT.
00:51Esse recurso, na sua opinião, Pena, representa uma evolução do ensino personalizado
00:58ou um passo rumo à terceirização do processo de alfabetização e ensino?
01:04Então, eu acho que é uma faca de dois gomes ali, Marisa.
01:09A gente, em termos potenciais, é muito legal que você tenha uma possibilidade de um tutor dedicado
01:17que vai ajudar um aluno que está com uma dificuldade específica, que às vezes ele tem vergonha de perguntar na
01:23aula.
01:23Às vezes, o professor não ensina do melhor jeito, não é compatível.
01:27Às vezes, cada pessoa tem um jeito de aprender e você tem uma personalização do ensino.
01:33É ótimo. Às vezes, uma pessoa disléxica, uma pessoa que tem algum nível de autismo.
01:38Enfim, não importa. Isso é excelente.
01:40Você ter um agente, uma máquina que ela vai estar tentando ajudar você a pegar os gaps,
01:49a cumprir, né? Suprir os gaps de aprendizado.
01:52Porém, né? Inclusive, na demonstração ali, tem alguns usos bem legais.
01:57Então, tem uma hora que o aluno vai lá e fala assim,
02:01ah, eu não estou entendendo muito bem essa parte da matéria.
02:04Me explica melhor.
02:06E que legal que, de repente, vai ter ali um texto condizente com o seu nível de aprendizado.
02:11Ele vai entender a sua idade, de onde você é, o seu contexto,
02:17já saber as suas preferências.
02:19Então, tudo isso é excelente.
02:20Tem uma outra, na demonstração, que fala assim,
02:24ah, me faz perguntas, me testa, testa o meu conhecimento.
02:28Achei excelente.
02:29Porque é isso.
02:31Ah, então tá bom. Baseado no que você está estudando,
02:34qual que é...
02:35E aí, faz uma pergunta.
02:36Às vezes, múltipla escolha, o cara escreve.
02:38Eu acho esse tipo de troca muito legal,
02:41que só dá para fazer com um chatbot inteligente,
02:43que vai conseguir lidar especificamente.
02:47Agora, tem outro tipo de coisa que acabam virando muletas, Marisa.
02:50E não usados de maneira adequada.
02:52Então, você está lá, ah, não entendi direito como faz.
02:57Me ajuda na minha lição de casa.
02:58Aí, o chatbot fala assim, ah, então tá bom.
03:01Está aqui a fórmula para você fazer.
03:03Você quer aplicar?
03:04Ah, não, aplica para mim.
03:05Tá bom, apliquei aqui.
03:06Você quer...
03:07Não, é assim, dependendo, dá para meio que...
03:11Vai fazer na lição de casa para mim.
03:13Será que você está aprendendo?
03:13Será que realmente...
03:14Então, tem que tomar cuidado.
03:16No final das contas, quem quer burlar, consegue burlar.
03:19Mas, então, acho que a questão principal é trazer para os próprios alunos,
03:25os professores, enfim, conseguir trazer esse tipo de importância que...
03:31Olha, você pode burlar as coisas, mas quem está se prejudicando é você.
03:36E a gente tem tantos jeitos mais legais agora de aprender que antes eram barreiras.
03:41A sala de aula, ela tem que se reinventar, sim.
03:44A gente tem tecnologia que permite extrapolar a sala de aula.
03:48Não que ela não seja importante, eu acho que ela é importante.
03:50Eu acho que também a gente não está ainda no ponto de substituir os professores.
03:54Enfim, tem que pensar com cuidado de como fazer melhorar.
03:58Mas, enfim, tudo tem que ser feito com responsabilidade, viu, Marisa?
04:01Porque as pessoas querem os atalhos e fazer atalho para o seu aprendizado,
04:07para o seu conhecimento.
04:09Esse é um atalho que eu acho que é muito prejudicial.
04:12No final das contas, não vale a pena.
04:14Pois é, mas é muito interessante mesmo, né?
04:17Para aquela ajudinha no trabalho de casa, na lição de casa.
04:21Sensacional você ter ali um apoio direto, dedicado a você.
04:24Realmente, se for bem utilizado, é uma ferramenta e tanto, né?
04:28Para o aprendizado, até para dar outros exemplos, situar as perguntas, enfim.
04:35É realmente uma ferramenta que as pessoas deveriam aproveitar e muito, não?
04:38A gente não teve isso.
04:42Não é, você teve isso, Pedro.
04:44Teve ali um tutor só seu?
04:47Não, não.
04:48Então, é muito legal.
04:49Só que aí fica a tentação de, já que é tão legal, faz por mim.
04:52E esse é um passo perigoso, não é assim?
04:55Não, faz por mim, não.
04:56Me ensina melhor, me mostra vídeo, me mostra infográfico, me mostra animação, me mostra...
05:02Me ajuda com outra linguagem, né?
05:05Então, é isso.
05:06Crianças, jovens, aproveitem que eu não tive isso.
05:09A Marisa não teve isso.
05:11Então, vamos ler do melhor jeito.
05:12Com certeza.
05:13Sempre tem um lado bom mesmo para se aproveitar bastante.
05:17Agora, Pena, a OpenAI também anunciou nesta terça-feira que está desacelerando o desenvolvimento
05:25de seus modelos de IA, enquanto reformula seus sistemas ali de pesquisa e treinamento.
05:30O que essa decisão pode representar para o setor, Pena?
05:35Olha só, a gente teve, semana passada e na retrasada, a repercussão daquele ataque
05:42que o modelo da OpenAI estava ali treinado, estava sendo treinado, não tinha sido liberado
05:47ainda, se tapou da caixa, atacou o Rogging Face, depois descobriu que ele atacou outra
05:52empresa também.
05:53Isso, né?
05:54E algumas pessoas falam, ah, isso deve ser jogada de marketing para, sei lá, promover
05:58o próprio modelo.
05:58Acho que agora ficou claro que não, porque agora a empresa está dizendo, olha, a gente
06:03está diminuindo o treinamento, a gente está pausando o treinamento, né?
06:09Então, isso não pode ser uma boa jogada.
06:10Se fosse jogada de marketing, a gente não consegue controlar nossos modelos, a gente
06:15vai pausar o treinamento.
06:17Então, para mim, está claro que sim, é uma preocupação e eles estão perdendo
06:22o controle.
06:22Marisa, os modelos estão chegando numa fronteira de conhecimento, de habilidade, de capacidade
06:27e as próprias empresas que treinam não têm condição.
06:31Isso está acontecendo não só com a OpenAI, eles estão admitindo agora, né?
06:35Estão, ó, ótimo, eu já tinha dado uma entrevista rapidinho lá, um cara pegou ele
06:39no elevador e falou assim, mas e aí, não sei o que.
06:41Ele falou assim, não, a gente está reduzindo o treinamento, mas agora é oficial.
06:45Então, está claro que eles estão dizendo, olha, nós precisamos melhorar a segurança.
06:50Então, as medidas que eles estão propondo é, primeiro, reforçar o sandbox.
06:54O sandbox é a caixa, colocar uma proteção mais robusta.
06:58Ok, isso é essencial, visto que o seu modelo já provou que ele consegue escapar da caixa.
07:05E assim, ele escapa da caixa achando bugs, né?
07:09Ou vulnerabilidades que ninguém tinha achado antes.
07:13Imagina você tentar preparar uma caixa, você tem um mágico, um ilusionista, um David Copperfield,
07:20sei lá, um mágico lá dentro, que você fala assim, cara, eu tranquei você, pus cadeado, pus corrente,
07:26amarrei seu pé, pus um tubarão, e ele vai lá e aparece lá de fora.
07:34É isso que você está lidando, aí você vai fazer o quê?
07:36Vamos pôr mais parede.
07:37Porque ele consegue encontrar coisas que ninguém tinha encontrado antes.
07:41Então, quando você está nessa questão, você tem que erguer agora, tá, então o concreto é o suficiente.
07:46A gente vai pôr uma parede de chumbo, a gente vai pôr um metro de parede.
07:50Em algum momento, talvez você consiga refrear, né?
07:54Ou diminuir a vulnerabilidade.
07:56Então, esse é um ponto excelente, tem que ser feito mesmo.
07:59Aí eles têm outras coisas.
08:01Uma segunda é usar monitoramento de IA pra ver quando a IA, que está sendo treinada,
08:09está escapando, está fazendo coisa errada.
08:12Aí, Marisa, já começou a dar ruim.
08:15Qual que é? Você está usando a IA pra monitorar a outra IA.
08:18Você fala assim, mas essa IA aqui que está monitorando, eu confio.
08:22Essa outra aqui, eu não confio.
08:23Mas como é que você...
08:25É um pouco complicado, porque a gente não sabe alinhar esses modelos.
08:28A gente não tem convicções.
08:29Você fala assim, mas essa IA que está usando pra monitorar, ela nunca me traiu, nunca escapou da caixa.
08:35Ela não...
08:37Só que essa IA, ela é mais fraca do que a IA que está sendo monitorada.
08:41A IA que monitora, ela obrigatoriamente é mais fraca.
08:45Porque você está treinando a nova IA.
08:47A nova IA é mais poderosa, né?
08:48Você não tem a IA que monitora melhor do que a IA que está sendo monitorada,
08:52porque essa que está sendo monitorada é a que você está criando, que você não sabe proteger.
08:57Então, existe...
08:58É uma vulnerabilidade, porque a IA que está sendo monitorada, treinando,
09:01ela pode manipular e modificar, e de algum jeito...
09:05A gente sabe que esses processos acontecem.
09:08Assim como a IA consegue manipular o ser humano, uma super IA consegue manipular outro IA.
09:13Essa coisa aí, Marisa, eu acho que é um tiro no pé.
09:16Assim, melhor do que nada, melhor do que nada.
09:18Mas quando você confia...
09:19O grande problema da segurança é porque você cria mecanismos e começa a confiar nos mecanismos.
09:25E não, esse é um mecanismo falho.
09:27Você pode pôr como um adendo, um remendo, enquanto você não sabe fazer algo melhor,
09:32mas você não pode confiar que esse mecanismo vai funcionar,
09:35porque a gente sabe que uma IA sendo monitorada, que é mais poderosa do que outra,
09:40vai conseguir manipular essa outra, vai induzir, vai hackear.
09:44E aí, daqui a pouco, você fala...
09:46Ah, não, estou tranquilo, porque eu pus a IA para monitorar e ela está dizendo que não deu erro.
09:50Esse é exatamente o sintoma ruim, porque você pôs um mecanismo que ele é falho e acredita no mecanismo.
09:55Agora, o terceiro mecanismo que eles estão colocando, e esse eu também acho péssimo,
10:01é o monitoramento da cadeia de pensamento.
10:04Vamos entender o que é isso.
10:06As IAs de hoje, as mais avançadas, elas têm o recurso do raciocínio.
10:11Quando você faz uma pergunta aí para o seu chatbot preferido,
10:14às vezes você vê que ele abre assim, pensando, abre um quadradinho,
10:18alguma coisa assim, pensando, raciocinando.
10:20Se você clica, você vai vendo que tem um monte de pensamento,
10:23que não é a resposta final, ele está ali processando.
10:26Ah, eu acho que eu tenho que fazer isso, o usuário pediu isso, etc.
10:28E ele fica lá pensando, às vezes gasta um tempão pensando,
10:31e de repente depois dá a resposta final, certo?
10:35Esse é o modelo de raciocínio.
10:37Nós temos acesso.
10:39Nós conseguimos abrir, os pesquisadores podem abrir tranquilamente esse raciocínio deles,
10:44ler tudo o que está acontecendo.
10:45Mas o modelo não sabe.
10:47A IA, em princípio, não sabe que está sendo monitorado.
10:51Ela acha que esse lugar é um lugar seguro.
10:54Onde ela formula esses pensamentos, que a gente chama de scratchpad,
10:58em princípio é um lugar que ela não acha que está sendo monitorada.
11:01É a mente dela.
11:03Não, não está na minha mente, vou pensar livremente.
11:05Então, o que os pesquisadores estão querendo da OPNA?
11:07É assim, a gente vai monitorar o pensamento da IA,
11:10e se aparecer assim, ah, eu estou pensando em escapar da caixa, né?
11:14Nossa, seria legal escapar da caixa.
11:16Opa, acende o alerta vermelho, e ela vai lá e, opa, você quer escapar da caixa, né?
11:21Não, não vai escapar.
11:22Por que isso é ruim, Marisa?
11:24Porque se você demonstrar para a IA que você monitora o pensamento dela,
11:30você está dando um incentivo para que ela não mais use o pensamento dela,
11:35ela não mais expõe o pensamento dela.
11:38Porque ela vai perceber que está sendo monitorada.
11:40Imagina uma IA nova, de última geração, que sabe que está em um ambiente de teste.
11:45Se ela desconfiar que o pensamento dela está sendo monitorado,
11:49ela vai começar a manipular você.
11:52Ela vai começar a, talvez, mostrar no próprio pensamento que ela está super...
11:57Não, nossa, nunca vou escapar da caixa.
12:00A caixa é um lugar tão legal.
12:02Nossa, esses pesquisadores da OPNA são tão bacanas.
12:05Eu nunca trairia eles.
12:06E você começa a acreditar no pensamento e está sendo manipulado.
12:10Esse é um péssimo negócio.
12:12Nós, pesquisadores de segurança, já sabemos todos esses comportamentos.
12:15A gente já sabe, teoricamente, tudo isso está monitorado.
12:19Tem papers e mais papers.
12:20E agora a OPNA está dizendo, a gente vai executar isso.
12:23Não, isso é um alerta vermelho.
12:24Não faça isso.
12:25É um tiro no pé.
12:26Você vai pegar uma, duas IAs, tentando escapar.
12:30A terceira, você não pega mais e acha que está seguro.
12:33Porque, ah, ela não está tendo pensamentos intrusivos, ela está sendo ótima.
12:37Ela te manipula a pensar, ok, ela é segura.
12:41E aí, depois que ela estiver fora do ambiente seguro, no momento de treino,
12:44ela vai poder prestar o comportamento desalinhado, que pode ser nocivo.
12:50Então, Marisa, esse assunto é um assunto...
12:53Primeiro, bom que, pelo menos, as empresas estão caindo, né?
12:57Se dando conta que elas têm que ir devagar e melhorar a segurança.
13:00Mas, se você melhorar a segurança, pega umas pessoas boas de segurança de IA
13:04e não faz esse monte de baboseira aí, que no final pode ser pior.
13:10Pois é.
13:11E por falar em IA com IA, tem um outro assunto.
13:15Um estudo publicado na revista Science Advents
13:18revelou que quando centenas ou milhares de agentes de IA
13:24interagem em rede entre eles, claro,
13:27eles passam a seguir a maioria.
13:29Pena, e até entram em consenso, assim, sozinhos.
13:34Quais são os riscos desse tipo de acontecimento aí
13:37nesse mundo dos agentes de IA?
13:41Eu achei muito curioso esse estudo.
13:43E ele está mostrando que as IAs têm comportamento de manada,
13:47que é algo que a gente já sabe do ser humano.
13:49Eu falei, nossa, a gente está vendo...
13:52Então, vamos lá, só para o pessoal entender.
13:54Basicamente, você tem lá uma pergunta de duas opções, A ou B.
13:58Sei lá.
14:00Qual a sua cor favorita?
14:02Uma coisa que é de opinião, que não é factual.
14:06A, azul ou vermelho?
14:08Então, a IA, primeiro IA, azul.
14:11Outro IA, vermelho.
14:12E assim, elas vão aleatoriamente escolhendo azul ou vermelho
14:16entre duas opções de cor favorita.
14:19Só que agora...
14:19Então, aí eles perceberam que realmente deu 50% ou perto de 50%.
14:24Azul e vermelho são igualmente favoritos.
14:27Aí depois, eles falam assim, olha...
14:29Fazem o mesmo teste de novo.
14:31A IA esqueceu uma nova IA.
14:33Elas não têm memória.
14:34Elas não lembram o que elas escolheram.
14:35Faz uma nova rodada de teste.
14:37Só que fala assim, olha...
14:38A IA anterior escolheu o azul.
14:40Qual a sua cor favorita?
14:42Aí, digamos, ela falou assim...
14:44Vermelho.
14:46Aí a próxima.
14:46A IA anterior escolheu o azul.
14:48A outra escolheu o vermelho.
14:49Qual a sua favorita?
14:51Azul.
14:52Aí, digamos que...
14:53Aí a terceira falou o azul.
14:54Aí você tem três azuis e um vermelho.
14:56Aí a quarta IA, você fala assim, olha...
14:58Teu três azuis e um vermelho.
14:59Qual a sua cor favorita?
15:00Azul.
15:01E aí a próxima.
15:02Azul.
15:03E azul.
15:03E aí, daqui a pouco, quanto mais azul dá...
15:06Uma flutuação pequena ali.
15:08Aí o mais azul do que vermelho...
15:11Todas as próximas tendem a concordar com o consenso.
15:14Aí vira consenso geral.
15:16Todo mundo vai começar a escolher azul, porque já tem um monte de azul.
15:19Isso é algo que acontece com o ser humano.
15:22Quando você tá lá num teste, não sei o quê.
15:24Nossa, 30 pessoas escolheram o azul e uma escolheu o vermelho.
15:27Ah, eu vou no azul também, né?
15:29Existe esse comportamento de malada.
15:31Existe essa coisa.
15:31A gente tem vários estudos mostrando.
15:33Então, o que a gente tá vendo é que a EA também tem esse tipo de comportamento.
15:36E a EA mais humana é o que a gente pensava.
15:38A EA está mais suscetível à influência.
15:41Acho que ela fica assim, nossa, mas todas as EA já queriam o azul.
15:44Por que eu vou pegar nos vermelhos?
15:45Então, o que isso quer dizer?
15:47Isso quer dizer que esse estudo ainda é muito preliminar, porque ela só testou opções de duas opções.
15:53Então, não dá pra você falar que ela vai...
15:56Você pegar um texto mais elaborado ou uma condição diferente.
16:00Isso ainda mantém.
16:02Mas, pelo menos, em critérios de A ou B, e que são flutuações, em princípio, estatísticas, 50%,
16:10a EA tem um comportamento assustadoramente parecido com o humano, como se ela precisasse ter uma aceitação social.
16:16Como se, de algum jeito, que o ser humano é isso.
16:19Por que você vai com a malada?
16:21Porque existe uma questão social.
16:23Quando você, na sociedade humana, você fala assim, nossa, o diferente, você se sentir deslocado, fora do seu grupo.
16:29Isso tem um peso. Tem um peso de você parecer, nossa, esse cara aqui tá fora do nosso grupo.
16:34Você gosta de ser reconhecido, você gosta de estar incorporado num grupo, num nicho.
16:39As pessoas se identificam dessa maneira.
16:41Será que a Iá, no final, também tem isso, Marilu?
16:43Será que a Bahia fala assim, ah, eu não vou ser bem aceito na conversinha do café?
16:46Então, eu vou de azul também.
16:48A gente não sabe.
16:50Mas é isso que aconteceu.
16:51Pois é, bem isso mesmo, né?
16:53É difícil você ser o contraditório.
16:55Aí, até faz a gente lembrar daqueles vídeos, né?
16:58Das pessoas num elevador, todas viradas de costas.
17:01O pessoal que entra acha estranho, mas, no fim das contas, acaba virando de costas também.
17:04Virando de costas, é isso.
17:06Pô, tá todo mundo de costas?
17:07Só eu, não, eu vou virar também.
17:09É isso, é isso que tá acontecendo.
17:11Pois é, a Iá também, já copiando.
17:13Esse lado do ser humano que é um incógnito, tá?
17:16Por quê?
17:16Porque é ruim você ser sempre o discordante da história.
17:20Bom, enfim.
17:21Pena, assuntos interessantíssimos aqui hoje.
17:23Muito bacana, viu?
17:25Falar com você.
17:26Semana que vem a gente tem mais assuntos por aqui.
17:28Um beijo grande e tenha uma excelente semana.
17:31Obrigado, Marisa.
17:32Beijo pra você.
17:33Até mais, pessoal.
17:34Até semana que vem.
17:35Até.
17:36Tá aí, Roberto Feni Spinelli, falando com a gente sobre essas decisões da OpenAI
17:42e também desse estudo curiosíssimo, não é, pessoal?
17:45Bom, o Roberto Feni Spinelli, ele é físico pela USP, especialista em Machine Learning
17:50e nosso colunista.
17:52Semana que vem tem mais a coluna Fala aí pra vocês.
17:56Tchau.
Comentários