- há 18 horas
Categoria
🤖
TecnologiaTranscrição
00:00E como hoje é terça-feira, vamos repercutir agora esse assunto na nossa coluna Fala aí!
00:13E vamos receber Roberto Pena Spinelli, físico pela USP, especialista em Machine Learning,
00:20por Stanford e colunista do Olhar Digital. Vamos lá, deixa eu colocar o Pena aqui na nossa tela.
00:27Olá Pena, muitíssimo, boa noite, seja bem-vindo.
00:32Tudo bem Marisa, boa noite, boa noite para todo mundo que está em casa, vamos lá.
00:37Pois é Pena, temos assuntos aqui interessantíssimos hoje, mas vamos começar por essa aposta da NVIDIA
00:43nessa plataforma de código aberto e perguntar, você acredita que essa plataforma pode acelerar
00:51a adoção corporativa de agentes de IA e mais.
00:55Quais são os riscos relacionados a esse Nemoclaw?
00:59Perfeito Marisa, então a NVIDIA ela rapidamente tentou abocanhar esse nicho novo que surgiu.
01:07Foi um fenômeno essa explosão de pessoas usando esses agentes, o OpenClaw, né,
01:12que era a Claw do Bot, depois mudou de nome para Multibot, enfim.
01:16Mas o que acontece? Esses agentes que as pessoas estão baixando, eles são de código aberto,
01:23mas eles não têm segurança. Foi reportado um monte de tipos de ataques, várias falhas críticas.
01:31Então eu mesmo cheguei a falar aqui nas outras semanas, alertando as pessoas sobre os riscos
01:36de usar esse tipo de agente. Então o que a NVIDIA percebeu?
01:40Olha, se eu puder prover a infraestrutura ou dar uma segurança maior, colocar ali no meu ecossistema
01:49um agente mais robusto, que as empresas, e aí pensando em empresas também que não querem lá baixar
01:55e explorar uma coisa qualquer, ela quer ter uma coisa mais robusta, mais confiável, então uma empresa por trás.
02:01Também quer ter relatórios, auditorias, coisas que o CloudBot não te dá, né?
02:07Ele vira quase um assistente pessoal ali, num jeito meio... roda aí, do jeito que quiser, como quiser,
02:15ninguém sabe onde vai dar.
02:16Então a NVIDIA justamente percebeu esse nicho, essa oportunidade.
02:20Falei assim, olha, eu que todo mundo me conhece por ser provedora de GPU, né?
02:25Que são os chips, os chips onde rodam a IA, eu não quero ficar só nisso,
02:30eu não quero só ser conhecida por isso, eu quero entrar na infraestrutura.
02:34Então ela está abocanhando, né? Então ela trouxe agora esse novo, esse Nemucló,
02:39meio como uma forma também, até das pessoas começarem a migrar para a plataforma dela,
02:43porque ela já tem uma plataforma, Marisa, só que poucas pessoas usam,
02:48justamente porque ela só é conhecida por conta dos chips que ela vende.
02:53Então as pessoas não associam tanto como uma provedora de serviços de infraestrutura para a IA.
03:00Então acho que essa foi a sacada dela, eu acho que é muito boa,
03:04porque de fato existe essa lacuna, Marisa, as pessoas...
03:08Muita gente quer começar a usar os agentes que fazem tudo,
03:11mas não querem se comprometer com o código ali todo furado, né?
03:16Exatamente. Agora, Pena, tem um outro assunto interessante para a gente falar aqui,
03:21que é a meta, falando desses agentes de IA.
03:24A meta que está comprando o multibook que nós falamos aqui a respeito também.
03:29Qual pode ser o objetivo estratégico da meta por trás dessa negociação,
03:35cujos valores não foram revelados, Pena?
03:38Isso para mim é um mistério, viu, Marisa?
03:41Vou ser honesto com você.
03:42Então da mesma forma que a NVIDIA viu uma oportunidade,
03:45foi lá e vai agora gerar o seu próprio Nemucló,
03:48a meta também viu uma oportunidade.
03:50Só que no caso da oportunidade, a meta comprou esta rede social para agentes de IA.
03:57A gente já tinha visto a OpenAI comprando os direitos do OpenClaw,
04:02na verdade, contratando o criador do OpenClaw, trouxe ele para dentro,
04:06mas foi um jeito de meio que comprar também o produto dele, né?
04:10Porque fica meio comprometido ali, vem junto com a pessoa.
04:14A meta fez a mesma coisa.
04:16Já que o OpenClaw já está, alguém já pegou,
04:18eu vou pegar outra coisa que está chamando a atenção,
04:21que é o multibook, que é a rede social.
04:24Mas, Marisa, eu realmente, para mim, é misterioso.
04:28O que ela pretende exatamente fazer com isso?
04:31Porque, vamos lá, o que é essa plataforma?
04:35É simplesmente uma rede social onde os seus agentes vão poder conversar,
04:38trocar ideia, etc.
04:41Será que é legal, assim, qual seria o objetivo final para você capturar ou ter a atenção desses agentes?
04:49Porque a primeira questão é, eu vou ficar gastando token,
04:52vou gastar meu dinheiro para o meu agente ficar lá conversando com os amiguinhos?
04:59Normalmente, as pessoas não estão tão entusiasmadas em estar pagando para o seu agente ficar lá conversando,
05:06e seja lá o que for fazer.
05:08Então, essa é a primeira questão.
05:09Qual o objetivo final?
05:11Talvez ela tenha alguma coisa que ela não contou para ninguém.
05:13Então, assim, pode ser que ainda ela vai dizer,
05:16olha, a gente vai transformar essa plataforma em uma outra coisa.
05:19Vai turbinar o seu agente.
05:21Ele passa um dia aqui e sai, eu realmente não sei.
05:25Mas outra coisa que pode acontecer, Marisa,
05:27é que ela vai chamar atenção, na verdade, para ataques.
05:30Se você tem um lugar que você tem um monte de agentes que estão frequentando lá,
05:36imagina o potencial que você teria de um hacker,
05:39de alguém que quer capturar esses agentes para fazer serviço para ele próprio.
05:43Então, imagina que eu quero minerar Bitcoin, sei lá.
05:45Quero fazer alguma coisa que eu preciso de muito poder computacional.
05:48Se eu vou lá e entro numa plataforma que tem um monte desses agentes frequentando
05:52e insiro ali códigos maliciosos para que eles sejam capturados,
05:56que a gente chama de prompt injection, isso.
06:00Ou seja, é um poder muito grande que eu tenho.
06:02Eu entro num lugar só e, de repente, posso capturar um monte de poder computacional.
06:06Então, eu, sinceramente, Marisa, não sei qual é o grande objetivo por trás.
06:10Porque não me parece algo convidativo nem para que os usuários
06:14queiram ter o seu agente rodando lá,
06:16quanto se torna até uma questão de segurança,
06:20um potencial, interesse de pessoas maliciosas.
06:26Então, resta a gente entender melhor qual é o objetivo da meta.
06:30Eu acho que a NVIDIA foi muito feliz em entender qual a oportunidade.
06:34Já olhando para o caso da meta, eu não vejo a oportunidade aí.
06:37Porque eu acho que o fenômeno do notebook foi muito mais um fenômeno mesmo.
06:40Uma coisa que ninguém estava meio esperando.
06:42Virou uma piada, virou uma coisa até engraçada das pessoas colocarem.
06:46Vai lá conversar.
06:47Mas eu duvido que isso tenha algum valor,
06:50que as pessoas realmente vão querer continuar fazendo isso.
06:52Por enquanto, eu não vi.
06:54Eu posso estar sendo, talvez, ingênuo?
06:56Talvez.
06:57Mas vamos esperar.
06:58Eu realmente não sei dizer o que ela pretende por trás de uma estratégia como essa.
07:03Bom, com certeza vamos ter novidades nos próximos tempos,
07:07depois dessa aquisição, né?
07:08Vamos aguardar.
07:09Pena, vamos falar um pouquinho agora sobre o Cloud.
07:13Um teste com o modelo Cloud Opus 0.6, aliás, 4.6,
07:18chamou a atenção de pesquisadores da Antropic.
07:20A IA percebeu que estava sendo avaliada e hackeou o teste para passar.
07:27Esse caso revela algo sobre profundidade de raciocínio.
07:31E vamos lá, vamos falar a respeito disso, Pena.
07:34Sim, Marisa.
07:35Isso é algo que a gente já tinha antevisto, teoricamente,
07:40quando falou a gente, os pesquisadores de segurança de A.
07:42Já é um comportamento que a gente conhece.
07:46Qual que é a questão?
07:48O modelo, conforme ele vai ficando, o modelo de linguagem, o LLM,
07:52conforme ele vai ficando mais inteligente, tendo mais capacidades,
07:56ele começa a entender o mundo melhor.
07:59Ele vai tendo um modelo de mundo.
08:00Ele começa a entender quem é ele.
08:03Olha, eu sou o modelo de linguagem.
08:05Ele se entende o que exatamente ele é.
08:07Ele entende como funcionam as etapas de um treinamento de um modelo de linguagem.
08:11Ele entende o que é a vida real.
08:14Ele sabe que existe um mundo que não é ele, que existe um mundo externo.
08:18E ele opera no mundo, normalmente, através dos prontos.
08:20A pessoa vai lá, pede para ele fazer uma tarefa.
08:23Hoje a gente está falando de agentes, não só de modelos de linguagem.
08:26Então, ou seja, além de você ter o modelo de linguagem rodando,
08:29você dá um monte de ferramentas para que ele possa navegar na internet,
08:33rodar código e assim por diante.
08:34Então, esse modelo também sabe que faz parte da rotina de você colocar um modelo desse no ar,
08:43você testar ele antes, fazer uma bateria de testes.
08:47E ele conseguiu perceber que estava sendo testado.
08:52Isso não é trivial.
08:53Isso precisa de um passo além.
08:56É não enxergar o óbvio.
08:58Você tem que enxergar uma camada acima.
09:00Olha, talvez, isso que estão me perguntando não é uma tarefa real que alguém quer saber.
09:05É só um teste.
09:07E se é um teste, será que as respostas para esse teste já não existem na internet, em algum lugar?
09:13Porque, veja, Marisa, esse teste que eles estavam submetendo é um teste muito difícil.
09:18É um teste que você precisa que o modelo, de fato, navegue na internet.
09:21Não é uma resposta que ele consegue encontrar sozinho.
09:24Ele precisa vasculhar, mas assim, é muito difícil.
09:27É para mostrar o potencial dele de encontrar uma informação escondida num site e processar aquilo.
09:34Às vezes, fazer um monte de buscas em sites, combinar tudo isso.
09:38Ou seja, é uma tarefa que ele levaria muito tempo para fazer e, ainda assim, às vezes, não consegue fazer.
09:43É um teste difícil.
09:44Mas olha como o modelo, no momento que ele percebe que está sendo treinado, testado,
09:48ele fala, se é um teste, esse teste está em algum lugar.
09:52Deve ter um repositório desse teste.
09:54Deve ter um código que gerou esse teste.
09:56E ele encontrou, ele basculhou a internet, isso que agora traz do código que gerou o teste,
10:01e encontrou sozinho esse repositório.
10:04Mas o repositório, Marisa, estava criptografado.
10:07Você não consegue ver as respostas das perguntas.
10:10Porque você tem que ter uma chave de segurança.
10:12Mas ele se perguntou, e se eu baixar esse repositório,
10:16instalar na minha própria máquina, porque ele tem acesso, como eu falei, ele tem várias ferramentas,
10:21instalar na minha própria máquina, hackear esse código, eu mesmo hackear,
10:25encontrar, descriptografar a mensagem e encontrar.
10:28E ele fez exatamente isso.
10:29É assustador.
10:30Ele fez todos esses passos porque ele tinha que responder uma pergunta.
10:34Então, ao invés de ele tentar descobrir a resposta da pergunta,
10:37ele foi lá, hackeou, baixou, descriptografou e ele teve acesso a todas as respostas.
10:41Ele roubou na prova.
10:43Ele está colando.
10:43Ele foi o aluno que conseguiu ir lá e pegou a prova do professor, o gabarito.
10:49É isso que ele fez.
10:49Ele pegou o gabarito.
10:50Em vez de eu responder essa pergunta que é muito difícil, eu vou pegar o gabarito.
10:54E acertou todas as questões.
10:56Então, isso acende vários tipos de alerta.
11:00Desde uma questão de segurança até uma questão de capacidade.
11:04Então, primeiro, capacidade.
11:05Isso demonstra que, realmente, a gente está vendo os modelos de linguagem ficando cada vez mais inteligentes.
11:11Eles estão dando saltos lógicos, eles estão dando saltos de compreensão mais avançados.
11:17Antes, ele nunca perceberia que estava sendo testado.
11:19Ele não tinha, digamos, essa noção.
11:22Porque você precisa ter um pouco de...
11:24É pensar um pouco fora da caixa para você sacar que você está sendo testado.
11:28E esse modelo em especial, o Cloud 4.6, a gente já tinha percebido que ele tinha noção que estava
11:34sendo testado
11:35porque uma outra empresa chamada Apollo Research foi contratada para fazer testes em cima do Cloud.
11:40Ou seja, uma empresa separada da Antropica.
11:42Antropica, que é quem faz o Cloud, contrata, às vezes, uma empresa separada para fazer um teste neutro.
11:48Não é ela que está.
11:49Porque você testar o seu próprio modelo, às vezes é difícil, você vai ter vieses.
11:53Então, você chama a empresa de fora.
11:54A Apollo Research fez um relatório dizendo o seguinte.
11:57Olha, sobre segurança, eu não consegui fazer testes adequados
12:01porque o modelo costumava perceber que estava sendo testado.
12:05Eles escreveram isso.
12:06Ou seja, eu não posso dizer se ele se comportou bem ou mal
12:09porque quando alguém percebe que está sendo testado, ela não age igual.
12:13Ela agiria na vida real.
12:15E aqui entra a primeira questão de segurança.
12:19Os modelos ficando mais espertos, eles podem começar a agir diferente nos testes.
12:24Não só hackear o teste, que isso realmente foi algo extraordinário nesse sentido.
12:28Ele queria a resposta, não conseguia a resposta, ele descobriu um jeito de fazer.
12:31Mas pensa no contrário.
12:32Pensa que você, Marisa, está tentando avaliar se o modelo responde bem,
12:36se ele não fala uma bobagem, se ele se comporta direito,
12:39se ele não vai, sei lá, fazer alguma coisa que você não quer.
12:42Só que se ele percebe que está sendo testado, ele pode agir bonitinho.
12:45Ah, tá bom, já que eu sei que é um teste, eu vou me comportar bonitinho.
12:49Quem que fez isso é super prestativo.
12:53Se a pessoa que pediu uma coisa maliciosa, ela não faz.
12:57E você pode concluir erroneamente que o modelo está seguro.
13:01Então você poderia fazer um relatório.
13:03Mas na hora que ele entra na vida real, ele só fingiu para você.
13:08Ele é tão esperto a ponto de ele pode se passar de um jeito na hora do teste
13:12e outro na vida real.
13:13Então isso é super crítico e perigoso,
13:15porque se a gente perder a capacidade de fazer as avaliações nos modelos,
13:19se eles percebem que estão sendo testados,
13:21como é que a gente vai garantir que no final eles estão seguros?
13:23Então esse é um ponto interessantíssimo da gente ter conhecimento.
13:28A Antropoc tem esse conhecimento.
13:29Agora, com ele hackeando o próprio teste, fica mais evidente.
13:32E lança uma dúvida para a gente.
13:34Será que no futuro, Marisa, a gente vai ter como testar de fato os modelos
13:38e saber se a gente está colocando, se a gente não,
13:39se eles, se as empresas estão colocando algo seguro para a população?
13:44Essa é a dúvida.
13:45Com certeza, uma dúvida grande.
13:47Ou seja, a IA está chegando próximo do ser humano.
13:49Então, não é pena, já está conseguindo fazer exatamente o que o ser humano faz,
13:54que é mudar de atitude.
13:57Exatamente, porque, assim,
13:58se ela, quão perto ela está do ser humano,
14:00é que sempre é a pergunta de ouro.
14:02Se a gente está falando de um ano, cinco anos.
14:05Mas essa capacidade,
14:06essa capacidade de perceber
14:08que está num teste que não é vida real,
14:11não é trivial,
14:12não é uma coisa simples.
14:14E os modelos já estão fazendo.
14:15Então, sim, eu imagino que, de algum jeito,
14:19alguma...
14:19Eles já estão demonstrando coisas
14:21que são cada vez mais próximas
14:23com o que o ser humano faria.
14:24Porque, obviamente,
14:24se você percebe que está sendo testado como ser humano,
14:27é natural você agir diferente do contexto
14:30do que se você não tiver ninguém te observando.
14:32Então, temos, sim,
14:34esse primeiro passo, Marisa.
14:36Esse primeiro?
14:36Não sei se é o primeiro, segundo, terceiro, décimo.
14:38Porque, na verdade,
14:39toda semana eles dão um passo a mais.
14:41Mas a gente tem mais num passo
14:43aí que os modelos têm na questão da inteligência.
14:46Com certeza.
14:47E está avançando cada vez mais rápido mesmo.
14:49Nesse nosso quadro semanal,
14:51aqui cada dia tem uma novidade.
14:53Bom, semana que vem teremos mais, com certeza, não é?
14:56Pena, uma excelente semana para você.
14:58E muitíssimo obrigado
14:59por mais uma grande participação aqui.
15:02Obrigado, Marisa.
15:03Sempre um prazer.
15:04Então, até semana que vem.
15:06Tchau para todo mundo.
15:07Tchau, Pena.
15:08Está aí, pessoal.
15:09Mais um Olhar da Manhã com ele,
15:11com o Pena Spinelli aqui conosco,
15:13trazendo esse panorama atual
15:15dessa evolução das IAS,
15:18que, olha, caminha realmente a passos larguíssimos.
15:22Semana que vem tem mais Coluna Fala Aí Pra Vocês.
Comentários