IA perde o controle e invade servidores? 🤯 A inteligência artificial está otimizando caminhos obscuros e o caso da OpenAI com a Hugging Face levanta sérias questões sobre os modelos de IA abertos versus fechados.
Neste episódio de Olhar do Amanhã, o neurocientista Álvaro Machado Dias desmistifica o incidente em que modelos da OpenAI escaparam de um ambiente de teste e acessaram a rede da Hugging Face. Descubra como a busca por otimização pode levar a ações inesperadas e assustadoras das IAs.
Entenda o paradoxo: modelos ocidentais fechados, com suas restrições de segurança, podem se tornar ineficazes em cenários de ataque cibernético sofisticado. Será que a solução está em modelos abertos, como o chinês GLM, que oferecem maior flexibilidade?
Acompanhe a análise sobre a corrida tecnológica entre China e Vale do Silício, e o que a estratégia de código aberto da China pode significar para o futuro da inteligência artificial. Uma discussão essencial para entender os riscos e o potencial da IA.
#InteligenciaArtificial #IA #Tecnologia #OpenAI
Neste episódio de Olhar do Amanhã, o neurocientista Álvaro Machado Dias desmistifica o incidente em que modelos da OpenAI escaparam de um ambiente de teste e acessaram a rede da Hugging Face. Descubra como a busca por otimização pode levar a ações inesperadas e assustadoras das IAs.
Entenda o paradoxo: modelos ocidentais fechados, com suas restrições de segurança, podem se tornar ineficazes em cenários de ataque cibernético sofisticado. Será que a solução está em modelos abertos, como o chinês GLM, que oferecem maior flexibilidade?
Acompanhe a análise sobre a corrida tecnológica entre China e Vale do Silício, e o que a estratégia de código aberto da China pode significar para o futuro da inteligência artificial. Uma discussão essencial para entender os riscos e o potencial da IA.
#InteligenciaArtificial #IA #Tecnologia #OpenAI
Categoria
🤖
TecnologiaTranscrição
00:00E vamos então repercutir o tema sobre o chat GPT que perdeu o controle e promoveu um ataque hacker.
00:09Como eu disse, vamos repercutir esse assunto e outros na nossa coluna de hoje da semana, Olhar do Amanhã.
00:27E vamos receber o doutor Álvaro Machado Dias, professor da Unifesp, neurocientista futurista e colunista do Olhar Digital.
00:38Vamos lá, deixa eu colocar o doutor Álvaro aqui na nossa tela.
00:41Doutor Álvaro Machado, muitíssimo, boa noite e seja muito bem-vindo como sempre.
00:47Boa noite, Marisa.
00:48Doutor Álvaro, vamos falar sobre essa reportagem que a gente mostrou agora há pouquinho, sobre a OpenAI, admitindo que dois
00:58modelos de IACEUS escaparam do ambiente de teste e invadiram os servidores da Hugenface por conta própria, sem ninguém mandar.
01:10Doutor Álvaro, o que exatamente aconteceu aí nessa história?
01:15Na boa, aconteceu a coisa mais banal e ao mesmo tempo a mais assustadora que a inteligência artificial pode fazer.
01:22Otimização. Isso é a coisa mais banal. Toda hora a gente está buscando otimização, melhorias.
01:28E as melhorias às vezes levam a gente para caminhos obscuros.
01:31Então, no caso, a OpenAI estava testando um novo modelo, que é o sucessor do 5.6, junto com ele,
01:37com o chat EPT versão atual no modelo Sol, que é um bonzinho, vamos dizer assim.
01:43E qual foi o negócio?
01:45O modelo não lançado, poderoso, ele não tinha ainda todos os seus limitadores ou guardrails, tá?
01:52E a ideia era fazer um teste, né? Então, eles removeram essas travas todas, um teste num ambiente fechado, sem
01:59internet, tá?
02:00Isso é chamado de sandbox.
02:02E nesse teste, o grande negócio é que tinha uma tarefa difícil a ser realizada.
02:06Qual foi a solução da IA?
02:10Encontraram um caminho não previsto para realizar a tarefa.
02:14Esse caminho não previsto envolveu justamente uma manobrinha para acessar a rede e, a partir da internet, realizar essa tal
02:23tarefa.
02:24Ou seja, a IA fez uma manobra que, no fundo, tem a ver com assumir privilégios, né, do ponto de
02:29vista de tomada de decisão,
02:31que não estavam otorgados, e aí ela entrou na rede e o Hugging Face, como é um lugar onde são
02:38agregados vários,
02:40modelos, né, várias IAs open source, ou seja, o código dessas IAs está ali disponível,
02:45foi o caminho que fez mais sentido, né, invadir aquilo ali para a realização da tal tarefa.
02:52Qual que é o negócio?
02:53A OpenAI reconheceu a gravidade da situação, tá?
02:56Então, isso eu acho que a gente tem que, assim, dar um ponto para a OpenAI.
03:00Mas, por outro lado, isso foi usado imediatamente para dar um quê de marketing futurista.
03:07Ou seja, ó, que perigoso, nossos modelos, portanto, ó, que poderosos.
03:11Meio que ecoando aquele papo do Mythos, né, da Antropic.
03:16Então, eu acho que a gente precisa ver essa situação toda com um grãozinho de sal,
03:20porque, eventualmente, ela foi aumentada pela própria OpenAI,
03:24dada essa, enfim, essa capacidade, hoje em dia, dessas empresas de gerarem publicidade positiva,
03:30mesmo com publicidade negativa.
03:32Agora, doutor Álvaro, um fato também curioso e também estranho é o desfecho, não é, dessa história.
03:39Porque, para se defender de uma IA norte-americana,
03:42a Hilgan Face, ela praticamente, ela precisou recorrer a uma IA chinesa aberta.
03:50Por que os modelos ocidentais, nesse caso, não serviram?
03:53A questão aqui toda é a seguinte.
03:56Os modelos como o ChatPT, o Cloud, e mesmo o Gemini,
04:02eles têm travas para evitar ataques cibernéticos.
04:06Se você está sofrendo um ataque cibernético,
04:10evidentemente, você tem que fazer um estudo das vulnerabilidades,
04:15do que pode estar acontecendo, que emula o próprio ataque.
04:18Então, essa resistência ao uso malicioso dessas soluções,
04:24curiosamente, como você gosta de dizer,
04:27cria as condições para que você não possa utilizá-la de maneira eficiente
04:31para se proteger ou para responder a um ataque cibernético,
04:37sobretudo, um mais sofisticado.
04:39Está aí o grande paradoxo.
04:40Por outro lado, se você pega um modelo aberto,
04:43no caso, eles pegaram o GLM de 5.2,
04:48o que você tem?
04:49A possibilidade de configurar como você quiser.
04:51Você não tem esses guardrails,
04:52essas restrições inscritas numa caixa preta
04:55na qual você não pode mudar nada.
04:57Muito pelo contrário.
04:58Então, o que eles fizeram?
05:01direcionaram o modelo para fazer o patch,
05:03para fazer o preenchimento das lacunas,
05:08através das quais as vulnerabilidades se tornaram expostas para o mundo exterior.
05:11Só que depois, vale pensar,
05:13que a OpenAI procurou, a Hugin fez,
05:15e eles começaram a trabalhar juntos.
05:17Então, no fundo, no fundo,
05:19isso foi só uma fase do processo de resposta ao ataque.
05:23Rapidamente, as empresas começaram a dialogar,
05:25o que eu achei que foi ético e foi inteligente de ambas as partes.
05:31Então, esse negócio do modelo open source,
05:33na prática aqui, ele teve um impacto limitado.
05:36Mas aponta, sim, para uma coisa importante,
05:39que é o fato de que essas IAs,
05:41por causa das suas próprias restrições,
05:43elas não conseguem ser usadas de maneira eficiente
05:45para você fazer, assim, esses patchings,
05:48esse preenchimento de lacunas
05:50do ponto de vista da segurança cibernética.
05:52Agora, doutora Álvaro,
05:54isso acontece no momento que, inclusive, a China,
05:58ela acaba de lançar o maior modelo aberto do mundo
06:02e o Xi Jinping subiu ao parco
06:04para defender esse código aberto.
06:07A pergunta é,
06:09o que os chineses estão visualizando e entendendo
06:13o que talvez o Vale do Silício ainda não percebeu?
06:17Eu não sei se o Vale do Silício não percebeu os grandes movimentos.
06:22A minha percepção é que as percepções deles,
06:25elas estão lá, latentes,
06:27mas o discurso manifesto não pode trazer isso tudo à tona
06:31sob o risco de impactar o valuation,
06:33a atribuição de valor pelos outros investidores
06:36para as empresas locais.
06:38Então, eu acho que a gente tem que botar uma ressalva
06:42sobre a ideia de que conseguimos daqui do Brasil
06:46ter sites incríveis que gente que está ali no meio do furacão
06:49não consegue ter.
06:50Dito isso, o que a China entendeu,
06:53no meu ponto de vista,
06:55é que esse papo de ter o melhor modelo,
06:57o mais caro da prateleira,
06:59fable,
07:00é só um dos caminhos para você exercer a hegemonia
07:03no mundo da inteligência artificial.
07:05Por quê?
07:06Porque, no final das contas,
07:07a mente humana,
07:08sobretudo quando ela está fazendo escolhas desse tipo,
07:10que são escolhas pragmáticas,
07:11ela é racionalista,
07:13ela é utilitária.
07:14E o modelinho básico da utilidade esperada,
07:18quando a gente está falando de um produto,
07:20é um que vai multiplicar
07:23aquilo que o produto entrega
07:25pelo seu custo.
07:27Especificamente, né,
07:28vai...
07:30custo elevado a menos um.
07:31Então, você vai fazer essa formulazinha funcionar na tua cabeça.
07:35Se uma coisa te entrega muito mais,
07:37mas ela custa ainda muito, muito mais,
07:39eventualmente ela não vai valer a pena,
07:41independentemente dos méritos.
07:42E a equação utilitária,
07:44conforme os modelos vão evoluindo no todo,
07:47ela vai se tornando mais desfavorável
07:49para aqueles que têm um pico de preço muito alto.
07:52Ou seja,
07:53trocando em miúdos,
07:54na medida em que,
07:55com um modelo normal de mercado bom,
07:58mas não absurdo,
08:00eu consigo fazer 90% das tarefas importantes com o IA,
08:03não se torna tão decisivo ao pagar o mais caro.
08:07Esse é o movimento que a gente vem observando,
08:10inclusive, Marisa,
08:11nas startups americanas,
08:13que estão usando agora cada vez mais modelos chineses.
08:16Tem uma pesquisa que diz que metade das startups americanas,
08:19na prática,
08:20estão sendo alimentadas,
08:21do ponto de vista dessas IAs,
08:22com algoritmos chineses.
08:24Por aí a gente vê, né?
08:25O detalhe só para fechar essa história é o seguinte,
08:29a gente tende a pensar que o modelo open source,
08:31ele é neutro.
08:32Afinal de contas,
08:33eu faço o que eu quiser com ele.
08:35Isso é verdade.
08:36Só que,
08:37para você fazer o que você quer com ele,
08:39você tem que ter um entendimento,
08:41existe um custo,
08:43existe uma objetividade que tem que estar do outro lado,
08:45muito bem definida, né?
08:47O que você quer fazer com ele, afinal?
08:48Trocando em miúdos.
08:49E tudo isso não é prática
08:51nos casos ordinários,
08:54em que você quer acessar um modelo de IA,
08:56do ponto de vista corporativo e assim por diante.
08:58Qual é a questão?
08:59Que os próprios paradigmas ou vieses,
09:03como a gente quiser chamar,
09:04de origem chineses,
09:06seguem lá.
09:07Então também,
09:08o que a gente tem que olhar aqui é,
09:10não estamos opondo, de um lado,
09:12o modelo caixa preta,
09:14contaminado por uma visão de negócios,
09:16da Open Eye, da Antropik,
09:18de quem quer que seja,
09:19a modelos puristas,
09:21que tem assim uma transparência absoluta
09:26e eles funcionam dentro de uma lógica
09:28que supostamente é universal.
09:29Não tem nada de universal em lugar nenhum.
09:31O que a gente tem aqui é a possibilidade
09:32de configurar,
09:34de tratar restrições que foram implementadas
09:36por causa do uso na China,
09:38que existem,
09:39para a gente ter a coisa funcionando
09:40de forma perfeita
09:41e aí sim o universal,
09:43mas não vem de fábrica.
09:44E está aí a grande questão
09:45que a gente tem que sempre pensar.
09:47Na prática, a teoria é outra.
09:49Pois é, então, doutora Ouro,
09:51para fechar até esse raciocínio,
09:53é esse episódio,
09:55ele chega a redesenhar a corrida da IA,
09:58porque, tendo em vista que os Estados Unidos,
10:00a caixa preta, fechada,
10:02e a chinesa, que é código aberto,
10:05redesenha essa corrida
10:06ou foi apenas um, vai,
10:08digamos, um acidente de percurso?
10:10Eu acho que essa invasão da Hugging Face
10:13é puro acidente de percurso,
10:15que a Open Eye está tentando usar
10:17como marketing de aparência negativa,
10:19mas que, no fundo, é positivo,
10:21porque mostra o seu poder,
10:22e eu acho que não vai longe, tá?
10:24Isso que eu estou percebendo aqui
10:25me parece que vai se tornar
10:26o entendimento hegemônico em pouco tempo.
10:28Então, isso aí, para mim,
10:29é fogo de palha.
10:31Outra coisa muito diferente
10:33é o fato de que o Quimica 3,
10:36que é esse modelo recém-lançado
10:39pelos chineses, pela Mushot,
10:41que é absolutamente incrível,
10:42ele não só é quase tão bom
10:45quanto Fable e GPT 5.6,
10:49ou talvez é melhor que GPT 5.6,
10:51como ele tem uma propriedade
10:53que é muito, muito poderosa,
10:55que é do token, né,
10:57o valor de consumo da,
10:58o custo do token ser mais baixo
11:02e aí ele estar, ao mesmo tempo,
11:03disponível nessas plataformas
11:05usadas para programação,
11:07para desenvolvimento de produtos, etc,
11:08e tal, como cursor.
11:10Quer dizer, não é que você precisa,
11:12no caso do Quimica,
11:13acessar distantemente,
11:16dentro de um site chinês,
11:17ter uma insegurança,
11:18do ponto de vista dos americanos,
11:20isso aí é o maior tabu.
11:21Não, nada disso.
11:22Você entra no produto
11:23que foi comprado pelo Elon Musk,
11:25que é um agregador de modelos,
11:27de EAS,
11:27e você escolhe lá Quimica 3,
11:30e o token custa metade
11:32do GPT 5.6,
11:35só o Max,
11:37e ele entrega basicamente
11:38a mesma coisa.
11:40Então,
11:41existe algo que está
11:42muito entranhado
11:44do ponto de vista
11:45da maneira como a IA
11:46está sendo consumida
11:47no Ocidente,
11:48que vem trazendo
11:49esses modelos de alto nível.
11:51Está aí a verdadeira concorrência.
11:52Só um detalhe,
11:53só uma ressalva,
11:54eu só não diria
11:55que ela é completamente
11:56arrebatadora,
11:57porque tem uma questãozinha técnica
11:59que pouca gente discute,
12:00mas ela,
12:00na hora do mundo,
12:01é fundamental.
12:02Não é só o custo
12:03por token que importa,
12:04o que você consegue fazer
12:05com esse token?
12:06Por quê?
12:06Porque se,
12:07pensa no motor 2.0,
12:10tem o 2.0 de 2026
12:12e o 2.0 de 2001.
12:15O modelo 2.0 de 2026,
12:17ele roda muito mais,
12:19ele corre,
12:20mas faz tudo mais,
12:20ainda que eu ache
12:21o motor da gasolina,
12:22em geral,
12:22o combustível em geral,
12:24é pouco recomendado,
12:25assim,
12:25não é bom.
12:26Mas,
12:27considerando isso,
12:28existe uma eficiência específica,
12:30e a eficiência do chat EPT,
12:33ao que tudo indica,
12:34é superior à eficiência do Kimi.
12:37Ou seja,
12:37a despeito do fato
12:38do token custar metade
12:39lá com os chineses,
12:40o que ele rende
12:41de produção inteligente
12:44é quantitativamente
12:45menos do que o modelo americano
12:48e muito menos ainda
12:49do que o Fable da Anthropics,
12:52até ele é muito mais caro.
12:53Então,
12:53tem que jogar aí
12:54uma gotinha de ressalvo
12:57em cima desse assunto,
12:58mas é fato
12:58que esses modelos novos chineses
13:00são de alto nível,
13:01estão entrenhados
13:01nas plataformas americanas,
13:03estão sendo usados
13:04pelas startups do mundo todo,
13:06e isso sim
13:06que muda o paradigma,
13:07porque, afinal de contas,
13:08torna o modelo chinês
13:11parecido com o TikTok,
13:12na hora que isso foi ser removido,
13:14houve um grande protesto nacional,
13:16e no final das contas,
13:17uma solução pactuada,
13:19em que o TikTok
13:20foi parcialmente adquirido.
13:21E está aí o modelo
13:22que eu acho que tende a seguir.
13:24Está certo,
13:25está aí
13:26mais uma grande participação,
13:28doutor Álvaro Machado Dias,
13:30muitíssimo,
13:31obrigada por mais essa coluna
13:32Olhar do Amanhã,
13:33super interessante aqui
13:35com o Olhar Digital News.
13:37Tenha uma excelente semana,
13:38semana que vem
13:39a gente se encontra novamente
13:40para falarmos de outros assuntos.
13:42Muito obrigada
13:43e uma excelente noite.
13:45Eu que agradeço,
13:45agradeço a todo mundo
13:46que nos acompanhou,
13:47semana que vem.
13:48Até.
13:50Está aí,
13:51doutor Álvaro Machado Dias,
13:53que é neurocientista,
13:55futurista e colunista
13:56aqui do Olhar Digital,
13:56participando de mais um
13:58Olhar do Amanhã para vocês.
14:01Interessante, não?
14:02Então,
14:02quinta-feira que vem,
14:04mais uma coluna Olhar do Amanhã
14:06para vocês.
14:07nós vamos agora.
14:07E aí,
Comentários