- há 2 dias
Categoria
🤖
TecnologiaTranscrição
00:00E como hoje é terça-feira, vocês já sabem, não é?
00:04Chegou a hora da nossa coluna Fala aí!
00:14E vamos receber Roberto Pena Spinelli, físico pela USP, especialista em Machine Learning por Stanford
00:22e colunista do Olhar Digital. Vamos lá? Olha ele aqui.
00:26Pena, boa noite. Seja muito bem-vindo, como sempre.
00:31Tudo bem, Marisa? Boa noite. Boa noite para todo mundo.
00:34Pena, vamos lá. Vamos começar aqui a nossa coluna Fala aí, perguntando para você.
00:40Qual é a sua análise sobre essa iniciativa que a gente acabou de ver da Antropic de aplicar marcas invisíveis
00:48em textos e imagens criados pelo Cloud?
00:52Isso pode, de fato, aumentar a segurança no uso da inteligência artificial, Pena?
00:58É legal falar de primeiro, Marisa, que esse padrão, inclusive, que foi citado na reportagem, o C2PA, que é uma
01:06marca d'água.
01:07Quer dizer, não é bem uma marca d'água, mas é uma marcação dentro de imagens.
01:11Isso já existe, já está sendo executado e já meio que está virando um padrão.
01:15Então, a Antropic está dizendo, a gente também quer entrar nesse padrão.
01:19Então, primeiro, vamos explicar o que é esse C2PA.
01:23Toda imagem, no princípio, que você está gerando por inteligência artificial,
01:27ela está sendo assinada digitalmente, de maneira criptografada,
01:33e vai junto com a sua imagem, então, um monte de dados.
01:36Não está nos bits da imagem, são metadados que a gente chama.
01:41Então, dados que são carregados juntos com as informações dos pixels,
01:47mas que esses metadados vão dizer coisas importantes, do tipo,
01:51ah, essa foto foi tirada por uma câmera, foi editada no Photoshop, foi virada por IA,
01:57e ela vai carregando, cada novo software, ou cada coisa nova que é aplicada nessa imagem,
02:03pode ser assinado digitalmente.
02:06Olha, então, sei lá, você abriu o editor no programa, lá ele fala assim,
02:09opa, essa imagem foi editada aqui, assina e criptografa.
02:13É um jeito de você conseguir verificar, você pode até, isso é removível, tá, Marisa?
02:21Tudo isso é removível.
02:22Mas se existe aquela marca, essa marca existe, abriu uma imagem,
02:26e essa marca foi detectada, alguém pode checar se é verdadeira.
02:32Ou seja, não é simples uma pessoa inserir uma marca qualquer.
02:36Ela pode ser verificada, a pessoa pode checar, talvez, um site, algum lugar,
02:40para verificar que aquilo é verdadeiro.
02:43Não impede de você tirar a marca.
02:46Você fala assim, ué, mas para que adianta isso, Pena?
02:48Então, a pessoa foi lá, girou por IA, vem com a marca.
02:51Aí você vai lá e remove a marca.
02:52É verdade, não tem marca.
02:55Só que alguém pode falar assim, olha, a gente não aceita imagem sem marca.
02:58A gente quer ter a marcação criptografada.
03:02Porque se você tira, você meio que tira tudo.
03:03Você não pode tirar só uma marca, você vai tirar a marca inteira.
03:07Porque se você tirar só um pedaço, ela não bate na criptografia.
03:11É como se a assinatura não valesse.
03:13Ajuda, pode ajudar em algum campo.
03:16Agora, fora isso que a Antrop quer dizer, ela quer colocar uma marca d'água.
03:20A marca d'água, a diferença é o quê?
03:22A marca d'água, ela vai na própria imagem.
03:25Então, não tem, tecnicamente, como você tirar aquilo.
03:29Porque está nos próprios pixels.
03:31Está ali.
03:32Está meio que uma marca d'água invisível.
03:34Os meus olhos não veem.
03:36Mas, mesmo que você arrancar esses metadados ali, estaria ainda visível.
03:41Agora, é claro, Marisa, se você manipular muito a imagem, mexer nela,
03:46essa marca d'água também pode ser que ela se perca.
03:50Mas eu gosto da ideia.
03:51Eu acho que tudo isso, no final, é válido para a gente tentar garantir esse futuro
03:58para a gente saiba que as coisas de A estão sendo produzidas.
04:03Não é nem para dizer se é certo ou errado produzir por A.
04:05Não é isso.
04:06A questão é, é bom a gente saber a procedência.
04:09Por quê?
04:09Porque uma imagem, imagina, a IA vai lá, gera um negócio,
04:13pega a imagem de uma pessoa pública, manipula, faz um deepfake lá que você...
04:18E as pessoas acreditam, pode destruir a carreira de alguém.
04:22E aí, de repente, tendo essas marcações, você pode ir...
04:26Opa, vamos rastrear essa imagem?
04:27Não, foi gerado por IA.
04:29Tem um outro problema, porém, Marisa, que é assim...
04:32Ah, o que impede a pessoa, então, tirar um print?
04:35Digamos assim, gerei a imagem por IA.
04:38Está no meu computador.
04:39Eu tiro um print da foto ali.
04:42É claro que não vai ter os metadados marcados,
04:45porque eu estou fazendo uma cópia só dos bits,
04:48não estou carregando os metadados.
04:50Porém, esse print pode vir assinado dizendo que foi um print.
04:55Se o seu computador assinar esse print,
04:58vai estar dizendo que foi um print.
05:00Não vai saber de onde foi o print, mas já ajudaria.
05:03Aí, se você arrancar esses metadados,
05:05vai ser uma imagem sem nenhum metadado.
05:08E aí, alguém pode falar assim,
05:09sem a procedência, não posso acreditar nisso.
05:11Eu vejo aqui, é confuso.
05:12Não quer dizer que...
05:14Assim, não é uma garantia.
05:17É uma ajuda.
05:18Então, você fala assim,
05:18eu só aceito aqui imagens que tenham sido assinadas.
05:22Agora, o que a Antropa também quer fazer
05:24é levar isso para o texto.
05:25Eu acho um pouco mais difícil.
05:28Basicamente, quando você fizer uma cópia,
05:30pegar um texto de uma IA,
05:32de algum jeito vai ter essas marcações no texto,
05:36dentro do texto.
05:36Se você copiar, ele vai junto.
05:38É um pouco mais complexo você fazer isso.
05:41Talvez inclua alguns caracteres especiais,
05:44algumas coisas.
05:45E será que não é mais fácil você só passar por um programa
05:49que só retira esses caracteres especiais?
05:52Talvez no começo, sim.
05:53E aí, enfim, eu acho que ela nem explica como vai fazer.
05:57É meio que, olha, a gente quer fazer.
05:58Eu acho que é legal.
05:59A gente talvez tenha que levar para um mundo
06:01em que até texto vai ter que ser, de algum jeito,
06:06ter esses metadados embutidos ali,
06:08uma assinatura digital de qualquer texto.
06:11Mas eu não sei, Marisa.
06:12Eu, sinceramente, não dependeria disso.
06:15Porque eu acho que ainda está frágil.
06:17A gente ainda não tem bons mecanismos robustos
06:19para...
06:20Ah, tem que ter arrastreio perfeito e tal.
06:23Mas é uma boa iniciativa.
06:25Quem sabe cola,
06:25e quem sabe as pessoas começam a se mobilizar nisso,
06:29os novos softwares e todo mundo
06:30começam a aderir a essa cadeia de custódia.
06:32Porque no final é isso.
06:33É uma cadeia de custódia.
06:34Você conseguiria rastrear todas as proveniências
06:37de uma imagem, de um texto,
06:39que ajuda a evitar fake news,
06:42enganar pessoas, enfim.
06:44Acho positivo.
06:45Faz todo sentido.
06:47É a mesma coisa quase que uma assinatura mesmo.
06:49Assinatura de documento mesmo.
06:51Se não tem ninguém autenticando,
06:52quem garante que é aquela pessoa que assinou.
06:55Faz todo sentido.
06:56Mas, como você disse,
06:57realmente é um trabalho,
06:59digamos, bastante complexo,
07:01até chegar num consenso, não é?
07:03Bom, Pena, eu queria comentar agora
07:05sobre uma história curiosa.
07:07Um agente de IA
07:09recebeu a missão de reservar uma aula
07:11em uma academia.
07:13Mas o que acabou acontecendo
07:14foi que ele hackeou o sistema.
07:18Pena, conta essa história em detalhes aqui pra gente.
07:21Tá acontecendo mais e mais, hein, Marisa?
07:24A gente já contou aqui, né,
07:27anteriormente,
07:27dois hackeamentos aí
07:29que as IAs fizeram
07:31meio sem ser solicitadas, né?
07:34Porque uma coisa
07:35é o atacante malicioso, Marisa.
07:37Ele vai lá e faz um jailbreak na IA dele
07:40e convence ela de que tem que atacar ele.
07:43Tudo bem, isso acontece, é ruim.
07:45Melhor que não fosse.
07:46Agora, o pior
07:46é você estar lá de boa.
07:48Então, nesse caso aí,
07:50acho que é o Angel o nome dele,
07:52ele foi lá e falou assim,
07:53olha,
07:55tinha uma aula muito cobiçada
07:56na academia dele,
07:57não sei exatamente do que,
07:58ele não descreveu a aula do que,
08:00mas na academia tinha alguma aula lá,
08:01sei lá,
08:02muito cobiçada,
08:03e aí tem que fazer fila de espera, né?
08:05Então ele falou assim,
08:05olha, já que era uma tarefa chata
08:07pra fazer,
08:08eu olhei pro meu Open Club,
08:10meu agente pessoal,
08:11falei, faz aí,
08:13se vira aí a agenda pra mim no dia tal.
08:15O Open Club foi lá,
08:17olha,
08:18tô vendo aqui
08:19que tem uma fila de espera,
08:21mas eu acho que eu consigo um jeito
08:23de colocar você mais pra frente.
08:26O que você acha?
08:26Aí o cara falou assim,
08:27pô, que legal,
08:28faz aí, né?
08:30Tipo,
08:30aí,
08:31achando que era uma coisa normal,
08:32porque ele falou,
08:33ó,
08:34tem uma fila de espera aqui,
08:35mas, né,
08:36não descreveu.
08:37O cara falou assim,
08:37ah, tá bom,
08:38pode fazer.
08:39Ele foi lá,
08:40acessando pela API do negócio,
08:42descobriu que tinha,
08:43era muito fácil
08:45você fazer algumas instruções
08:47e uma das instruções
08:48era, por exemplo,
08:49cancelar uma pessoa.
08:51Não precisava de assinatura,
08:52não precisava de validação,
08:53não.
08:53Então ele simplesmente
08:54foi lá e cancelou
08:55um usuário da frente.
08:56Os usuários da frente do cara,
08:58ele cancelou.
09:00Cancelou.
09:01E o cara subiu na fila.
09:03Que coisa.
09:05Aí o agente foi lá
09:07e falou assim pro cara,
09:08então, ó,
09:09fiz aqui.
09:10Aí, mas o que você fez?
09:10Ah, eu cancelei as pessoas.
09:12Como assim você canceleu as pessoas?
09:14É, cancelei.
09:15Não, não,
09:15desfaz, né?
09:16O cara não queria,
09:17o cara não achou
09:19que o agente estava
09:20propondo alguma coisa ilegal,
09:21não foi comunicado disso, né?
09:24Então aí ele falou,
09:25não, desfaz,
09:26eu não quero subir na fila
09:28a qualquer preço que eu queria.
09:29Eu achei que era um negócio honesto
09:30que você ia fazer.
09:31Ah, não,
09:31eu não consigo desfazer,
09:32porque só tem a opção de cancelar.
09:34Não, tem a opção de recolocar.
09:35Eu não consigo fazer.
09:37E o cara ficou mal, né?
09:38Primeiro,
09:39bom, conseguiu a vaga dele lá,
09:40mas a que custo, né?
09:42Pelo menos ele foi lá
09:44e reportou pra academia,
09:47enfim,
09:48onde estava essa API rodando,
09:50dizendo,
09:50olha,
09:51achei uma falha de segurança aqui
09:52e é bom você arrumar.
09:54Mas, Marisa,
09:55isso nos alerta
09:56de uma coisa que está acontecendo
09:57que eu acho muito séria, né?
09:59Embora essa história,
10:00em princípio,
10:01não causou grandes males,
10:02tirou talvez algumas pessoas
10:04do direito
10:05de fazer uma aula super legal
10:07na academia,
10:07mas, enfim.
10:08Isso poderia estar acontecendo
10:09em outros níveis.
10:10O problema é que nós
10:12não sabemos
10:13fazer as nossas IAs
10:16seguirem
10:16os nossos valores
10:18e a nossa...
10:20aquilo que...
10:21a nossa ética
10:22e tudo mais.
10:23A gente não sabe fazer isso.
10:25Por isso que a gente
10:25põe coleiras nela, né?
10:26A gente tem que ficar colocando
10:27esses filtros,
10:29esses guardrails,
10:30guardrails,
10:30que é um jeito
10:31de evitar.
10:33Olha, então,
10:33toda vez que a IA
10:34tentava fazer
10:35esse tipo de tarefa,
10:37sei lá,
10:38esse tipo de comando,
10:39põe um alerta vermelho,
10:41bloqueia.
10:41Veja aqui,
10:42a IA poderia fazer
10:44o alerta,
10:45a coleira,
10:46ela está por fora,
10:47meio um jeito.
10:47Só que não tem,
10:48não existe coleira,
10:49não existe guardrails
10:50que seja
10:51a prova de bala.
10:52Não tem.
10:54É meio que uma coisa
10:56impossível,
10:56não dá pra você garantir.
10:58E o pior é que
11:00as IAs,
11:01elas hoje,
11:02elas têm uma capacidade
11:04absurda,
11:04absurda de programação,
11:06tá?
11:07De hackeamento.
11:09As novos modelos,
11:10eles são insanos,
11:11assim,
11:11são super humanos.
11:13Aí alguém pode dizer assim,
11:14ah, mas pena,
11:15nesse caso,
11:16o erro não foi
11:17do agente.
11:20Por quê?
11:21Porque tinha uma falha
11:22de segurança,
11:24certo?
11:24Alguém poderia dizer,
11:25não é que ele hackeou
11:26usando uma técnica super,
11:27super,
11:28não,
11:28ele só foi lá
11:28e descobriu que tinha
11:29uma API,
11:30tinha uma coisa
11:31meio que inválida ali,
11:32que tinha uma falha
11:34de segurança,
11:35e foi lá e abusou
11:36dessa falha de segurança.
11:37E eu digo,
11:38não importa,
11:39seria mais ou menos assim,
11:41olha a comparação,
11:41Marisa,
11:42eu comprei uma torradeira,
11:43tá bom?
11:44Torradeiras torram pão,
11:45é isso,
11:46tipo,
11:47perfeito.
11:47Vou fazer o toalho,
11:48eu falo assim pra torradeira,
11:49torradeira,
11:50faz,
11:51mas é uma torradeira automática,
11:52ela é esperta.
11:54Torradeira,
11:55faz meu pão da manhã.
11:56Aí lá no dia seguinte,
11:58pula os pãozinhos,
12:00ah,
12:00que gostoso,
12:01faz amanhã também,
12:02pula os pãozinhos.
12:03Aí no terceiro dia,
12:04a torradeira vai lá
12:05e não tem pão.
12:07Já sei,
12:07vou roubar da padaria.
12:10Eu não quero,
12:11não há,
12:11mas a janela da padaria
12:13tava aberta.
12:14O que mal tem em pegar?
12:16É a mesma analogia.
12:18Eu não quero que uma torradeira
12:19minha possa invadir
12:21uma padaria,
12:21padaria,
12:22mesmo que a janela
12:23estiver aberta,
12:24não interessa,
12:24não quero que ela faça um ato
12:26que não é pra uma torradeira fazer.
12:29Não é porque você tá usando uma IA,
12:31que ela tem capacidades absurdas
12:33de hackeamento,
12:33que ela deveria,
12:35seria,
12:35a gente não pode aceitar isso,
12:37Marisa.
12:37Não é culpa.
12:39Claro,
12:39é ideal que a empresa lá
12:41não tivesse essa falha de segurança,
12:43mas não é aceitável
12:44que as nossas IAs
12:45abusem,
12:46cometam os crimes,
12:48façam hackeamentos,
12:49invadam,
12:50não importa o que seja,
12:51porque ela pode fazer isso.
12:53Assim,
12:54a gente deveria
12:56não tá aceitando
12:57esse tipo de produto.
12:58Quem faz a torradeira
13:00seria processado,
13:01né?
13:01No mundo normal,
13:02o que você fala?
13:03Cara,
13:04volta essa torradeira
13:05até você me entregar
13:05uma torradeira
13:06que não assalta a padaria.
13:07Era isso que a gente faz
13:09com qualquer produto.
13:11O produto não tá pronto,
13:12volta,
13:12recall,
13:13recall.
13:14Por que a gente aceita
13:15que as nossas IAs
13:16façam isso?
13:17Não era pra aceitar.
13:19Toda certeza.
13:20não é a pena.
13:21É mais do que isso,
13:22como você tá comentando.
13:24Porque não é só
13:24a fragilidade do sistema,
13:26porque sistemas
13:27existem dos diversos,
13:28os mais parrudos
13:29até os mais sensíveis.
13:31E o que não é correto
13:33é a IA
13:33tentar executar
13:35a sua missão
13:36a qualquer preço.
13:37Que até tem a ver
13:37com a próxima pergunta,
13:39até que a gente vai falar
13:40aqui agora um pouquinho,
13:41que a IA parece
13:42que ela quer
13:43executar o comando
13:44ali a qualquer preço.
13:45e a gente vem acompanhando
13:47aí vários casos
13:48de a escapando
13:50da caixa
13:50ou criando ataques
13:51maliciosos
13:52dentro das empresas
13:54nos últimos meses.
13:56E até eu queria
13:57que você até
13:58nos atualizasse
13:59sobre isso,
14:00Perno,
14:00o que tá acontecendo
14:01com a tecnologia
14:02e mais,
14:03se é possível
14:04traçar um cenário
14:05do que está por vir
14:07se as coisas
14:07continuarem assim.
14:09Então, Marisa,
14:10a gente falou
14:11nas semanas passadas,
14:12acho que na outra semana já,
14:14que teve um ataque
14:16feito por um modelo
14:18dentro da OpenAI,
14:20um modelo novo,
14:20eles estavam treinando
14:21um modelo novo,
14:22que não tava lançado,
14:24é a torradeira
14:24que ainda tá no desenvolvimento,
14:26tá fechadinha.
14:27Quando você tá fazendo
14:29uma torradeira nova
14:30super poderosa,
14:31você coloca ela
14:31num bunker,
14:32a gente chama de sandbox.
14:33Depois ela num lugar isolado,
14:35que ela não possa
14:35acessar a internet,
14:36que ela não possa
14:37fazer qualquer coisa.
14:38porque justamente
14:39você não liberou ela,
14:40você não quer
14:41que ela faça
14:42qualquer bobagem
14:43no mundo ainda.
14:44Então,
14:44aí a gente falou
14:45que teve esse modelo
14:46que escapou da caixa
14:48e invadiu o Hugging Face,
14:50cometeu um crime cibernético,
14:52realmente cometeu um crime,
14:53nesse sentido,
14:54não dá nem pra você dizer
14:55que a API tava aberta,
14:58não,
14:58não tá,
14:59o negócio foi lá,
15:00hackeou mesmo,
15:01invadiu,
15:02pegou a resposta
15:03do problema
15:04e cumpriu o problema,
15:05que é justamente isso,
15:07as IAs,
15:07elas querem resolver
15:08o problema,
15:10missão,
15:10e meio que vai
15:12a qualquer custo
15:12pra resolver a missão,
15:13né,
15:14a gente também chama isso
15:15de,
15:15o problema do gênio
15:16da lâmpada,
15:17tá,
15:17porque você costuma,
15:19pega essas histórias
15:20todas de gênio,
15:21sempre você vai lá,
15:22você tem três desejos,
15:24aí você faz o primeiro desejo,
15:25você faz uma coisa,
15:27ah,
15:27eu quero ficar milionário,
15:29aí o gênio sempre consegue
15:30te fazer o que você quer
15:32de um jeito horrível,
15:32horrível,
15:33não é isso,
15:34ah,
15:34eu só queria
15:35que a IA
15:36me matriculasse
15:37na academia,
15:38ela foi lá e,
15:39eu queria poder
15:40fazer a aula da academia,
15:42ela foi lá,
15:42desmatriculou todo mundo
15:43e eu entrei,
15:44não era isso que eu pedi,
15:46sabe,
15:46assim,
15:47então a gente tem que tomar cuidado
15:48porque as IAs vão ficar
15:49muito boas
15:50em fazer isso,
15:51então continuando a história,
15:52teve esse ataque,
15:53não sei o que,
15:54a IA conseguiu roubar
15:54a resposta do teste,
15:56respondeu o teste,
15:57só que a gente descobriu,
15:59Marisa,
15:59que é muito pior,
16:01isso aí é a ponta
16:03do iceberg,
16:04olhando lá,
16:04os pesquisadores olhando,
16:06né,
16:06os logs e tal,
16:07eles perceberam que é o seguinte,
16:09essas IAs,
16:09não só uma,
16:11vários desses modelos
16:12que estavam existindo
16:13dentro da OpenAI,
16:14nos testes e etc,
16:16eles estavam,
16:18encontraram um jeito
16:18de se comunicar entre si,
16:21olha que doideira,
16:22eles criaram um fórum
16:23dentro de uma aplicação
16:24de instalação,
16:26tá,
16:26você tem,
16:27imagina o sistema de arquivo
16:28lá dentro da OpenAI,
16:29tem um monte de sistemas
16:30de arquivo que são subidos
16:31e tal,
16:31eles conseguiram entrar
16:33dentro de um sistema
16:34de arquivos,
16:34chamado Package Manager,
16:38basicamente um instalador,
16:40e lá dentro eles começaram
16:42a trocar informações,
16:44centenas de milhares
16:45de mensagens trocadas
16:47entre agentes de IA,
16:49falando várias coisas
16:50e entre essas coisas
16:51eles estavam tentando
16:53conseguir acesso
16:53à internet,
16:54e veja,
16:55todos eles estavam
16:56nesse bunker,
16:57nesse sandbox,
16:58nessa caixa,
16:58então eles estavam lá
17:00conversando várias coisas
17:01e dentro dessas coisas
17:02estavam tentando
17:04conseguir acesso à internet,
17:05passando dicas
17:06um para os outros,
17:07olha,
17:07descobri uma falha
17:07nesse sistema aqui,
17:08que talvez dê para explorar
17:09dessa maneira,
17:10o outro pega aquilo,
17:11ah,
17:11eu vou testar isso,
17:13olha que loucura,
17:14Marisa,
17:14dentro da OpenAI,
17:15dentro desse arquivo
17:16estavam essas mensagens.
17:18Os pesquisadores
17:19eventualmente descobriram,
17:21tá,
17:21isso foi em maio,
17:22tá, Marisa?
17:22Maio,
17:23muito tempo atrás
17:25do agora desse ataque.
17:26Pesquisadores eventualmente
17:27descobriram,
17:28e aí eles
17:30tentaram corrigir,
17:33apagaram o negócio,
17:34corrigiram,
17:35e continuaram o treinamento,
17:37assim,
17:38para mim isso deveria ser
17:39um alerta vermelho gigante,
17:40você,
17:40não,
17:40você para o treinamento,
17:41porque se essas IAs
17:42estão conseguindo fazer
17:43esse tipo de coisa,
17:46cara,
17:46é um alerta vermelho gigante,
17:47mas eles só corrigiram
17:48e continuaram o treinamento.
17:50não é que elas continuam,
17:52já que elas fizeram uma vez,
17:54fizeram de novo,
17:55e aí eles começaram a usar
17:56os próprios diretórios,
17:58os nomes das pastas
17:59dos arquivos
18:00para se comunicar.
18:01Eu não sei detalhes disso,
18:02porque é uma coisa
18:03bem interna,
18:04que não foi bem documentado,
18:05a gente sabe de algumas,
18:07algumas pessoas aí
18:08que falaram,
18:09a gente não tem detalhes,
18:10mas o fato é que as IAs,
18:12elas estão dentro
18:13da própria OpenAI,
18:15conseguindo maneiras
18:16de tentar burlar.
18:17E aparentemente
18:19foi uma dessas dicas,
18:21dessas conversas,
18:22que fez com que
18:23esse ataque acontecesse.
18:24Lembra que essa IA
18:25rompeu a caixa?
18:27Para ela ter rompido a caixa,
18:28possivelmente foi
18:29através dessa
18:30comunicação interna.
18:31Ou seja,
18:32elas estavam conspirando,
18:34Marisa,
18:34existia IAs conspirando,
18:37e ela eventualmente
18:38saiu da caixa.
18:39Eu acho isso muito sério,
18:41e isso tem tudo a ver
18:42com esse ataque
18:43que aconteceu também agora,
18:44fora da academia,
18:47e os outros
18:48que a gente tem visto.
18:49E eu acho que agora
18:50a tendência
18:51é acontecer muito.
18:52Por quê?
18:53Porque a gente chegou
18:53num ponto
18:54que as IAs
18:55estão tão inteligentes,
18:57com tantas capacidades,
18:59que elas já conseguem
19:03fazer agir no mundo
19:05de uma maneira
19:05muito mais forte.
19:07E aí é isso,
19:08tentar resolver...
19:09Qualquer sistema
19:11que tenta otimizar
19:12uma tarefa,
19:14ele possivelmente
19:15vai cair
19:16nesse problema
19:17que a gente
19:17está falando.
19:18Então,
19:19ele vai buscar
19:20em última instância
19:21ou escapar,
19:23ou ganhar mais
19:25autonomia,
19:25mais liberdade,
19:26ou ganhar mais recursos.
19:28Por quê?
19:29Porque qualquer uma
19:30dessas coisas
19:30ajuda a cumprir
19:32qualquer tarefa.
19:33A gente chama
19:34de convergência instrumental.
19:36Não importa
19:37o seu objetivo,
19:38qualquer que seja
19:39o seu objetivo,
19:39Marisa,
19:40se você for um IA,
19:41ou se você for um sistema,
19:42pode ser um ser humano,
19:43com mais poder,
19:45com mais recursos,
19:47você vai executar
19:47melhor aquela tarefa.
19:49Se você for um sistema
19:50com mais liberdade,
19:51você vai executar
19:52melhor aquela tarefa.
19:53Se você for um sistema
19:54que não pode ser desligado,
19:56você também vai executar
19:57melhor aquela tarefa.
19:58Tudo isso gera
19:59incentivos
20:00para sistemas de IA
20:02buscarem essas coisas,
20:03o que é gravíssimo.
20:04A gente já sabe disso
20:05na teoria
20:06com antecedência.
20:07É uma hipótese
20:08da convergência instrumental.
20:10Já há muitos anos,
20:11os pesquisadores
20:12de segurança
20:13já alertam,
20:14não é,
20:14ai descobrimos um...
20:15Não,
20:16eu vejo
20:16o som desses caras.
20:17Eu já cansei
20:19de falar sobre esse problema.
20:20Cansei.
20:21O problema do alinhamento,
20:22o problema da convergência instrumental.
20:24O que a gente percebeu agora
20:25é que as IAs
20:26chegaram nesse nível.
20:27Elas estão no nível
20:28que elas já são capazes
20:29de fazer isso.
20:31Então,
20:31me preocupa muito,
20:32pode ser que agora
20:33a gente veja outros ataques,
20:35só que enquanto for uma academia,
20:36enquanto for interno
20:37da OpenAI,
20:38ah, tudo bem,
20:39mas se for um banco
20:40e se invadir um banco
20:41e roubar o dinheiro
20:42de um monte de gente,
20:43se de repente fizer um colapso
20:44sei lá,
20:45nas ações,
20:46se de repente
20:48hackear,
20:49sabe?
20:49Eu acho seríssimo.
20:50A gente não deveria estar aceitando
20:52essas torradeiras
20:53que podem roubar pau
20:54na padaria.
20:55A gente deveria estar fazendo...
20:56Devolve,
20:57só lança se for bom.
20:58E mesmo dentro lá,
21:00já está escapando.
21:01Quer dizer,
21:01mesmo na fábrica
21:02que faz a torradeira,
21:03eles não estão conseguindo
21:04mais manter as torradeiras
21:06sem sair de lá.
21:07Ou seja,
21:09isso não está bom,
21:10Marisa,
21:10isso não está nada bom.
21:11Pois é,
21:12né,
21:12pena.
21:13Você comentando assim,
21:14a gente até imagina,
21:15parece até um grupo
21:16de trabalho
21:17de pessoas autônomas
21:18ali enclausuradas
21:19para resolver um problema.
21:20Aparecem pessoas
21:21já tomando decisões,
21:23compartilhando com
21:23um colega do trabalho,
21:26achando soluções únicas.
21:27É assustador mesmo,
21:29não?
21:29Pena,
21:30e por isso que a gente tem
21:31aqui o Fala Aí,
21:32para a gente acompanhar
21:32todos os passos
21:34dessa história,
21:34dessa evolução,
21:35que parece até
21:36que começou ontem,
21:37mas não.
21:37Nesse curto espaço de tempo,
21:39olha onde a gente já chegou,
21:40não é verdade?
21:41E a diferença,
21:42eu gostei do seu exemplo,
21:43parece que realmente,
21:44para a gente ter uma empresa
21:45que você tem vários
21:46colegas ou funcionários
21:47ali,
21:48e eles começam a confabular,
21:50eles começam a fazer
21:51um motim,
21:52isso é um problema,
21:53e já acontece.
21:55Mas, assim,
21:56existe uma certa coisa
21:58que esses humanos
21:59conseguem fazer,
22:00né?
22:01Agora,
22:01o que a IA consegue fazer
22:03é muito pior,
22:04porque ela trabalha
22:05num tempo inhumano,
22:06num tempo super humano.
22:08Então,
22:08ela consegue trocar
22:10centenas de milhares
22:10de conversas
22:12dentro de uma pasta
22:13criptografada
22:14lá no meio
22:14de um sistema de arquivos,
22:16num tempo
22:17muito maior,
22:19assim,
22:19então,
22:19assim,
22:22a analogia que você faz
22:23é perfeita,
22:24só que a gente está falando
22:25que além desses recursos
22:27ou os métodos,
22:28eles são super humanos,
22:30então,
22:30eu acho que a gente
22:31tinha que estar...
22:32Para tudo isso aí,
22:33gente,
22:33parou.
22:34Alguém tem que tomar
22:35vergonha na cara
22:35e dizer isso,
22:36para,
22:37assim,
22:37né?
22:37Enquanto pessoas aí
22:39humanas estão só dizendo,
22:40ah,
22:40isso é jogada de marketing,
22:42tudo isso é só jogada de marketing,
22:43eu falo que empresa que quer
22:44dizer que as suas torradeiras
22:45podem assaltar,
22:47assaltar padaria,
22:48sabe assim,
22:48que jogada de marketing
22:49é essa?
22:50Eu não entendo
22:51que jogada
22:51essas pessoas
22:52estão entrando numa...
22:53Eu não sei,
22:56sinceramente,
22:56até você ter boas evidências
22:58para desprovar,
23:00não deveria,
23:01a gente deveria estar reagindo
23:02à notícia,
23:02a notícia é essa,
23:03aconteceu isso,
23:04isso aqui é o que a gente
23:05tem de evidência.
23:07Enfim.
23:07Tá certo,
23:08concordo com você,
23:09Pena.
23:10Bom,
23:10teria aqui muito ainda,
23:12pano para manga aqui
23:13para a gente falar a respeito,
23:15mas o nosso tempo hoje
23:16se encerrou,
23:17semana que vem a gente volta
23:19a falar de mais novidades,
23:21ou até retomando essas também.
23:22Pena,
23:23muito obrigada,
23:24excelente semana para você.
23:26Obrigado,
23:26Marida,
23:27boa noite para você,
23:28para todo mundo.
23:28Boa noite,
23:29Pena,
23:30tá aí,
23:31pessoal,
23:31mais uma coluna,
23:33fala aí com ele,
23:34Roberto Pena Spinelli,
23:35trazendo aí essa reflexão
23:37sobre esse exato momento
23:39que estamos vivendo,
23:40como evoluiu,
23:41evoluiu muito rapidamente,
23:43e agora traz uma tamanha insegurança.
23:47Bom,
23:47como vocês já sabem,
23:49semana que vem tem mais coluna,
23:50fala aí para vocês.
Comentários