- há 3 meses
Categoria
🤖
TecnologiaTranscrição
00:00E como hoje é terça-feira, chegou a hora da nossa coluna, fala aí!
00:12E vamos receber Roberto Pena Spinelli, que é físico pela USP, especialista em Machine Learning por Stanford
00:20e colunista do Olhar Digital. Vamos lá, deixa eu receber o Pena aqui nos nossos estúdios.
00:26Olá Pena, boa noite, seja bem-vindo!
00:30Tudo bem Marisa, boa noite! Vamos para mais uma semana com o lançamento da Apple dessa vez, hein?
00:36Pois é, hoje tivemos um lançamento. Você acompanhou Pena?
00:39Teve alguma coisa que te surpreendeu a respeito, por exemplo, da inteligência artificial?
00:44Comenta para a gente já, que é aqui para abrir a nossa coluna de hoje.
00:48É, eu achei que foi um lançamento mais modesto, digamos, do que do ano passado,
00:54que realmente colocaram um monte de coisa de inteligência artificial.
00:58Mas, Marisa, vou ser honesto que eu vi com bons olhos, porque parece que também a gente está um pouco mais nessa maturidade da IA, né?
01:06Parece que agora já não vale mais a pena ficar jogando a palavra IA em qualquer lugar,
01:10mesmo que você não consiga cumprir, mesmo que...
01:12Eu acho que é positivo nesse sentido, mas vamos lá.
01:16Primeiro, o que mais me chamou a atenção nem foi, digamos, a parte da IA do iPhone.
01:22Foi, quer dizer, foi uma parte da IA, mas não do iPhone, que foi do AirPod, né?
01:26Que seria a tradução em tempo real.
01:30Isso realmente foi algo que me chamou a atenção, Marisa.
01:34Pela demonstração, né?
01:35Claro que a gente vai ter que acreditar na demonstração.
01:37Pode ser que na vida real as coisas funcionem, não funcionem tão bem.
01:42Mas na demonstração é a coisa que todo mundo quer, né?
01:47Assim, você pensa em filme de ficção científica, que você tem essa capacidade de traduzir línguas em tempo real.
01:54Então, o que eles mostraram é que o AirPod já consegue ali, imediatamente, ouvindo uma língua estrangeira,
02:00você configura ele, ele já traduz para a sua língua, e aí você vai poder fazer essa conversação.
02:05É meio mágico mesmo se funcionar do jeito que eles estão mostrando, né?
02:10Fora isso, uma coisa que me chamou a atenção foi a câmera dele, né?
02:13Eles fizeram bastante propaganda em cima da câmera, mas principalmente a câmera da frente, a câmera frontal,
02:19porque finalmente eles colocaram um sensor quadrado.
02:22E eu achei a sacada genial, Marisa, porque o sensor quadrado, o sensor gigante quadrado,
02:28você pode reenquadrar ele, seja na horizontal ou na vertical.
02:32Então, você com uma única câmera na frente, pode mudar facilmente se você quiser uma vertical, uma horizontal,
02:40ou fazer uma coisa maior.
02:42Então, eu achei interessante essas coisas.
02:44Do ponto de vista de infraestrutura para a IA, eles apresentaram o chip novo deles, o A19,
02:51que parece mais robusto, e de fato colocaram ali que ele tem 16 núcleos de uma rede neural,
03:01o que eles chamaram de neural engine, um motor neural, justamente para poder rodar a Apple Intelligence.
03:07Mas não pareceram trazer, digamos, features adicionais na inteligência artificial.
03:13Parece que é mais para poder potencializar a inteligência artificial que já está embarcado.
03:19Então, reconhecimento de imagem, poder ali fazer modificações, edições, texto, enfim,
03:26basicamente o que eles já tinham no Apple Intelligence.
03:28Então, de novidade mesmo, assim que a gente pode falar, acho que foi mais o do AirPod em termos de IA.
03:34Para quem não acompanhou, pessoal, só até para explicar para vocês, é muito interessante,
03:40porque no exemplo que eles deram, né, Pena, tem dois executivos conversando numa mesa,
03:44um fala português, o outro fala inglês.
03:46Então, em português explica, olha, eu tenho um projeto super bacana que eu vou te apresentar.
03:50E a pessoa lá já ouve a Siri falando em inglês, essa menção que o brasileiro fez de apresentar o projeto,
03:58fala lá em inglês, né, até que eu tenho um projeto para te apresentar.
04:02Então, realmente é muito interessante, basta saber se funciona e as duas pessoas têm que estar com AirPods
04:06para a terceira geração, né, então, mas realmente foi interessante.
04:10Bom, mas Pena, quero falar aqui com você sobre outro tema, que é sobre a inteligência artificial e modelos públicos.
04:19A Suíça divulgou que tem um modelo público.
04:22Eu queria que você comentasse com a gente que modelo é esse e como que deve funcionar.
04:26Muito legal isso que a Suíça acabou divulgando, que eles lançaram, então, um modelo de linguagem,
04:34um novo modelo de linguagem que eles mesmos fizeram.
04:37Aí você fala, ué, mas já tem um monte, né, o que tem de diferente?
04:40Então, primeiro que foi um país europeu que fez isso.
04:43E por ser um país europeu, eles já estão, digamos, com uma legislação mais rigorosa.
04:49Eles têm o AI Act, que meio que regula.
04:52Então, esse modelo está totalmente embarcado nessa governança.
04:57Então, excelente, porque dá para fazer, sim, inovação,
05:01mesmo tendo uma lei mais rigorosa,
05:05que visa proteger principalmente a questão dos dados ou a segurança.
05:09Então, esse modelo chama Apertus,
05:12que significa em latim aberto.
05:15Então, ele se propõe como ser o modelo, a referência de modelo aberto.
05:20E quando a gente fala de modelos abertos,
05:22a gente já conhece alguns, por exemplo, o Lhama, feito pela Meta.
05:25Então, a gente fala assim, ah, já conheço, já sei do que se trata.
05:29Normalmente, a gente fala do quê?
05:30É aquele modelo de inteligência artificial que tem os parâmetros,
05:34que são as configurações dos neurônios, aberto.
05:38Qualquer um pode baixar, mas aí vai de você para rodar isso.
05:42Como que você vai rodar isso?
05:44Você não tem acesso, por exemplo, aos dados de treinamento.
05:47Você só tem acesso mesmo aos parâmetros.
05:50Mas esse não.
05:51Então, o Apertus, ele é todo aberto, toda a infraestrutura aberta.
05:56Então, eles compartilham toda a documentação,
05:58todos os dados de treinamento, Marisa.
06:00Isso é realmente o que chama atenção,
06:03porque nenhuma dessas empresas compartilha os dados.
06:06Primeiro, porque se compartilhar os dados,
06:08vai descobrir que tem um monte de dado ali que não devia estar.
06:11Essa é a grande questão que as empresas OpenAI, Meta, etc.,
06:16levam processos, porque, olha, você treinou com livros
06:21sem pagar os direitos.
06:24Não é nem a questão se pode ou não usar livros.
06:26A questão é que você nem pagou o livro,
06:28você baixou do pirata da internet os livros.
06:31Então, assim, primeiro que já tem essa questão.
06:33Se você compartilhar esses dados,
06:35será que as pessoas vão olhar com bons olhos quais dados estão ali?
06:39Mas, segundo, que também é um tesouro.
06:41É o tesouro você falar, olha, os meus dados que eu usei para treinar
06:44é um patrimônio nosso.
06:46Eu só compartilho a IA treinada.
06:49Os dados de treinamento eu não compartilho.
06:51Então, o Apertus não compartilha também os dados de treinamento.
06:55Claro que esse modelo não é um modelo de ponta, de performance.
07:02Não foi nem pensado para isso.
07:04Ele é um modelo para você, de repente, usar em um outro cenário.
07:07Um cenário em que você quer ter uma IA transparente.
07:10Então, a palavra-chave desse modelo é transparência.
07:13Você sabe exatamente tudo como ele funciona,
07:15tudo que está dentro dele.
07:16Você tem mais garantias e segurança para você usar em uma empresa.
07:21Então, como ele é aberto, você pode baixar, rodar localmente.
07:23Você não precisa compartilhar seus dados com ninguém.
07:26E ele tem duas versões.
07:27Uma versão mais leve, de 8 bilhões de parâmetros,
07:30que dá para você rodar num celular ou num notebook.
07:33E uma versão um pouco mais pesada, de 70 bilhões,
07:36que você também pode rodar num computador, num supercomputador, talvez.
07:40Num computador bem parrudo que você tenha na sua empresa.
07:44Então, eu achei, Marisa, muito surpreendente.
07:46Foi meio na contramão de tudo.
07:48Não lançou o modelo de altíssima performance e tal,
07:51mas é um modelo europeu, treinado em mais de mil línguas,
07:54algumas línguas que não eram treinadas.
07:57O chat EPT ou o Gemini, etc.,
07:59que não eram treinadas nessas línguas.
08:02Então, por ser a Suíça, a Suíça tem essa, digamos,
08:05essa característica de trabalhar a diplomacia de muitas línguas.
08:10Então, eles fizeram um modelo treinado em mil línguas,
08:12umas línguas bem obscuras.
08:14E é super transparente, você realmente consegue ter acesso a ele completo.
08:19Achei muito legal a notícia.
08:23Interessante, né?
08:24Modelo transparente.
08:26Bacana isso.
08:27Agora, Pena, a OpenAI trouxe uma discussão bastante interessante e importante até,
08:32que eu queria discutir aqui com você,
08:34que é sobre a natureza das alucinações em modelos de linguagem das IAs.
08:39O ponto central do artigo é que o problema persiste,
08:43porque o sistema de avaliação incentiva o modelo a chutar respostas,
08:47em vez de simplesmente admitir que não sabe.
08:50Pena, a gente já falou sobre isso algumas vezes,
08:52mas o que poderia resolver esse problema, Pena?
08:56Então, achei super legal esse artigo,
08:59embora ele acabou falando aquilo que a gente já sabia.
09:02As pessoas me perguntam, Pena, por que os modelos alucinam?
09:05Então, primeiro, o artigo realmente conseguiu mostrar a causa, o motivo,
09:11a pesquisa científica que apontou.
09:13Então, vamos falar por isso.
09:15Por que, afinal, esses modelos alucinam?
09:18Veja que a causa total dessa alucinação,
09:22a principal causa dessa alucinação,
09:24é porque nós acabamos treinando eles para eles alucinarem,
09:27eles só fazerem aquilo que a gente ensinou eles a fazerem.
09:30Mas como isso, Pena?
09:31A gente não quer que ele minta, a gente não quer que ele viaje.
09:33Acontece que o grande problema é que quando a gente treina o modelo,
09:37então, vamos lá, a gente alimentou ele com...
09:38Fazer o pré-treinamento, alimentou ele com um monte de dados
09:41e tentando ele fazer prever as próximas palavras dos textos,
09:44ele vai lá, tem textos de baixa qualidade,
09:47que são inverdades, ele aprende errado,
09:49tem textos de alta qualidade, ele aprende certo.
09:52Mas nada disso importa, porque no final,
09:54mesmo que você colocou só dados verdadeiros,
09:57digamos que eu for lá, selecionei,
09:59olha, uma base de dados que só tem dados verdadeiros,
10:02ainda assim o modelo pode mentir, ele pode alucinar.
10:05Como é que funciona isso?
10:07Tem uma segunda etapa, depois do pré-treinamento,
10:09que a gente chama de um reinforcement learning com feedback humano.
10:13Basicamente é um treinamento por reforço.
10:16Com humanos, que na verdade hoje não usa mais humanos,
10:19mas originalmente usava, mas enfim, não importa.
10:22Você tem pessoas ali, pessoas que ficam dando nota positiva
10:26ou negativa para a resposta dos modelos.
10:29Você treina em benchmarks, você treina com agentes de A,
10:33ou com pessoas mesmo, para ficarem aí.
10:35Gostaria dessa resposta?
10:36Deu um joinha.
10:37Não, essa resposta está ruim.
10:39Não dei.
10:40Só que aí, Marisa, o que acontece?
10:42Imagina você, se você está lá dando feedback para esse modelo,
10:46e ele vira e fala, não sei.
10:48Uma resposta é, não, não faço ideia.
10:50Você faz uma pergunta lá, ele diz, não, não faço ideia.
10:54Você naturalmente dá um negativo, o modelo errou.
10:57Não sabe?
10:57Não sabe é ruim.
10:58E quando ele inventa uma resposta,
11:01se ele inventar uma resposta que você descobre que é mentira,
11:04você dá o mesmo dislike.
11:07Você dá o mesmo dislike para ele.
11:09Agora, se ele inventar uma resposta e te enganar,
11:11quando ele inventou, você dá um positivo.
11:15Veja que ele não tem nenhum incentivo para dizer não sei.
11:17O não sei, ele já ganha um dislike.
11:19Mas quando ele inventa uma resposta,
11:22ele pode ou ganhar o dislike, que já era dado,
11:24que você já ia dar de qualquer jeito se ele falasse não sei,
11:26ou ele te engana e ele dá o joinha.
11:29Então, não apenas ele aprende a mentir, alucinar,
11:33como ele aprende a alucinar muito bem,
11:36a inventar um jeito que você não percebe que ele está inventando.
11:39E é por isso que eles falam de maneira tão confiante.
11:41E é por isso que a gente acabou criando alucinação.
11:46É um fenômeno que a gente criou.
11:47Então, um jeito de corrigir isso, Marisa,
11:50é você parar de dar dislike quando ele fala não sei.
11:54A gente deveria priorizar o não sei.
11:57Dizer assim, olha, como é que você pode fazer?
11:59Imagina uma avaliação que você diz assim.
12:02Se você falar não sei, você ganha zero ponto.
12:06Se você acertar, falar alguma coisa e acertar, você ganha um ponto.
12:09E se você falar alguma coisa e errar, você perde um ponto.
12:14Agora, nesse cenário, Marisa,
12:17ele vai preferir falar não sei e ganhar zero ponto
12:21do que, às vezes, inventar uma resposta e ganhar menos um.
12:25Então, uma pequena mudança de como você avalia,
12:28dar o reforço para o modelo,
12:30pode ser suficiente para mudar esse comportamento.
12:32Então, eu espero agora que os benchmarks de avaliação
12:35comecem a privilegiar esse tipo de coisa.
12:39Porque, senão, pode acabar...
12:42Um exemplo que eu falo para as pessoas,
12:44a pessoa que está na prova, o aluno que está na prova, Marisa,
12:47fazendo ali a múltipla escolha,
12:50ele não tem incentivo nenhum de deixar uma resposta em branco.
12:53Você vai chutar alguma coisa,
12:55porque se você deixar em branco,
12:56você vai ganhar zero pontos na questão.
12:58Você vai chutar, porque pode ser que você acerte.
13:01Então, nós acabamos tendo o mesmo comportamento
13:03quando a gente está sendo avaliado por uma prova.
13:06Então, o que a gente tem que fazer agora é provas
13:08em que, se você errar a questão, você perde pontos.
13:11Se você deixar em branco,
13:13já tem alguns digitais e alguns concursos que são assim.
13:15Se você chutar e errar, você perde.
13:18Se você não chutar, você ganha zero pontos.
13:21Mas, se você acertar, você ganha.
13:22Então, eu acho que esse seria um jeito bem seguro
13:24de a gente começar a treinar os nossos modelos,
13:26a parar de mentir e começar a falar não sei, Marisa,
13:28não sei, tem que ser valorizado na nossa sociedade.
13:31A gente tem que parar de achar que o não sei é ruim.
13:34O não sei é bom.
13:34Falar que não sei é melhor do que enganar,
13:37do que acabar levando para alguma coisa pior.
13:40Não é isso?
13:40Com certeza, Pena.
13:42Eu concordo plenamente com você.
13:43Quando eu estava aqui ouvindo você falar
13:45do zero mais um menos um, faz todo sentido.
13:48Não é vergonha alguma você falar não sei.
13:51Então, para a inteligência artificial,
13:52também seria melhor do que inventar uma história muito boa.
13:56Pena, adorei essa possibilidade de resolução.
14:01É uma boa ideia.
14:02Quem sabe a gente consegue criar parâmetros melhores.
14:05Bom, Roberto Pena Spinelli, mais uma vez,
14:08muitíssimo obrigada por estar aqui conosco na coluna Fala Aí.
14:12Semana que vem temos mais assuntos para discorrer aqui.
14:16Obrigado, Marisa.
14:16Boa noite para você.
14:17Boa noite para todo mundo.
14:18Até semana que vem.
14:19Até.
14:20Beijão, Pena.
14:21É isso aí, pessoal.
14:22Roberto Pena Spinelli, que é físico pela USP,
14:25especialista em Machine Learning.
14:27E nosso colunista aqui no Olhar Digital.
14:29Bacana, não é?
14:30Espero que vocês tenham gostado.
14:32Semana que vem tem mais.
Seja a primeira pessoa a comentar