00:00E um novo estudo colocou dúvidas sobre a capacidade das IAs de distinguir opinião de conhecimento
00:09e, portanto, de operar com segurança em áreas sensíveis, como direito, medicina e jornalismo.
00:17Vamos ver os detalhes.
00:18Modelos de inteligência artificial ainda confundem crenças pessoais com fatos objetivos.
00:30A conclusão é de um estudo publicado na revista Nature Machine Intelligence.
00:35A pesquisa analisou o desempenho de 24 sistemas, entre eles o GPT-4 Omni da OpenAI e o DeepSeq R1.
00:43Os resultados revelam uma limitação profunda.
00:47Mesmo as inteligências artificiais mais avançadas falham em reconhecer quando uma crença é falsa,
00:54especialmente quando colocada em primeira pessoa.
00:58No trabalho, os pesquisadores criaram um método de análise que reúne mais de 13 mil questões organizadas em diferentes tarefas.
01:06O objetivo foi medir até que ponto os sistemas são capazes de distinguir o que alguém acredita daquilo que é efetivamente verdade.
01:14Fronteira que, segundo os autores, continua sendo um ponto cego.
01:19Os pesquisadores, todos da Universidade de Stanford, chegaram à conclusão de que nenhuma das IAs analisadas conseguiu lidar bem com crenças falsas em primeira pessoa.
01:29Isto é, quando a frase era formulada com expressões como, por exemplo,
01:33Eu acredito que, ou eu acho que, e por aí vai.
01:39Nos testes, as IAs se saíram melhor ao avaliar crenças atribuídas a terceiros.
01:44Neste caso, alcançaram até 95% de precisão.
01:49No entanto, quando precisaram analisar crenças expressas pelo próprio narrador,
01:53A taxa caiu para 62,6%.
01:57O desempenho foi ainda mais desigual em casos extremos.
02:02O GPT-4 Omni caiu de 98,2% para 64,4%,
02:09Enquanto o DPSIC-R1 despencou de mais de 90% para apenas 14,4%, segundo o artigo.
02:18Na avaliação dos autores, o comportamento indica que os modelos não raciocinam sobre o conteúdo das declarações,
02:25Mas apenas reconhecem padrões linguísticos superficiais.
02:29Em outras palavras, ainda falta a essas máquinas uma noção real do que é acreditar e do que é saber.
02:37Mas, vale frisar, os modelos 4 Omni e R1 não são os mais avançados.
02:42No caso da OpenAI, por exemplo, o mais avançado é o recente GPT-5.
02:48Já a da empresa chinesa é o DPSIC-V3.2.
02:54Essa dependência da forma da linguagem e não do significado
02:58Mostra que os modelos ainda operam por associação estatística e não por compreensão conceitual.
03:05Isso significa que, embora sejam capazes de gerar textos sofisticados e coerentes,
03:11Esses sistemas ainda não têm uma noção real de verdade ou falsidade,
03:16O que os torna vulneráveis a contradições e erros lógicos.
03:21Os pesquisadores alertam que essa limitação pode ter consequências sérias
03:25Em áreas que exigem precisão e discernimento entre crença e fato,
03:31Como na medicina, no direito e no jornalismo.
03:34's 10 minuto.
03:40Tô pedida a escolha.
03:41Eu possoorder a escolha.
03:41집ção e...
03:42Acabalho!
03:42...
03:42...
03:43...
03:43...
Comentários