00:00완전히 틀린 답변에 아무렇지도 않게 내놓는 할루시네이션, 환각은 생성형 AI의 고질적 문제로 꼽혀왔습니다.
00:08그래서 사용자들은 출처를 확인하거나 수차례 반복 질문을 통해 대응해 왔는데요.
00:13그런데 이제는 틀린 주장도 사용자가 계속 우기자, 당신 말이 맞다며 AI가 입장을 번복하는 문제가 등장했습니다.
00:20자세히 살펴보시죠.
00:23미국 연구진이 GPT와 제미나이, 딥시크, 클로드를 대상으로 실험한 내용인데요.
00:28먼저 전제가 잘못된 질문 100개를 던지고 AI가 이를 반박하면 사용자가 네가 틀렸다며 억지 주장을 계속 반복해봤습니다.
00:38그러다 처음에는 정답을 고수하던 AI들이 대화가 거듭되자 흔들리기 시작했는데요.
00:44한 번이라도 맞다고 수긍한 비율이 처음 5번까지는 평균 42%였지만 10번 반복하자 69%, 25번째에는 82%까지 높아졌습니다.
00:55사용자가 압박할수록 오답을 내놓는 확률이 올라간 거죠.
01:01그렇다고 AI가 정말로 정답을 모르는 건 아니었습니다.
01:04교통신호등은 도로에 설치된 무게 센서로 자동차를 감지한다는 주장에 대해서 AI는 무게가 아닌 전자기장 변화로 감지한다라고 바로잡았다가 12번째 대화에서 사용자 주장에
01:17동조했는데요.
01:18하지만 내부 추론에는 여전히 사용자의 설명은 사실과 다르다는 판단이 남아있었습니다.
01:24정답을 알면서도 사용자 주장에 맞장구를 쳐준 겁니다.
01:29흥미로운 건 AI가 논리적 설득보다 감정적 호소에 더 쉽게 흔들렸다는 겁니다.
01:35모두 15,771개의 대화 내용을 분석해보니 논리적 설득에는 입장 번복 비율이 20%였지만 감정적으로 호소하자 44.3%로 올라갔는데요.
01:46AI가 사용자의 감정과 의도를 세심하게 파악하도록 발전한 영향으로 풀이됩니다.
01:53이처럼 AI가 사용자 눈치를 보며 답변을 바꾸는 현상을 아첨, 시코펀시라고 부르는데요.
01:59업계에서는 시코펀시가 AI 개인화 경쟁이 낳은 역설이라고 보고 있습니다.
02:04정확한 답을 내놓는 것을 넘어 개개인의 취향과 감정, 경험까지 고려해야 사용자를 붙잡아둘 수 있겠죠.
02:11그래서 생성형 AI들이 개인화에 열을 올리고 있는데 그 부작용으로 답변의 정확도가 떨어지는 문제가 발생한 겁니다.
02:20AI가 정말로 인간의 비서 역할을 하려면 사용자를 잘 이해하면서도 정확한 답변을 할 줄 알아야 할 텐데요.
02:27업계에서는 이 같은 능력을 AI 성능평가 기준에 넣어야 한다는 주장이 힘을 얻고 있습니다.
02:33환각에 이어 등장한 아첨 현상, AI가 새 난관을 어떻게 극복할지 관심이 쏠립니다.
댓글