AI 챗봇이 '모르겠다'고 말하기보다 사실을 지어내는 이유

AI 챗봇에게 대답할 수 없는 사실 질문을 하면, 그것은 좀처럼 “모르겠다”고 답하지 않는다. 더 자주, 자신감 있고 유창하며 완전히 지어낸 응답을 생성한다. 연구자들은 이를 환각이라고 부르며, 과학자들이 초기 연구 결과를 공유하는 프리프린트 서버 arXiv에 게시된 새 논문이 왜 이런 일이 일어나는지에 대한 정보이론적 설명을 제공한다.

핵심 주장은 놀랍도록 직관적이다. 언어 모델이 그럴듯하게 들리는 텍스트를 생성하도록 훈련될 때, 그럴듯한 무언가를 추측하는 것이 거부하는 것보다 종종 더 안전한 선택이다. 단호한 “모르겠다”는 정보가 거의 없으며, 훈련 데이터에서 유창한 답변보다 훨씬 드물게 나타난다. 논문은 이 문제를 가능한 출력의 공간이라는 관점에서 정식화한다. 모델은 자신이 보는 텍스트에서 오류를 최소화하도록 최적화되며, 그 목표는 정직한 침묵보다 자신감 있는 조작을 조용히 보상한다.

이 연구에 대한 자세한 논의가 흔히 중국판 Quora로 묘사되는 중국의 질의응답 플랫폼 Zhihu에 올라왔고, 논문 저자 중 한 명이 독자들에게 연구의 동기를 설명했다. 저자는 프로젝트가 모델 행동에 관한 초기 연구, 즉 언어 모델이 왜 환각을 일으키는지에 대한 분석을 비판적으로 읽는 것에서 시작해, 정보이론의 추상적 한계에서 무지를 인정하지 않는 챗봇이라는 실질적 수수께끼로 점차 옮겨갔다고 설명했다.

이 설명이 중요한 이유는 환각이 AI 시스템을 신뢰하는 데 가장 큰 장애물 중 하나이기 때문이다. 법적 인용, 의료 용량, 역사적 날짜를 지어내는 모델은 쉽게 확인할 방법이 없는 사용자를 오도할 수 있다. 그 경향이 이 시스템이 훈련되고 평가되는 방식에 내재되어 있다면, 단순히 사용자에게 “모든 것을 검증하라”고 말하는 것은 완전한 해결책이 아니다.

한 가지 함의는 해결책이 훈련 단계에서 시작해야 할 수도 있다는 것이다. 모델이 불확실성을 표현하는 것에 보상을 받거나, 답변을 거부하는 것이 유효하고 심지어 바람직한 결과로 취급된다면, 조작하려는 유인은 약해질 것이다. 일부 연구자들은 모델이 “확실하지 않다”고 더 자주 말하도록 가르칠 것을 제안했지만, 그것을 쓸모없이 신중하게 만들지 않으면서 하는 것은 미묘한 균형이다.

Zhihu 스레드는 또한 더 넓은 주제를 다루었다. 기술 연구가 어떻게 대중의 이해로 전파되는가이다. 전문가를 위해 쓰인 논문은 저자나 지식이 있는 댓글 작성자가 평이한 언어로 번역할 때 수백만 명의 독자에게 도달할 수 있다. 이 경우 논의가 주목을 받은 것은 제품 출시 때문이 아니라, “왜 내 AI는 사실을 지어내는가?”라는 질문이 일반 사용자들이 매일 묻는 것이기 때문이다.

현재 이 논문은 프리프린트이므로 아직 공식적인 동료 심사를 완료하지 않았으며, 그 결론은 다른 연구자들에 의해 검증되고 논쟁될 것이다. 그러나 이 틀은 유용하다. 환각은 단순히 패치로 제거할 수 있는 버그가 아닐 수 있다. 그것은 이 시스템이 어떻게 구축되고 평가되는지의 예측 가능한 결과일 수 있으며, 이를 이해하는 것이 자신이 아는 것의 한계를 아는 AI를 구축하는 첫걸음이다.