AI는 왜 자신 있게 거짓을 지어낼까

AI 챗봇에게 답을 모르는 질문을 던져 보세요. 불편한 진실은 이것입니다: 챗봇은 거의 절대 “잘 모르겠어요”라고 말하지 않습니다. 대신 자신 있고 매끄럽게, 완전히 지어낸 답을 내놓곤 합니다: 가짜 책 제목, 아무도 한 적 없는 인용구, 존재하지 않는 법률 같은 것들이죠. AI가 일부러 거짓말하는 건 아닙니다. 진짜로 그 차이를 모르는 겁니다. 그리고 왜 그런 일이 일어나는지 이해하고 나면, 다시는 거기에 속지 않게 됩니다.

”환각”이 실제로 뜻하는 것

AI 세계에서 “환각”이란 챗봇이 사실처럼 들리지만 사실이 아닌 무언가를 내놓는 것을 말합니다: 조작된 통계, 지어낸 출처, 자신 있게 틀린 답 같은 것이죠. 이 단어는 뭔가 이국적으로 들리게 하지만, 일상적인 의미는 단순합니다: AI가 자기 지식의 빈틈을 그럴듯한 추측으로 메우고 그것을 사실인 양 내놓는 것입니다.

까다로운 부분은 말투입니다. 무언가를 모르는 사람은 보통 망설이거나, 얼버무리거나, 인정합니다. 반면 AI는 자기가 맞히는 것에 쓰는 것과 똑같이 차분한 확신으로 지어낸 내용을 전달합니다. “음, 그러니까 제 생각엔?” 같은 불안한 기색이 전혀 없죠. 바로 이 때문에 사람들이 걸려듭니다.

그런데 왜 이런 일이 생길까?

이를 이해하려면 챗봇이 내부에서 실제로 무엇을 하고 있는지 알아야 합니다. 챗봇은 데이터베이스에서 사실을 찾아보는 게 아닙니다. 챗봇은 놀랍도록 뛰어난 예측 기계입니다. 여러분의 질문을 읽고, 방대한 텍스트 더미에서 학습한 패턴을 바탕으로, 단어 하나하나 합리적인 답이 어떻게 들릴지를 계산해 냅니다.

이메일을 쓰거나 아이디어를 설명하는 데는 훌륭한 방식입니다. 하지만 이는 AI가 진실이 아니라 그럴듯함을 쫓고 있다는 뜻이기도 합니다. 답을 알 때는 가장 그럴듯한 다음 단어가 마침 정답이 됩니다. 모를 때는 가장 그럴듯하게 들리는 단어가 아름답게 표현된 허구일 수도 있죠. 기계는 이 둘을 항상 구별하지는 못합니다. 기계에게는 둘 다 그저 “좋은 답”으로 보일 뿐입니다.

반전: AI는 추측하도록 훈련된다

전문가들조차 놀란 부분이 여기 있습니다. 2025년 한 연구 논문에서 OpenAI는 환각이 단순한 결함이 아니라, AI가 훈련 중에 평가받는 방식에 어느 정도 내재해 있다고 설명했습니다.

객관식 시험을 보는 학생을 떠올려 보세요. 오답과 빈칸이 둘 다 0점이지만 운 좋은 추측은 1점을 받을 수 있다면, 영리한 선택은 언제나 추측하는 것입니다. AI 모델도 거의 같은 방식으로 평가받습니다: 채점은 자신 있는 답에 보상을 주고 “모르겠어요”에는 벌점을 줍니다, 모른다는 게 정직하고 올바른 답일 때조차 말이죠. 그래서 모델은 허세 부리는 법을 배웁니다. OpenAI가 제안한 해법은 채점 방식을 바꿔, 불확실성을 인정하는 것에 벌점 대신 보상을 주자는 것입니다.

이건 이론에 그치지 않습니다: 실제 대가가 따릅니다

지어낸 답은 이미 실제 문제를 일으켰습니다:

• 2023년, 뉴욕의 두 변호사가 ChatGPT를 써서 법률 서면을 작성하면서 존재하지 않는 여섯 건의 판례를 포함해 제출했습니다. AI가 사건명, 인용구, 인용 출처를 모두 지어낸 것이죠. 판사는 이들에게 5,000달러의 벌금을 부과했습니다.
• 2024년, 캐나다의 한 심판원은 Air Canada에게, 상을 당한 고객이 사별 항공권에 대해 물었을 때 자사 고객지원 챗봇이 그냥 지어낸 환불 정책을 이행하라고 명령했습니다. 항공사는 챗봇이 스스로 책임진다고 주장했지만, 심판원은 동의하지 않았습니다.

두 사례의 교훈은 이것입니다: AI의 확신은 증거가 아닙니다. 실제로 중요한 일이라면, 법률, 의료, 금융, 또는 “이걸 사실이라고 사람들에게 말할 참인” 경우라면, 직접 검증하세요.

어떤 AI는 다른 AI보다 더 많이 지어냅니다

환각이 모든 모델에서 똑같이 심한 건 아닙니다. 모델이 주어진 출처의 사실에 얼마나 잘 들어맞는지 측정하는 독립적인 테스트들은 모델 사이에 실제로, 때로는 큰 격차가 있음을 보여줍니다. 답하기 전에 잠시 추론하는 새로운 “사고형” 모델들이 옛날의 즉답형 모델들보다 더 정확한 경향이 있습니다.

이것이 챗봇 하나에만 매여서는 안 되는 이유 중 하나입니다. 어떤 답이 중요하거나 뜻밖이라고 느껴진다면, 두 번째 모델에 같은 질문을 던지는 것이야말로 가장 빠른 점검 방법입니다. 서로 다른 회사가 만든 두 개의 AI가 독립적으로 같은 답을 낸다면, 자신 있는 하나의 목소리보다 훨씬 더 믿을 수 있습니다.

믿을 수 있는 답을 얻는 법

환각을 두려워할 필요는 없습니다. 그저 확률을 조용히 여러분 편으로 쌓아 주는 몇 가지 습관만 있으면 됩니다:

1. 출처를 요청하세요. “그거 어디서 가져왔어? 확인할 수 있는 링크를 줘.” 실제로 가리킬 게 아무것도 없다면, 그 주장은 추측으로 취급하세요.
2. 작업할 사실을 직접 주세요. 모델은 기억에 의존할 때보다 여러분이 제공한 문서에 대해 답할 때 훨씬 덜 지어냅니다. 텍스트를 붙여 넣거나, 답이 진짜 출처에 묶이도록 PDF와 대화하기를 지원하는 도구를 사용하세요.
3. 두 번째 모델로 교차 검증하세요. 같은 질문을 다른 AI에게 던지세요. 일치하면 안심이 되고, 불일치하면 더 깊이 파볼 신호입니다.
4. 어려운 질문에는 추론형 모델을 쓰세요. 답하기 전에 생각하는 모델들은 까다로운 문제에서 측정 가능할 만큼 더 정확합니다(여전히 완벽하진 않지만요).
5. 빠져나갈 길을 주세요. 프롬프트에 “확신이 없으면 ‘모르겠어요’라고 말해”를 덧붙이세요. 항상 따르지는 않지만, 자신 있는 헛소리를 눈에 띄게 줄여 줍니다.

지금 바로 교차 검증 요령을 시험해 보고 싶으신가요? 같은 질문을 여러 모델에 열어 답을 비교해 보세요:

결론

AI 환각은 기술이 고장 났다는 신호가 아닙니다. 처음부터 AI를 그토록 유용하게 만드는 바로 그 특성의 부작용입니다: 유창하고 그럴듯한 언어를 놀랍도록 잘 만들어 내는 기계라는 점 말이죠. 해법은 AI를 불신하는 게 아니라 현명하게 쓰는 것입니다: 출처를 요청하고, 진짜 문서에 묶어 두고, 자신 있는 하나의 목소리를 유일한 증인으로 삼지 마세요.

가장 손쉬운 안전망은 두 번째 의견입니다. 질문을 던진 다음, 다른 모델에게 다시 던져 서로 일치하는지 보세요. Claude, GPT-5.5, Gemini를 비롯한 여러 모델이 나란히 살아 숨 쉬는 Chatday에서 바로 그걸 무료로 할 수 있습니다.