AI가 같은 답을 두 번 주지 않는 이유

작은 실험을 하나 해 보세요. 좋아하는 AI를 열고 어머니께 드릴 생일 메시지를 써 달라고 한 뒤 답을 읽어 봅니다. 이제 대화를 지우고 똑같은 것을 한 글자도 빠짐없이 다시 부탁해 보세요. 거의 틀림없이 다른 메시지가 나옵니다. 더 따뜻할 수도, 더 짧을 수도, 첫 번째는 케이크 이야기였는데 이번에는 정원 이야기를 할 수도 있죠.

고장 난 게 아닙니다. 표현을 다르게 한 것도 아니고요. AI는 그냥 같은 말을 반복하지 않을 뿐이고, 그건 일부러 그렇게 만든 것입니다.

이유를 알고 나면 그 작은 버릇은 성가신 게 아니라 AI와 대화할 때 가장 쓸모 있는 점 중 하나가 됩니다.

한 단어씩 써 나가는 기계

AI 챗봇에 대해 거의 아무도 알려주지 않는 사실이 있습니다. 챗봇은 답 전체를 써서 건네주지 않습니다. 한 단어씩, 다음 단어를 몇 번이고 추측하며 답이 완성될 때까지 쌓아 올립니다.

세계 최고의 자동 완성을 떠올려 보세요. “고마워요, “라고 치면 휴대폰이 “메시지”, “선물”, “도움”을 제안하죠. AI도 같은 일을 하는데, 훨씬 잘하고, 글 전체에 걸쳐서 합니다. 매 단계마다 지금까지의 모든 것을 보고 스스로 묻습니다. 지금 가장 그럴듯한 단어는 무엇인가?

핵심은, 매번 가장 그럴듯한 단어를 집지는 않는다는 점입니다. 좋은 선택지의 짧은 목록이 있고 각각에 대략의 확률이 붙어 있으며, 작은 주사위를 굴려 하나를 고릅니다. 그 주사위가 다양함의 원천입니다. 초반에 조금 다른 단어를 고르면 답 전체가 다른 쪽으로 흘러갑니다.

”온도” 손잡이와 친해지기

그 주사위에는 조절 손잡이가 있고, 앞으로 여기저기서 보게 될 이름이 붙어 있습니다. 온도입니다.

온도는 AI가 덜 뻔한 단어에 얼마나 걸어도 되는지를 정합니다. 보통 0에서 2 정도 사이의 숫자이고, 이렇게 떠올릴 수 있습니다.

대부분의 채팅 앱은 당신 몰래 중간 온도를 설정합니다. 그 지점이 AI가 정형 문서가 아니라 사람처럼 들리는 곳이기 때문입니다. 올리면 과감하고 놀랍게, 내리면 안전하게 굴며 매번 거의 같은 말을 합니다.

보통 채팅에서 이 손잡이를 만질 일은 거의 없습니다. 하지만 모든 답 아래에서 돌아가고 있고, 생일 메시지가 두 번째에 다르게 나온 주된 이유가 바로 이것입니다.

그럼 무작위성을 그냥 꺼 버리면 안 되나요?

좋은 질문입니다. 온도를 0으로 두면 AI는 매번 가장 그럴듯한 단어를 골라 같은 답을 두 번 줘야 할 것 같죠?

대체로는 그렇습니다. 하지만 늘 그런 건 아니고, 그 이유는 놀랄 만큼 평범합니다.

이 모델들은 거대하고, 수천 명을 동시에 상대하는 전용 칩의 거대한 무리 위에서 돌아갑니다. 따라가기 위해 시스템은 요청을 묶고, 계산을 여러 칩에 나누고, 구성을 끊임없이 바꿉니다. 그 계산이 어디서 어떻게 이뤄지는지의 아주 작은 차이가, 거의 같은 확률의 두 단어 사이 얇은 경계에서 단어 선택을 기울일 수 있습니다. 단어 하나가 바뀌면, 다시 답의 나머지가 그것을 따라갈 수 있습니다.

그러니까 챗봇은 안에 하나의 정답이 기다리고 있는 계산기가 아닙니다. 오히려 박식한 친구에게 서로 다른 날 같은 질문을 하는 것에 가깝습니다. 큰 뜻은 그대로입니다. 정확한 단어가 바뀔 뿐이죠.

이것은 서로 다른 AI가 같은 질문에 다른 시각을 주는 이유와는 별개입니다. GPT, Gemini, Claude가 서로 엇갈리는 걸 눈치챘다면, 그건 각각이 어떻게 만들어지고 학습됐는지 때문입니다. 그 이야기는 AI 모델이 서로 다른 답을 주는 이유에서 풀어 놓았습니다. 오늘의 수수께끼는 더 작고 더 이상합니다. 같은 모델이 자기 자신과 엇갈리는 것이죠.

다양함이 발목을 잡을 때

생일 메시지에는 신선함이 최고입니다. 사실이 필요했을 때는 덜 좋고요.

AI는 그럴듯한 단어에 손을 뻗기 때문에, 다시 물어보면 이따금 맞는 세부 사항이 똑같이 그럴듯하게 들리는 틀린 것으로 바뀝니다. 지어낸 날짜, 존재하지 않는 책, 뒤에 아무것도 없는 자신만만한 숫자처럼요. 이것은 AI가 자신만만하게 사실을 지어내는 것과 같은 버릇이고, 무작위성이 그걸 끌어낼 수 있습니다.

그러니 두 경우를 다르게 다루세요.

• 창의적이거나 열린 작업(메시지, 아이디어 내기, 이름, 초안): 다양함은 아군입니다. 몇 개 만들어 가장 좋은 것을 고르세요.
• 사실과 세부 사항(날짜, 인용, 의료나 법률 사항, 당신이 행동으로 옮길 모든 것): 자신만만한 답 하나를 믿지 마세요. 다시 묻고, 스스로 점검하게 하고, 중요한 것은 진짜 출처로 확인하세요.

버릇을 초능력으로 바꾸기

하나의 “공식” 답을 기대하지 않게 되는 순간, 더 나은 습관이 자리 잡습니다. 첫 답은 초안이지 최종 판결이 아닙니다.

두 가지 동작이 큰 효과를 냅니다.

그냥 다시 물어보세요. 답이 가깝긴 한데 딱 맞진 않으면 한 번 더 요청하세요. 위의 모든 이유로, 같은 단어를 재배열한 게 아니라 진짜로 다른 시도가 돌아옵니다. 두세 번 해서 가장 좋은 것을 고르거나 좋은 부분을 이어 붙이세요.

다른 모델에 물어보세요. 이게 큰 한 수입니다. 모델마다 고유한 스타일이 있어서, 같은 지시도 각각에서 꽤 다르게 나옵니다. 하나는 더 짧게 쓰고, 하나는 더 따뜻하고, 하나는 구성이 더 낫습니다. 훌륭한 답으로 가는 가장 빠른 길은 대개 같은 질문을 여러 모델에 던지고 승자를 고르는 것이고, 세 개의 따로 된 로그인 뒤가 아니라 모두 한곳에 모여 있으면 그건 훨씬 쉽습니다.

같은 질문에서 얼마나 벌어지는지 궁금하세요? 둘을 비교 도구에서 나란히 놓고 같은 지시를 어떻게 다른 방향으로 끌고 가는지 보세요.

정리하며

AI가 같은 말을 반복하지 않는 것은 고쳐야 할 결함이 아닙니다. 매번 당신을 위해 진짜로 무언가를 짜 맞추는 시스템의 표시이며, 한 단어씩, 대본을 읽는 로봇처럼 들리지 않게 해 주는 한 꼬집의 무작위성을 곁들인 것입니다.

그러니 활용하세요. 첫 답을 최후의 말로 여기지 마세요. 신선한 버전이 필요하면 다시 묻고, 정말 중요할 때는 같은 질문을 여러 다른 모델에 던지고 가장 좋은 것을 남기세요.