AI는 사진을 어떻게 볼까? 흔한 오해 5가지
작성자 Chatday Editorial Team ·
AI에게 개 사진을 보여 주고 다리가 몇 개냐고 물어보세요. 네 개라고 답해요. 이번에는 사진을 편집해서 다리를 다섯 개로 만든 뒤 다시 물어보세요. 여전히 네 개라고 답해요.
지어낸 함정 문제가 아니에요. AI 분야의 대표적인 학회 중 하나인 ICLR 2026에 채택된 연구 “Vision Language Models Are Biased”에 실제로 나온 테스트예요. 다리가 하나 더 있거나 하나 없는 동물 사진을 보여 줬더니, AI가 정확히 센 경우는 고작 2.12%였어요.
그런데 같은 종류의 AI가 흐릿한 영수증을 읽고, 헷갈리는 설정 화면을 설명하고, 창가에 놓인 식물이 뭔지도 알려 줘요. 그럼 대체 AI는 사진을 제대로 보는 걸까요, 아닐까요? 사람들이 믿는 내용은 대부분 절반만 맞아요. 흔한 믿음 다섯 가지를 하나씩 따져 볼게요.
오해 1: “AI도 사람처럼 사진을 본다”
아니에요. 사람은 사진을 보면 실제로 거기 있는 것을 알아차려요. 이미지를 읽는 AI(전문 용어로는 시각 언어 모델이라고 해요)가 하는 일은 오히려 ‘알아보고, 기억해 내는 것’에 가까워요. ‘개’라는 걸 알아보고, 개는 다리가 네 개라는 걸 떠올린 다음 그렇게 답하는 거죠. 연구진은 모델이 “세고 있지 않다”고 딱 잘라 말했어요.
로고에서도 똑같은 일이 벌어졌어요. 유명한 아디다스의 삼선 로고에 네 번째 줄을 추가해도 모델은 세 줄이라고 답했어요. 동물, 로고, 체스판, 보드게임, 착시, 무늬가 있는 격자까지 일곱 종류의 편집 이미지로 실험했더니, 2025년 모델들은 개수를 묻는 질문에서 평균 17.05%를 기록했어요. 편집하지 않은 원본 이미지에서는 전부 맞혔는데도요.
편집 이미지에 대한 답의 약 4분의 3은 정확히 ‘예상되는’ 숫자였어요. 사진 속 숫자가 아니라 모델이 원래 알고 있던 숫자 말이에요. 그보다 앞선 연구 “Vision Language Models Are Blind”에서도 도형을 그려서 같은 패턴을 발견했어요. 오륜기처럼 겹친 원의 개수를 물었더니, 한 Gemini 모델은 실제 개수와 상관없이 틀린 답의 거의 99%에서 ‘5’라고 답했어요. 올림픽 오륜처럼 다섯 개요.
정리하면, AI는 익숙한 것을 알아보는 데는 탁월하지만 익숙한 것이 바뀌었다는 걸 알아차리는 데는 훨씬 약해요.
오해 2: “수학 올림피아드를 통과하는 AI라면 시계쯤은 당연히 읽는다”
그렇게 되기까지 시간이 좀 걸렸어요. 사람들이 가장 놀라는 부분이에요. 2025년 9월, ClockBench라는 벤치마크가 AI 모델에게 아날로그 시계를 읽게 했어요. 몇 시인지, 어느 바늘이 어느 바늘인지, 몇 분 뒤 시계가 어떻게 보일지를 묻는 테스트였죠. 사람은 평균 89.1%를 맞혔어요. 테스트한 모델 11개 중 최고 점수는 13.3%였어요.
스탠퍼드대의 2026 AI Index는 연구자들이 ‘들쭉날쭉한 지능(jagged intelligence)‘이라고 부르는 현상의 대표 사례로 이 결과를 꼽았어요. 국제수학올림피아드에서 금메달을 딸 수 있는 AI가 시간은 제대로 못 읽는다는 거예요. 시계는 생각보다 까다로워요. 각도를 정확하게 판단하고, 비슷하게 생긴 두 바늘을 구별하고, 간단한 계산까지 해야 하거든요. 게다가 온라인에는 단순한 디지털 숫자보다 아날로그 시계 이미지가 훨씬 적어요.
다행히 발전 속도는 정말 빨랐어요.
| 시기 | ClockBench AI 최고 점수 | 사람 평균 |
|---|---|---|
| 2025년 9월(공개 당시) | 13.3% | 89.1% |
| 2026년 3월(Stanford AI Index) | 50.6%(GPT-5.4) | 약 90% |
| 2026년 11월(공개 리더보드) | 87.8%(Claude Fable 5.2) | 90.7% |
지금 리더보드 상위 5위는 Claude Fable 5.2, Gemini 4 Carbon, Gemini 4 Argon, Claude Opus 5.5, GPT-6 Astra가 차지하고 있고, 모두 사고 수준을 최대로 설정한 상태예요. 아직은 사람이 살짝 앞서요. 하지만 그 격차는 약 1년 만에 ‘가망 없음’에서 ‘거의 따라잡음’으로 좁혀졌어요.
오해 3: “더 선명하고 큰 사진이면 실수가 사라진다”
대체로 아니에요. 논리적으로 들리긴 해요. AI가 틀렸다면 더 좋은 사진을 주면 되겠죠. 그런데 “Blind” 연구에서는 색깔, 선 굵기, 이미지 해상도를 바꿔도 겹친 원을 세는 정확도가 거의 달라지지 않았어요. 도형을 알아보지 못한 게 문제가 아니었어요. 정보는 이미 다 들어 있었고, 그걸 올바른 말로 바꾸는 게 어려웠던 거예요.
크게 효과가 있었던 건 오히려 ‘잡동사니’를 줄이는 거였어요. “Biased” 연구에서 편집 이미지의 배경을 지웠더니 정확도가 거의 두 배, 약 21%포인트나 올랐어요. 배경이 복잡하면 AI가 눈앞의 것 대신 예상에 기댈 단서가 늘어나거든요(“농장이니까 평범한 개겠지” 하는 식으로요).
오해 4: “다시 한번 보라고 하면 된다”
거의 효과가 없어요. “Biased” 연구에서 모델에게 다시 확인하라고 하거나 이미지에 있는 것만 근거로 삼으라고 했더니, 개수 세기 정확도는 평균 2%포인트밖에 오르지 않았어요. 더 오래 생각하게 하면 어느 정도까지는 도움이 돼서 정확도가 40% 안팎까지 올랐지만, 그 이후에는 지나치게 고민하다가 오히려 나빠졌어요.
더 잘 통하는 방법은 질문 자체를 바꾸는 거예요. “몇 개야?”라고 물으면 기억 속 답이 튀어나와요. 먼저 사진을 차근차근 훑어보게 하면 AI가 실제 사진에 집중하게 돼요.
- “이 사진 속 사람들을 왼쪽부터 오른쪽으로 한 명씩 말해 준 다음, 모두 몇 명인지 알려 줘.”
- “시침과 분침이 각각 어디를 가리키는지 설명한 다음, 몇 시인지 알려 줘.”
- “이 영수증을 한 줄씩 전부 읽어 준 다음, 합계를 계산해 줘.”
단계별 설명이 틀렸다면 바로 알아챌 수 있어요. 그게 핵심이에요. 자신만만한 숫자 하나만 받는 대신, 어디서 미끄러졌는지 직접 볼 수 있으니까요.
오해 5: “그러니 이미지 AI는 믿을 게 못 된다”
아니에요. 이건 꼭 버려야 할 오해예요. 위에서 본 실패는 전부 편집된 로고, 추가된 다리, 이상한 시계처럼 일부러 까다롭게 만든 테스트에서 나왔어요. 약점을 찾아내려고 설계된 테스트이고, 그 역할을 아주 잘 해내요. 동시에 그 약점이 빠르게 줄어들고 있다는 것도 보여 줘요. “Biased” 연구팀에 따르면 2026년 10월에 출시된 GPT-6 Astra는, 2025년 모델들이 평균 17%를 기록한 같은 테스트에서 84.10%를 받았어요.
그래도 한 가지는 여전히 남아 있어요. 연구진에 따르면 Astra가 틀릴 때는 92.4%가 외워 둔 답을 내놓는 경우래요. 버릇이 사라진 게 아니라, 훨씬 드물게 나타날 뿐이에요.
일상에서 쓸 때는 훨씬 희망적이에요. 장면 묘사, 인쇄된 글자 읽기, 스크린샷 설명, 흔한 물건 알아보기 같은 일은 익숙한 것을 알아보는 AI의 강점에 딱 맞아요. 마음 놓고 맡겨도 되는 일과 확인이 필요한 일을 대략 정리해 봤어요.
| 물어보는 내용 | 신뢰도 | 이유 |
|---|---|---|
| ”이 사진에 뭐가 있어?” | 높음 | 익숙한 장면을 알아보는 건 AI의 특기예요 |
| 인쇄된 글자, 메뉴, 표지판 읽기 | 높음 | 선명한 글자는 학습 데이터에 충분히 들어 있어요 |
| 스크린샷이나 오류 설명 | 높음 | 화면을 읽고 소프트웨어도 잘 알아요 |
| 물건 개수 세기(특히 많을 때) | 확인 필요 | 예상되는 숫자를 말할 수 있어요 |
| 특이하거나 편집된 것 | 확인 필요 | 이상한 점을 평범한 쪽으로 ‘바로잡는’ 경향이 있어요 |
| 아날로그 시계, 계기, 다이얼 | 확인 필요 | 나아졌지만 아직 사람보다 뒤처져요 |
참고로 글자에서도 같은 일이 일어나요. AI가 예전에 단어 속 글자 수를 세는 데 왜 애먹었는지 궁금했다면, AI가 strawberry의 R을 못 세는 이유를 다룬 해설 글을 읽어 보세요. 이번 문제와 아주 가까운 사촌이라는 걸 알 수 있어요.
직접 확인하는 가장 쉬운 방법은 내 사진첩에 있는 사진으로 해 보는 거예요. 평범한 사진 하나, 조금 특이한 사진 하나를 골라서 AI에게 무엇이 보이는지 차근차근 설명해 달라고 해 보세요. 어떤 질문을 하면 좋을지는 AI로 사진이나 스크린샷을 설명받는 방법 가이드에서 더 많이 소개하고 있어요.