AI 응답자는 정답만 말한다 — 합성 사용자 리서치의 함정, 모드 붕괴

AI 응답자는 정답만 말한다 — 합성 사용자 리서치의 함정, 모드 붕괴 표지

AI가 만든 가상 응답자로 사용자 조사를 대신하는 팀이 늘고 있습니다. 참가자를 모집하고 일정을 맞추는 수고 없이 몇 분 만에 수백 명의 응답을 받을 수 있으니 끌릴 수밖에 없죠. 하지만 그 답을 정말 사용자의 목소리로 믿어도 될까요? 닐슨 노먼 그룹(NN/g)이 2026년 10월 발표한 비교 연구가 꽤 분명한 답을 줍니다.

같은 질문을 사람 604명과 AI 120명에게

NN/g는 예전에 기술·디자인 실무자 604명에게 던졌던 개방형 질문을 다시 꺼냈습니다. 사람들의 필요와 경험을 조사해 제품을 만들고 개선하는 일을 어떤 분야 이름으로 부르겠느냐는 질문입니다. 같은 질문을 합성 사용자 플랫폼이 만든 가상 응답자 120명에게 묻고, 두 데이터를 같은 방식으로 분석했습니다.

결론은 같았지만 쏠림의 정도는 달랐다

두 집단 모두 ‘UX’를 가장 많이 꼽았습니다. 사람은 약 70%, AI는 84%였죠. 흥미로운 점은 AI 응답자 중 UX 직군이 20%뿐이었는데도 UX라는 답이 더 많았다는 것입니다. 직군별로 보면 차이는 더 뚜렷합니다. 가상의 제품 관리자는 93%가 UX라고 답했지만 실제 제품 관리자는 44%에 그쳤습니다. AI는 직군마다 다른 관점을 지우고 ‘모범 답안’ 쪽으로 쏠린 셈입니다.

실제 응답자와 AI 응답자의 UX 응답 비율을 직군별로 비교한 막대 그래프

사라진 긴 꼬리, 모드 붕괴

진짜 차이는 답의 다양성에서 드러났습니다. 사람들은 ‘소비자 행동 연구’, ‘여정 관리’, ‘휴먼 팩터 공학’처럼 50가지가 넘는 표현을 썼지만, AI 응답자는 십여 개의 익숙한 이름 안에서만 맴돌았습니다. NN/g는 이를 모드 붕괴(mode collapse)라고 부릅니다. 생성형 모델이 가장 흔한 답만 되풀이하며 덜 흔한 응답의 긴 꼬리를 지워버리는 현상이죠. 새로운 인사이트는 대개 바로 그 꼬리에서 나옵니다.

다양한 표현이 분포된 사람 응답과 소수 답변에 몰린 AI 응답을 비교한 워드 클라우드

실무에서는 어떻게 써야 할까

가장 흔한 반응이나 큰 흐름을 빠르게 훑어볼 때는 합성 응답자도 쓸모가 있습니다. 하지만 예상치 못한 표현, 새로 떠오르는 주제, 집단 사이의 미묘한 차이를 찾는 것이 목적이라면 반드시 실제 사람을 만나야 합니다. AI는 그런 차이를 실제보다 작게 보여줄 가능성이 크기 때문입니다.

마치며: AI는 출발점, 검증은 사람으로

NN/g의 결론은 간단합니다. 합성 사용자 리서치는 아직 사용자 리서치가 아니라는 것입니다. 실제 사용자를 관찰한 결과가 아니니까요. AI 결과는 가설을 세우는 출발점으로 삼고, 중요한 디자인 결정 앞에서는 사람의 목소리로 검증하세요. 그 습관이 결국 더 좋은 웹사이트와 서비스를 만듭니다.

📎 출처: https://www.nngroup.com/articles/synthetic-users-vs-human-respondents/

0 댓글
Inline Feedbacks
View all comments

코리아웹디자인 | 대표 : 남인식 | 사업자등록번호 : 389-37-01290 | admin@koreawebdesign.com

인천광역시 계양구 계양대로 40,3층 302호 오피스워크넷공유오피스 소호사무실 OW-HA-3106(작전동, 미림빌딩) | 0502-1935-1199