[번역] 제법 쓸 만한 UX 질문지 만들기 : 모든 UX 연구원이 알아야 할 10가지 사항들 (2)

- 이 글은 [uxpamagazine - Writing Usable Survey Questions: 10 Things All UX Researchers Should Know]를 번역한 글입니다. 개인적인 어학 공부를 위해서도, 그리고 해외에 있는 자료를 국내에 전달하고자 하는 목적이 있습니다. 정확한 번역이 아니며, 글의 맥락을 보충하기 위해서 나름의 첨언과 약간의 의역이 들어가있는 점 양해 부탁드립니다. ^^ 

 

- 이전의 1편에서 계속 이어지는 글입니다. 

제법 쓸 만한 질문지 만들기 : 모든 UX 연구원이 알아야 할 10가지 사항들.

 

6. '기타', '해당 없음', '응답하고 싶지 않음' 등 예외적인 선택지를 만들자! 

 

누구나 설문에 응답해본 경험이 있을 것입니다. 잘 만들어진 설문지에 무난하게 답변을 하며 마무리한 경험도 있지만, 때때로는 '대체 어디에 답해야 되는 걸까', '꼭 답변을 해야할까', '굳이 알리고 싶지 않은데...' 등등 당혹감을 느낀 경우도 누구나 있을 것입니다. 6번의 경우 생각보다 많은 설문지에서 드러나는 실수 사례가 있어 소개가 좀 길 것 같습니다.

 

우선 아래 예시를 볼까요?

 

여행을 계획하거나, 예약할 때 주로 어떤 수단을 이용하시나요?

사전 정보 조사 및 예약 수단에 관해 묻는 질문인데, 만약에 'Digital guidebook - 전자 안내서'라는 선택지를 고르고자 한다면, 노트북을 이용하는 경우엔 여기에 해당되는 걸까요? 데스크탑은 아니고, 그렇다기엔 디지털 가이드북이라니... 전자 안내서? 너무 포괄적이지 않나? 응답자가 보기에는 어떤게 적절한지 굉장한 혼란이 오겠죠. 내가 고르고자 하는 선택지가 아예 질문지에 없는 경우도 있을 것입니다. 특히 이런 경우도 있겠죠? 예를 들어 어떤 정보를 찾아보는데, 꼭 컴퓨터뿐만 아니라 스마트폰까지 같이 동원해서 찾는 경우가 대다수일 것입니다. 스마트폰은 70%, PC로는 30%를 이용해서 찾아본다면... 이런 경우에는 어떻게 답해야할까요. '그 어느 것에도 해당되지 않음'을 고를 수는 없을테고요.

 

기존에 갖고 있는 정보들, 정성적인 조사, 그리고 온라인 조사 등을 활용하여, 응답자가 가장 고를 가능성이 높은 선택지들을 두루 포함하는 것이 좋습니다. 예를 들어 위 사례의 경우, 뜬금없는 도구가 나온다면, 그리고 응답자가 재미 삼아 그걸 고른다면 올바른 설문 조사라 할 수는 없겠죠. 특히 '기타', '해당 되지 않음' 등등 예외적인 선택지를 항상 마련할 필요가 있습니다.

 

또한, 선택지가 질문에서 요구하는 바와 같은 지 확인할 필요가 있습니다. 예를 들어 "이번에 구매를 완료하셨나요?"와 같이 사실에 기반한 질문이라면, 그 질문에 대해 '동의, 비동의'와 같이 가치 판단적인 선택지는 배제하는 게 좋겠습니다. '예, 아니오'와 '동의, 비동의'의 차이는 꽤 큽니다. 사실에 기반한 답변인지, 가치에 기반한 답변인지는 중요한 문제입니다. 오해의 소지가 남지 않도록 신중하게 질문을 구성합시다.

 

 위 예시를 참고해봅시다. "직원들이 얼마나 도움이 되었는가?"에 관한 질문입니다. 여기에 대해서 '만족도'를 묻고 있는데요, 여기서 중요한건 '도움이 되었는가'와 '만족도'는 엄연히 다르다는 점. 질문에서는 도움이 되었는지 유용성에 관해 묻고 있는데, 답변에서는 정작 만족도에 관해서 묻고 있으니 이는 별개의 영역입니다. 따라서 질문의 내용을 수정하거나, 답변의 내용을 수정할 필요가 있습니다. 엄연히 맥락상 질문에 있는 대로 '도움이 되었던 정도'에 관해서 답변을 하는게 맞겠지만, 만족도와 도움의 정도를 다르게 보는 응답자도 얼마든지 있을 수 있지요.

 

 

이번 예시의 경우 한 회사의 이메일을 통해 받게 된 설문지입니다. 간혹 홈페이지에 가입을 하기는 했는데, 광고성 이메일 수신 동의를 하기는 했지만 정작 그 홈페이지를 이용하지 않는 경우도 많지요. 이 사례 역시 해당 사이트에 가입을 하기는 했지만, 이용을 하지 않는 경우에 대해서 지적하고 있는 이미지입니다. 질문에서는 '우리 회사의 제품을 얼마나 이용하셨나요'에 관해 묻고 있지만, 이용을 하고 있지 않는 경우도 얼마든지 있을 것입니다. 1번의 '12개월 미만'을 고를 수도 있겠지만, 단 한 번도 이용하지 않은 경우와 한 번이라도 이용해 본 경험의 차이는 매우 크지요. 이런 경우에는 설문지의 구성을 달리 하여 '이용한 적이 없음'까지 추가한다면 보완이 될 것입니다. 

이 사례 역시 비슷한 맥락입니다. 해당 질문들 역시 센터를 이용한다는 것을 가정하고 있기는 하지만, 위 사례와 같이 메일을 수신하기만 할 뿐, 이용하지 않는 경우에는 대답을 할 수가 없는 선택지로 구성되어있습니다.

 

이번 예시에서는 질문지도, 선택지도 모두 애매모호한 경우를 보여주고 있습니다. 질문에서는 '다음 항목 중에서 이용 경험과 가장 잘 어우러지는 것을 골라주세요'라고 묻고 있지만, 어떤 식으로 선택지를 골라야 할 지 모르겠습니다. 이를 보완하여 수정한다면, 'SXSW에 참석하는 이유가 무엇인가요?'라고 수정하기만 해도, 질문의 의도를 파악할 수 있겠죠. 특히 등급을 매기라는(Rating)이라는 말 자체가 응답자에게 부담을 줄 수 있습니다. 내가 무슨 수로 평가를 한다는 말인가. 이 역시 워딩을 달리하여 '이유'를 묻는다면, 응답자가 부담 없이 답변을 할 수 있겠습니다. 

한편, 여기서 중립(Neutral)은 무슨 의미일까요? 참석하는 데에 중립적인 부분이 있을 수 있을까요. 해당 질문의 경우 단순하게 '예/아니오'로 나뉠 수 있는 질문임에도 불구하고 리커트 척도에서나 볼 수 있을 법한 '중립' 선택지를 넣음으로써, 오히려 응답자에게 혼란을 줄 수 있다고 봅니다. 

 

추가 특히 사람들이 답할 수 있는 부분에 대해서 질문을 하는 것이 중요합니다. 만약에 무언가를 묻는다면, 응답자 역시 무언가를 말할 테지만, 이 응답이 신뢰할 만한 응답인지 파악하는 것 역시 중요하겠죠. 아래 예시를 봐 봅시다. 아래에서 묻고 있는 질문은, '클라우드에 업로드한 용량이 얼마나 되는가'입니다. 근데... 이걸 내가 기억을 하고 있나? 아마 대부분이라면 어렴풋이 기억을 하거나, '모르겠다'고만 하겠죠. 정확한 데이터를 얻을 수 있는 질문으로 보기 어렵습니다.

 

내가 얼마나 쓰더라? 

 

7. 그래서 결국 알아내고자 하는 바가 무엇인가. 

 

위와 같은 설문지 구성은 매우 많이 보셨을 것 같습니다. 다른 사람에게 추천하고 싶은 정도를 묻고 있는 질문인데, 특히 이렇게 10점 단위로 나눔으로써 개개인의 만족도를 쉽게 수치화할 수 있다는 장점이 있어 많이 사용되고 있습니다. 여기서 보여지고 있는 척도는 이른바 NPS 지표라고 하는데, 보통 '우리 회사를 지인들에게 추천하고 싶은 정도는 얼마나?'를 의미합니다. 10점이면 가장 추천하고 싶은 정도, 0점이면 전혀 추천하고 싶지 않은 정도를 의미하겠지요.

 

그럼 여기서 9-10점을 고른 사람 정도의 비율에서 0-6점 정도를 고른 사람의 비율을 뺀다면, 회사를 향한 만족도를 어림할 수 있을 것입니다. 범위는 음수가 될 수도 있고, 양수가 될 수도 있습니다. 

 

이 지표에 관해서는 많은 갑론을박이 있기는 하지만, 그래도 널리 사용되는 데에는 그럴 만한 이유가 있습니다. 우선 어떤 지표를 사용한다면, 당신이 생각하는 바와 다른 사람이 생각하는 바는 같습니다. 즉 한 수치에 대해서 모두 공통된 인식을 가지므로, 이를 갖고 논의를 하는 데에도 매우 편리하며, 특히 이를 바탕으로 다양한 데이터로 가공할 수도 있습니다.

 

• 평균값
• 10점을 고른 사람들의 비율
• 9점과 10점을 고른 사람들의 비율
• 7-10점을 고른 사람들의 비율
• 하위 n 점을 고른 사람들의 비율

하지만 만약에 위와 같은 방법이 아니라, 단순하게 '서술적인 표현'을 쓴다면, 이를 다시 수치화하는 것은 매우 어려운 일이 될테죠. 예를 들어서... 

"이 사이트를 이용하며 느낀 쇼핑 경험은 어떠셨나요?"

 

너무너무너무 저엉말 좋아요 - 매우 좋아요 - 좋아요 - 그럭저럭 - 영 아니네요

 

와 같은 지표가 있다면, 명목적으로는 무슨 의미인지 이해할 수 있지만, 이로부터 대량의 데이터를 얻는다면 일일이 5점, 4점을 매길 수는 있어도, 사람들이 생각하는 '매우 좋음'과 1-5단계의 수치적인 지표는 상당히 다른 일일 것입니다. '매우 좋아요'를 대응시키면 4단계지만, 응답자의 입장에서 그게 정말 5단계 중 정말 4단계에 해당하는 지는 신뢰하기가 어렵죠. 웹사이트 운영자는 백분율(%)을 결과로서 얻고싶고, 어떤 사람은 상위 n%의 결과만 얻고 싶어할 수도 있을텐데 이러한 경우에는 데이터를 가공하기가 상당히 곤란한 유형입니다. 

 

특히 수치화하는 것은 시간에 따른 변화를 추적할 경우 매우 중요한 문제입니다. 예를 들어 어떤 변화가 생길 경우, 증진과 감소의 상태에 대해서 파악할 필요가 있는데, '우수함'의 비율이 감소하고 '빈곤함'의 비율 역시 감소한다면, 이것만으로 상황이 개선되었는지는 파악하기가 어렵겠죠. 

 

한 가지 다른 예로, 만약에 어떤 특정값을 알고싶다면 어떻게 해야 할까요. 가정에서 스마트 디바이스의 평균 비율을 알고싶다면, 이 경우 응답자에게 백분율(%)을 직접 기입할 수 있게끔 해봅시다. 범위 목록이 아니라, 직접 생각하여 답변할 수 있게끔 말입니다. 범위로 한정할 경우, 정확한 비율을 파악하기가 어렵기 때문입니다. (물론 이 과정에서 응답자가 피로함을 느끼거나, 앞서 말한 혼동의 여지가 없게끔 만드는 것 역시 중요합니다.) 

 

결론적으로 말하자면, 질문을 통해 얻고자 하는 바가 무엇인지, 그리고 이를 결과적으로 어떻게 활용할 것인지 미리 고려를 한 뒤에, 질문을 구성하는 것이 중요하겠습니다. 

8. 열린 질문은 최소화하자!

 

• 얼마 전에 새로 시작한 드라마, 어땠어요?
• 보통 취미 활동을 하는 이유가 무엇인가요?
• 가족과 함께 여가를 보낼 때, 주로 계획을 어떻게 짜시는 편인가요?

와 같이 단답으로 답하기가 어려운 질문 자체가 개방형 질문입니다.

 

일반적으로 열린 질문, 즉 개방형 질문 (어떻게 생각하십니까...와 같이 깊은 사고를 요하는 질문)은 최소화하는 것이 좋습니다. 즉 대부분 설문지에서는 폐쇄적 질문, '예/아니오'와 같이 명확하게 답변할 수 있는 질문으로 구성되어야 한다는 것입니다. 만약에 개방형 질문을 여러 개 포함하여 질문하고싶다면, 이런 경우에는 설문지 제작이 아니라, 포커스 그룹 인터뷰와 같이 한정적인 대상을 상대로 면담을 진행하는 것이 적절한 방법입니다. 

설문지 기법 자체는 무언가를 측정하고, 데이터를 가공하기에는 더할 나위 없이 훌륭한 도구입니다. 다만 이 선을 넘어서 더 많은 정보를 얻으려고 한다면 (심오한 답변, 한 개인의 깊은 생각) 설문지는 그닥 소용이 없는 도구가 될 테죠. 이런 경우에는 앞서 말한 겨우와 같이 다른 조사 방법론을 택할 필요가 있습니다.

 

응답자는 보통 열려있는 질문이 주어진다면, 설문지에서는 짧은 대답을 하는 경향이 있습니다. 그렇다고 해서 '최대한 자세하게 써주십시오.'와 같은 덧붙임을 넣는다 하더라도, 기대 효과가 거의 없습니다. 응답자의 입장에서 생각해보면, 귀찮은 일은 최대한 덜고 싶어하니까요. 따라서 개방형 질문, 자세한 서술을 요하는 질문은 최대한 배제하는 것이 좋습니다. 처음 한 두개까지는 그렇다 치더라도, 세번째까지 그런 질문을 한다면 응답자는 질문창을 닫아버릴 우려도 있겠죠...

 

물론 어느정도 정성적인 데이터를 얻기 위해서 음성 답변이나, 영상 답변을 얻을 수도 있습니다. 하지만 이런 경우에는 그 데이터를 또 다시 분석하는 데에 적지 않은 시간과 비용이 소요되며, 무엇보다 개인 신상에 관한 데이터이므로 관리하는 데에 많은 어려움이 있습니다. (요즘같은 시대에는 더욱 주의해야하는 방법이지요.)

 

개방형 질문은 일반적으로 다루기에는 너무 복잡합니다. 사람이든, 컴퓨터든 그것을 읽고, 해석하고, 분류하고, 또 다시 분류하는 것은 여간 보통 일이 아니지요. 컴퓨터조차 이런 것을 자동적으로 해낼 수는 없기 때문에, 앞서 말씀드린 것처럼 명확하게 수치화할 수 있고 가공하기 쉬운 데이터를 수집하는 것이 좋습니다. 

 

9. 질문을 검증하자.

 

디자인에 대해 검증하고 싶다면, 질문 역시 검증할 필요가 있습니다. 보기보다는 질문 작성 그 자체는 정말 어려운 일이지만, 이를 테스트해보는 건 어려운 일이 아닙니다.

 

• 한번 질문을 읽어보고, 소리 내어 선택지를 읽어봅시다. 직접 소리 내어 읽어보는 것은 읽기만 하는 것과는 다르게 보이지 않던게 보일 수도 있습니다. 문장이 어색하다든지, 이해가 되지 않는 등 여러 측면이 있습니다. 진지하게 소리 내어 읽어보고, 머리로만 생각하지 맙시다. (실제로 사용자 조사 기법 중 Think Aloud와 비슷하군요)
• 가장 효과적인 방법 중 하나인, 다른 사람에게 직접 답하게끔 해보는 것이지요. 꼭 질문지의 타겟일 필요는 없지만, 설문지 작성에 관한 프로젝트에 대해 전혀 접해보지 못한 지인이라면 더효과적일 것입니다. 심지어 집에서 같이 지내고 있는 룸메이트나, 가족, 친구가 될 수도 있습니다. 우선 답변을 보여주지 말고, 질문을 읽게 해봅시다. 내가 생각하는 것과, 읽는 사람의 입장에서의 생각이 같은 지 파악할 수 있겠죠. 가능하다면 그 질문을 읽고, 어떻게 답할 것인지 한번 물어보는 것도 좋습니다. 답의 내용과, 질문지의 구성이 같다면, 올바르게 쓰인 질문지라고 할 수 있습니다. 아마 실제 질문지를 보여준다면, 정답을 맞춘 듯한 기분을 친구에게 안겨줄 수도 있겠습니다. 

10. 설문 수행 계획을 검증하자. 

 

질문지를 작성했지만 이를 배포하지 못한다면 아무 소용이 없지요. 우선 질문지를 인쇄하고, 혹시 잘못 인쇄된 것은 없는지 살펴봅시다. 온라인을 통해 설문을 한다면, 각 기기, 브라우저 환경 등에 따라 오류가 발생하지 않는지 검증하는 것도 매우 중요합니다. 학교 수업에서 PPT가 깨져 당황한 모습을 본 기억이 한번쯤 있으실텐데요, 아마 이런 경험에서 미루어보아 설문지를 실제로 배포할 때 만약에 오류가 생긴다면, 소중한 데이터를 얻을 기회조차 잃고 말겠죠. 만약에 질문들이 랜덤으로 구성되어있거나, 어느 정도 뒤바뀌는 규칙이 필요하다면, 제대로 작동하는지 살펴볼 필요도 있습니다. 또한, 가능한 여러가지 조합의 답변이 있을텐데, 이런 경우에는 사전에 얻은 데이터가 미리 정리가 되어있고, 비워져 있는지 살펴볼 필요도 있습니다. 

 

또, 조사에 필요한 소프트웨어 프로그램이 있다면, 실행을 직접 해보고 샘플 설문지를 통해 제대로 배포가 되고, 데이터가 수집이 되는지 살펴볼 필요도 있습니다. 특히 질문지의 구성에서 다시 한번, 질문이 잘 설계되어 있는지, 이상한 점은 없는지 등등을 검토하는 것이 매우 중요합니다. 또 실시간으로 흘러들어오는 데이터 역시, 이상한 답변은 없는지 수시로 살펴볼 필요도 있겠습니다. 

 

이상으로 10가지 원칙에 대해 소개했습니다. 보다 나은 설문지를 작성하여, 사용자 경험의 개선에 이바지하는 전문가로서 성장하는 데에 도움이 되었으면 좋겠습니다. 이상으로 글 마칩니다. 

 

원문 및 출처

[uxpamagazine - Writing Usable Survey Questions: 10 Things All UX Researchers Should Know]

by Tanya Feinstein