[번역] 제법 쓸 만한 UX 질문지 만들기 : 모든 UX 연구원이 알아야 할 10가지 사항들 (1)

반응형

이 글은 'uxpamagazine - Writing Usable Survey Questions: 10 Things All UX Researchers Should Know'를 번역한 글입니다. 개인적인 어학 공부를 위해서도, 그리고 해외에 있는 자료를 국내에 전달하고자 하는 목적이 있습니다. 정확한 번역이 아니며, 글의 맥락을 보충하기 위해서 나름의 첨언과 약간의 의역이 들어가있는 점 양해 부탁드립니다. ^^ 

 

제법 쓸 만한 질문지 만들기 : 모든 UX 연구원이 알아야 할 10가지 사항들.

 

그 동안 터무니없는 설문을 해왔던 것은 아닐까. 질문은 부정확한 가정에 기반해있으며, 명확한 답과 선택은 저 멀리 내버려 둔 채, '필수 응답'이라고는 말하지만 굳이 답하고 싶지 않은 질문만을 만들어왔던 것이죠.

 

우리 대다수는 한편으로는 얻고, 알고싶었던 데이터를 구하지도 못한 채 설문 조사를 수행했던 건 아닐까요.

 

설문 조사라는 것은 너무나도 평범하고, 지극히 상식적인 수준에 머물러있어서, 설문지를 작성하는 방법론이 종종 UX 연구 기법에서 등한시 되는 경향이 있습니다. 하지만 그렇다고 해서 더 좋은 설문지를 작성하기 위해서 그 분야의 전문가가 될 필요는 없습니다. 몇 가지 간단한 가이드라인만 지킨다면, 유용하고, 꽤 쓸만한 질문지를 만들고, 더 나은 연구를 위해 활용할 수 있을 것입니다. 

 

다음과 같은 10가지 핵심 가이드 라인을 소개해드리고자 합니다. 

 

- 번역이라고는 하지만, 분야 특성상 '인사이트'와 같이 고유 명사처럼 활용되는 단어가 있습니다. 통찰력이라는 단어로 표현이 가능하기도 하지만, 보통 연구 조사를 수행한 뒤 이를 바탕으로 유의미한 결과를 도출해낼 때 인사이트라는 표현을 주로 씁니다. 

 

1. 마지막부터 시작하자! 

 

먼저, 질문지라는 것 자체가 필요한 질문에 답하기 위한 가장 좋은 도구라는 기본적인 전제가 필요합니다. 너무나도 당연한 말일까요? 질문지는 무언가를 측정하거나, 혹은 시험을 위해서 특히 유용하죠. 만약에 '왜?'를 알고싶다거나, 또는 아직 잘 모르는 이슈들에 대해 어떻게 생각의 기틀을 마련해야 할 지 아리송해하고 있다면, 정성적인 연구부터 시작하는 것이 좋습니다. 정성적인 연구는 특히 경향, 트렌드를 파악하기에 아주 유용하며, 더 많은 정보를 발견할 수 있는 모험 일지와도 같은 수단을 제공하기 때문입니다. (맥락 상 설문 조사 데이터로부터 정성적인 요소를 수집하라는 뜻입니다.)

 

우선 연구를 수행하기로 했다면, 당연히 물어보기로 했던 것, 그리고 상식적인 답변밖에 얻을 수 없을 지도 모르겠습니다. 이런 경우를 피하기 위해서라면, 시작하기 전에 내가 질문하고자 하는 바와 관련된 주제가 무엇일 지 먼저 파악할 필요가 있습니다. 

 

우선, 데이터를 모으고자 하는 목적이 중요합니다. 연구의 목적이 무엇일까요? 각 질문에 대해서 데이터가 마련이 된다면, 여기서 얻을 수 있는 통찰점, 즉 인사이트가 무엇인지 파악할 필요가 있습니다. 때로는 필요가 없을 듯한 더미 데이터들 사이에서 유의미한 패턴을 발견할 수도 있겠죠. 질문 그 자체가 유용하고 명확한 질문이 되기 위해서는 우선 연구의 목적, 즉 '마지막'으로서 이 조사를 통해 얻고자 하는 부분이 무엇일지 부터 확실히 해야 할 필요가 있습니다.

 

2. 스크리닝(Screening), 즉 대상자를 명확히 위한 질문을 포함하자.

 

* 스크리닝(Screening)은 후보 대상자가 조사 대상에 적합한지 평가하는 작업 그 자체를 의미합니다. 조사 목적과 내용에 맞지 않는 사용자를 선정한다면, 결과 자체가 목적에 부합하지 않기 때문에, 첫단추를 잘 꿰는 것이 너무나도 중요합니다.

(출처 - 스토리로 이해하는 UX 디자인 프로세스, 다음 커뮤니케이션 UX랩 & 마켓인사이트팀 저) 

 

우선 '누구를 대상으로 할 지'부터 밝힐 필요가 있습니다. 조사 대상자들의 성격과 특징은 어떤 편일지 파악하는 게 중요하겠죠? 스크리닝을 위한 질문을 포함하여, 조사 대상자들만이 지닐 수 있는 정보를 안고 갈 필요가 있습니다. 특히 이 과정에서 중요한게, 응답자들 중 일관적이지 못한 대답, 즉 무성의한 대답과 찍기만을 반복하는 사람이 있다면, 이런 응답자를 제외하고 좀 더 정확한 답을 얻을 수 있다는 장점이 있습니다. 일관적이지 못한 답변을 하는 사람이 있다면, 설문 조사를 진행하기가 어렵다는 것을 밝힐 필요도 있습니다. 

 

아래에 예시가 있습니다. 너무나도 포괄적인 범위로 '이용해 본 경험이 있는가'로 끝나는 것이 아니라, 올 해, 그리고 처음으로 이용해 본 때가 언제인지 포함을 하고 있는데, 이런 질문을 포함하여 보다 최근 경향을 파악할 수도 있고, 좀 더 목적에 맞는 데이터를 얻을 수 있는 장점이 있겠죠?

 

질문지에 명확히 '이번 해에, 그리고 처음으로 이용한 때'가 언제인지 물어보고 있다.

특히 이러한 연구는 대상자에게 금전적인 보상 등이 제공되는 편인데, 이러한 경우에는 스크리닝 질문을 만드는 기법이 정말 중요합니다. 때때로 그런 보상때문에 연구 목적에 맞지 않는 대상자들이 자칫 거짓 답변을 할 우려도 많기 때문입니다. 따라서 이런 점을 고려할 필요가 있습니다.

 

• 아예 존재하지 않는 선택지를 두는 방법 : 예를 들자면, 존재하지 않는 가상의 브랜드를 두고, 만약에 이러한 답변을 고르는 경우 거짓 답변을 한 것이라고 볼 수 있습니다. 이런 경우에는 목적에 부합하지 않는 대상인 셈이죠.
• 검색만으로는 해결되지 않는 질문을 넣자 : 대상자 그 자체를 파악하기 위한 질문인데, 구글링을 통해 얻을 수도 있는 답변을 얻는 다면 질문지를 만들 이유가 없겠죠?
• 중복 참여 방지 : 연락처를 남기거나, 혹은 IP 주소가 동일한 경우 접속을 차단하는 방법을 통해서, 금전적인 이득을 목적으로 다중 참여를 하는 사람을 막을 수 있겠습니다.
• 데이터를 모두 수집한 뒤에는, 너무 추상적이고, 불명확하거나, 열려있는(정량적인 데이터로 가공이 어려운) 답변은 제거할 필요가 있습니다. 여러 개의 데이터 중 수치화할 수 있는 데이터를 잘 선별할 필요가 있습니다. 

스크리닝 질문을 포함하지 않는다면, 특히 양적 연구에서는 신뢰할 만한 답변을 얻기가 어려울 것입니다. 꼭 칼같은 질문이 아니더라도 적어도 이런 질문을 포함하여 질문의 퀄리티를 높이는 방법을 잘 고민해봅시다!

 

3. 일반적인 수준에서, 그리고 보다 자세한한 부분까지 나아가자!

 

우선 처음에는 일반적인 관점에서 답변할 수 있는 질문부터 시작하는 게 중요하겠죠. 처음부터 급발진해서 너무 자세하게 묻는다면, 답변자 입장에서 부담을 느낄 것입니다. 특히 같은 주제로 묶인 경우, 동시에 물어보는 것이 좋겠습니다. 아래에 예시로 든 이미지의 경우, 적절한 그룹핑(Grouping, 묶기), 즉 비슷한 질문끼리 묶음으로써 구성했습니다. 처음에는 애플 온라인 문의 서비스에 대해서 얼마나 만족했는지 일반적인 수준에서 물어보고 있으며, 이후에는 특정 제품을 이용하고 있는지, 그리고 보통 방문하는 목적이 무엇인지 등등 보다 구체적인 수준에서 물어보고 있습니다. 처음에는 무난한 질문, 그리고 이후에는 사용자 개개인에 맞춘 심화적인 답변을 얻을 수 있는 설계가 필요하겠죠?

 

 

4. 한 질문에는 한 가지만 물어보자! + (가치 판단성 질문의 구분 필요)

 

특히 너무나도 중요한 부분입니다. 한 질문에는 '한 가지 질문'만 담아야하죠.

한 질문에 여러 갈래로 해석될 여지가 있는 질문은 응답자에게 혼동을 줄 뿐 아니라, 답변이 이뤄지더라도 그 답변을 해석하는 데에 큰 어려움이 따릅니다. 

 

사실 판단과 가치 판단의 분리는 설문지 작성에서 매우 중요합니다. 

위 예시를 한번 볼까요? 어떤 사건에 대해 물어보고 있는 것 같은데... 질문의 내용은 '누가 리베이트(환급의 의미로 쓰이는 것 같습니다)를 받았을까요?' 입니다. 즉 질문 자체가 굉장히 명확하며, 응답자의 생각에 따라 답변을 할 수 있는 내용입니다. 다만 여기서 선택지가 잘못되어있는데, 4번 선택지의 경우 'Rebate was not worth it(주고 받아서는 안된다.)'라는 가치 판단이 개입되어 있습니다. 수치화 하기도 어렵지요. 질문에 대해서 판단을 하는 것은 중요하지만, 다른 선택지와 맥락에 맞지 않게 주관의 판단 영역이 개입되어 있다면, 이는 별도의 질문으로 분리될 필요가 있습니다. 쓰여진 대로만 본다면, A라는 선택지와 B라는 선택지의 응답 비율을 정확히 판단하기 어렵게끔 혼동을 줄 수가 있습니다. ' 그래서는 안된다'라는 가치 판단 자체가 '사실'과는 구분이 될 필요가 있죠. 

 

 

5. '응답 필수'를 요하는 질문을 피하자.

 

보통 질문에 대해서 명확한 답변이 있었으면 하는 바람에서 '응답 필수'라는 항목을 으레 집어넣기 마련입니다. 하지만 필자의 입장에서는 그런 질문 자체가 약간은 허황되고, 잘못된 방향으로 흘러가게 끔 만든다고 생각합니다. 

 

그 누구도 질문에 대해서 반드시 응답해야한다고 강요받아서는 안됩니다. 사람이라면, 즉 응답자라면 누구나 설문을 마음대로 끝내고, 그만 둘 권리가 있으며, 만약에 질문을 생략하고 싶다거나, 답변할 의향이 없거나, 답변 자체가 질문과 어우러지지 않는다고 판단된다면 답변하지 않아도 괜찮다는 것입니다. 개인적으로는 항상 이렇게 질문지를 마련하는 편인데, 때로는 비용을 마련해 준 분께 토로를 해야할 정도로 공감을 받지는 못하는 부분입니다. 하지만 한 가지 데이터를 잃는 것보다는 (응답자가 답변을 하지 않는 것보다는) 응답자들 전체를 잃는 것을 두려워 할 필요가 있겠죠. 응답자가 부담을 느끼지 않게끔 질문을 마련할 필요가 있습니다. 

 

 

- 2편에서 계속... 

 

 

원문 및 출처

[uxpamagazine - Writing Usable Survey Questions: 10 Things All UX Researchers Should Know]

by Tanya Feinstein