안녕하세요 뷰저블입니다. 설문 조사는 질문지와 응답자의 태도에 따라 결과가 크게 달라진다는 사실을 아시나요? 질문지 순서나 응답자의 사회적 신념, 태도에 따라 결과가 천차만별로 달라질 수 있습니다. 그럼 설문 조사 질문지는 어떻게 올바르게 만들 수 있을까요? 또한 응답자의 부담감을 줄이고 편향되지 않은 답변을 얻기 위해서는 무엇을 고려해야 할까요? 오늘 글에서 소개드릴 설문조사 대상은 응답자가 응답 내용을 질문지에 직접 기록하는 방식의 ‘자기식 조사표’를 기준으로 합니다.
올바른 설문조사 질문지 만드는 법 8가지
설문조사 질문지는 설문을 통해 얻고자 하는 정보의 종류가 무엇인가에 따라 그 내용이 달라집니다. 또한, 응답자의 태도나 신념에 관한 것은 질문에 사용된 어휘나 배열, 순서에 매우 민감하게 작용합니다.
하나. 간단명료한 단어를 사용하며 응답자가 질문의 요지를 쉽게 파악할 수 있도록 만들어야 합니다.
간결하고 핵심을 찌르는 문장을 작성합시다. ‘~를 목적으로써’, ‘~에 관한’처럼 과도한 접속사나 연결문을 지양합시다. 적당한 길이로 제한하여 콘텐츠 내용을 정확히 가져가면서도 간결한 문장을 작성합시다.
둘. 설문지 배열은 후속 질문의 응답에 영향을 미치지 않을 질문을 앞에 배치합니다.
원활한 조사 진행을 위해 단순하고 쉬운 질문이나 응답자의 흥미를 유발할 수 있는 질문들을 먼저 배치해야 할 합니다. 조사 내용이 지나치게 복잡하거나 어려워서 응답자의 거부감이 커질 수 있는 질문은 맨 뒤에 배치하는 것이 권장됩니다. 보통 전반부는 모든 응답자에게 해당되는 질문으로 구성하되 조사에 대한 거부감을 줄일 수 있는 가벼운 질문, 중반부는 조사의 핵심적 주제에 관한 질문을, 후반부에는 그다지 중요하지 않은 질문을 배치합니다.
이 외의 질문에 대해서는 보통 선택지와 함께 랜덤으로 작성하는 것이 좋습니다. 가장 위에 있는 질문이나 선택지에 대해 보통 응답자가 가장 중요하다고 생각할 수 있기 때문입니다.
셋. 응답자에게 거부감을 줄 수 있는 질문이나 단어는 피하도록 합니다.
보통 사회의 통념적 가치를 묻는 질문에는 통념적 사회규범에 입각하여 응답하려는 경향이 있습니다. 예를 들어 뇌물, 매춘, 청소년 흡연 등이 있을 수 있겠죠. 이처럼 사회적 통념에 따라 응답할 가능성이 높은 설문조사에서는 사회적 편향성을 판단할 수 있는 설문을 질문지에 삽입하고 사후에는 그런 성향이 높은 응답자의 응답은 분석에서 제외하는 것이 바람직합니다.
넷. 중립적인 단어를 사용하고 전문용어는 가급적 피해야 합니다.
응답자의 언어를 표현하고, 약어, 전문용어는 피하거나 충분히 설명해야 합니다. 당연히 알고 있을 것이라 생각하는 용어도 응답자는 모를 수 있다는 점을 유의하세요. 설문 분야에 대해 모르는 사람에게 질문지를 보여주고 피드백을 받는 것도 좋습니다.
다섯. 한 가지 질문에는 하나의 내용만을 묻도록 합니다.
“뷰저블 서비스의 기능과 가격에 만족하십니까?” 이 같은 질문은 문장 속에 두 가지 내용을 묻고 있습니다. 이렇게 질문을 작성하게 되면 응답자는 정확히 무엇에 답해야 할지 고민할 것입니다. 자신이 만족하는 것이 기능인지, 가격인지, 혹은 양쪽 다 만족해야만 답변을 할 수 있는 것인지 등을 말이죠. 한 가지 질문에는 반드시 하나의 내용으로만 구성해야 합니다. 또한, 선택지로는 전반적으로 응답자가 설문을 보며 별 어려움 없이 그 흐름이나 지시를 따를 수 있도록 구성해야 하는데 ‘모르겠다.’나 ‘무응답’같은 항목은 사용하지 않는 것이 바람직합니다.
여섯. 특정 응답을 유도할 수 있는 어휘는 사용하지 말아야 합니다.
“고용주라면 유급휴가를 반드시 부여해야 하지 않을까요?”, “최저시급은 매년 반드시 올라야 하지 않을까요?”처럼 유도신문을 하는 듯한 질문은 피해야 합니다. 리커트 척도(Likert scale) 등을 사용하여 제시된 문장에 얼마나 동의하는지를 답변할 수 있도록 합시다.
일곱. 응답자가 깊이 고민하거나 시간을 들여 떠올려야만 하는 질문은 피하도록 합시다.
“가장 처음 언제 서비스를 사용하기 시작하셨나요?” 이처럼 고민해야 하는 질문은 피하도록 합시다. 이런 질문들은 질문자 입장에서 문제점을 파악하거나 아이디어를 얻는 데 굉장히 도움이 되지만, 사람들은 대다수가 선명한 기억을 지니고 있지 못하며 최근일 조차도 떠올리기 어려울 수 있습니다. 답변 또한 왜곡될 것입니다.
여덟. 평가척도는 긍정적으로 표현합니다.
극단적인 응답 편향을 줄이기 위해 언어 표현을 긍정적으로 작성하고 부정적인 표현은 섞지 않도록 해야 합니다. 표현을 섞으면 답변에 혼동이 올 수도 있어 주의해야 합니다. ‘이 웹서비스를 사용하는 것은 쉽습니다.’, ‘이 웹 서비스를 사용하는 것은 어렵습니다.’가 그 예가 될 수 있겠죠.
설문 조사 답변을 왜곡시킬 수 있는 7가지 편향(BIAS)
그렇다면 설문 조사의 응답을 왜곡시킬 수 있는 응답자의 편향으로는 어떤 것들이 있을까요? 응답자는 모두 사실만을 말할 것 같지만 절대로 그렇지 않습니다. 그렇기 때문에 모든 답변이 정확하다고 가정해서는 안됩니다.
하나. 사회적 바람직(Social desirability) 성
응답자는 사회의 통념적 가치를 묻는 질문에 통념적 사회규범에 입각하여 응답하려는 경향을 나타냅니다. 즉, 사회적으로 바람직한 일에 대해 질문할 때 응답자는 과장하여 표현하거나 사회적으로 좋아 보이는 것만을 선택할 수 있다는 말입니다. 위 설문 조사 작성법에도 잠시 언급하였는데, 사회적 통념에 따라 응답할 가능성이 높은 설문조사에서는 사회적 편향성을 판단할 수 있는 설문을 질문지에 삽입하고 사후에는 그런 성향이 높은 응답자의 응답은 분석에서 제외하는 것이 바람직합니다. 매춘과 재활용, 가족 간의 화목함 등을 예로 들 수 있습니다.
둘. 사회적 명성
사용자는 연봉이나 학벌, 직장 등을 묻는 질문에 응답자는 자기 자신을 과장하여 평가하기 쉽습니다. 그렇다고 해서 설문조사 결과가 완전히 부정적이거나 거짓이라는 것은 아닙니다. 명성에 관한 질문은 응답자에 맞게 충분히 각색되었다고 생각하고 봐야 합니다. 어느 정도 각색되었는지 여부는 질문, 콘텍스트, 응답자에 따라 달라질 것입니다.
셋. 사회적 스테레오 타입
위 두 번째 편향과 비슷하게 ‘스테레오 타입’이 있습니다. 성별, 전문성, 교육 수준 같은 질문은 응답자가 느끼는 스테레오 타입을 더욱더 강하게 만들어줍니다. 그 결과, 응답자는 해당 스테레오 타입에 따른 행동을 취할 가능성이 높습니다. 예를 들어 방향 감각이 좋은 사람의 성별, 지성이 높은 사람의 교육 수준 등이 있겠죠.
넷. 위협 또는 경의
예를 들어 배우자에 관한 질문의 경우, 사별하거나 이혼한 경험이 있는 응답자는 설문 전체를 매우 불쾌하고 부적절하게 생각할 수 있게 합니다. 불쾌한 일에 관한 질문은 응답자를 부적절한 심리상태로 만들어 그 뒤 질문에 대한 답변 또한 부적절 또는 불리하게 작용할지도 모릅니다. 이러한 질문은 가장 나중에 배치하도록 합시다.
다섯. 위신 향상 효과(Self-lifting effect)
첫 번째 사회적 바람직성 또는 두 번째 사회적 명성과도 비슷한 내용으로 응답자는 사회적 지위, 위신을 높이기 위해 사실과는 다른 내용을 응답할 수 있다고 합니다. 사회적 위신을 현재 수준에서 말하는 것이 아닌 현재 수준 이상으로 높이기 위해 엉뚱한 대답을 하는 경향이 있다고 합니다. 비슷한 경우로 ‘체면치레 효과(ego-threat effect)’라는 것이 있습니다. 유행이나 시대에 뒤떨어진다는 소리를 듣지 않기 위해 잘못된 답변을 하는 경우입니다.
여섯. 겸양 효과(Si, senor effect)
겸양 효과란 질문자의 생각에 따라 질문자의 비위를 맞추기 위해 응답하는 경우를 의미합니다. 비슷한 경우로 ‘동조 효과(conformity effect)’라는 것이 있는데, 주변 사람들이 일반적으로 생각하는가에 따라 응답을 다르게 할 가능성이 높다고 합니다.
일곱. 선전 편승 효과(Bandwagon effect)
마지막으로 선전 편승 효과라는 것이 있습니다. 실제로 응답할 의사가 없더라도 특정 브랜드 또는 후보자가 선두주자, 마켓셰어 등이 높다고 판단되면 해당 브랜드와 후보자를 지지하겠다는 반응을 보인다고 합니다. 반대로 약자성 효과(Underdog effect)라는 것이 있는데, 다른 브랜드나 후보자에 비해 뒤떨어져 있으니 동정표를 던지는 경우를 의미합니다.
편향이 일어난다고 해서 응답 결과가
여러분의 설문을 무용지물로 만드는 것은 아닙니다.
중요한 것은 얼마나 이러한 편향들이
얼마나 어떻게 영향을 미치는지를 이해하는 것입니다.
참고자료
서베이몽키 ‘writing survey question’ 아티클
https://ko.surveymonkey.com/mp/writing-survey-questions/
온라인 행정학회 ‘자기보고 편향(self-report bias) 용어 해설
http://www.kapa21.or.kr/epadic/epadic_view.php?num=827
누리 마당 학회 블로그 ‘샘플을 편향되게 만들 수 있는 9가지 방법’
http://cshlife.tistory.com/291
KOCW 강의자료
http://contents.kocw.net/KOCW/document/2015/hankyong/nohyongsik3/5.pdf
http://contents.kocw.or.kr/KOCW/document/2015/dongguk/sonchangkyoon/1.pdf
