안녕하세요 뷰저블입니다. 오늘은 A/B Testing을 실시할 때 여러분들이 오해하는 부분들을 5가지로 나눠 소개합니다. A/B Testing이란 웹 사이트 방문자를 임의로 두 집단으로 나눠 한 집단에는 기존 사이트, 또 한 집단에는 새롭게 개선한 사이트를 보여준 뒤 어떤 집단의 성과가 더 뛰어난지를 평가하는 방식을 의미합니다. 여기서 말하는 성과, 즉 KPI는 웹 사이트 형태, 종류마다 다르며 보통 이커머스라면 회원가입, 구매 등을 예로 들 수 있습니다.
오해 1. A/B Testing보다 오랜 경험을 쌓은 실무자의 감이 더 정확하다.
많은 사람들이 업계에서 오랜 경험을 쌓은 실무자의 감이 더 정확할 것이라고 생각합니다. 아무래도 한 도메인에서 5년 이상, 10년 이상 일을 하다 보면 자신만의 ‘노하우’가 생겨납니다. 하지만 실무자의 이 노하우와 직감만으로 판단하는 것은 너무나 큰 리스크를 동반합니다. 고객의 행동은 계속해서 변화하며 예측할 수 없기 때문입니다. 그 누구도 올바르게 판단을 내리지 못할 때도 있다는 점을 인정하고 A/B Testing을 실시해야 합니다.
A/B 테스트를 실시하면 테스트 결과에 기반하여 웹 사이트 트래픽을 늘리거나 전환율을 높일 수 있습니다. 긴 경력을 지닌 사람에게 의존하지 않고, 누구든 올바른 판단을 내리지 못할 수도 있다는 생각을 고려하여 A/B테스트를 진행하여야 합니다. A/B Testing을 실시할 때는 ‘신뢰할만한 결과’인지 통계적 유의도를 살펴보아야 합니다. 아래처럼 다양한 웹 사이트에서 A/B Testing Significant Calculator를 제공 중이니 도구를 이용해보시는 것을 추천합니다.
오해 2. A/B Testing은 테스트를 수행할 전문가와 기술력, 예산, 개발 공수가 반드시 필요하다.
A/B Testing을 실시하려면 분석만을 위한 특정 전문가가 필요할 것이라고 생각합니다. 하지만 그렇지 않습니다. 현존하는 너무나 많은 툴들이 누구나 쉽게 테스트를 수행할 수 있도록 쉬운 UI와 기능을 제공하고 있기 때문입니다. 기획자, 마케터, 디자이너 누구나 바로 A/B테스트를 실시해볼 수 있습니다. 또한 옵티마이즈처럼 무료로 활용할 수 있는 서비스들이 많이 나와있어 생각한 아이디어를 바로바로 검증해볼 수 있습니다.
일부 사람들은 웹 페이지를 테스트하는 것이기 때문에 아무래도 마크업과 관련된 전문가의 공수가 필요하다고 생각할 수 있습니다. 하지만 방금 언급한 옵티마이즈나 A/B Tasty 같은 툴에서 이미지, 카피 문구, 글의 색상, 배경 이미지, 레이아웃 등을 드래그 앤 드롭 같은 쉬운 인터랙션만으로도 변경할 수 있습니다.
오해 3. A/B테스트는 100만 이상의 대규모 PV 트래픽을 보유한 사이트에서만 실시할 수 있다.
A/B Testing은 100만 이상의 대규모 PV 트래픽을 보유한 사이트에서만 실시할 수 있다고 종종 오해하는 경우가 있습니다. 하지만 절대로 그렇지 않습니다! 통계적 유의도를 증명할 수 있다면 해당 사이트에서도 충분히 실시해볼 수 있습니다. 그렇다면 어떻게 이 통계적 유의도를 알아볼 수 있을까요? 너무나 편리한 세상입니다. 옵티마이즐리같은 A/B Testing 툴 제공 사업자들이 Sample Size를 구할 수 있는 계산기를 무료로 제공 중이기 때문입니다.
다양한 샘플 사이즈 계산기를 활용하여 어느 정도 규모의 트래픽이 필요한지를 계산해볼 수 있습니다.
오해 4. 테스트 결과를 판단할 때는 특정 한 가지 지표만 살펴보면 충분하다.
커머스라면 ‘구매 전환율’ 지표만 살펴보면 되는 것일까요? 아닙니다. 이 한 가지 지표만으로 결과를 판단해서는 안됩니다. 페이지의 다양한 KPI가 되는 지표를 다각도에서 살펴보아야 합니다. 예를 들어 뷰저블 기술 블로그 서브 타이틀을 바꾸어 A/B Testing을 실시하였다고 예를 들어봅시다.
A안 : UX 디자이너를 위한 뷰저블만의 인사이트를 제공합니다.
B안 : IT 필드의 모든 전략가들을 위한 데이터 드리븐 UX / 그로스 해킹 이야기. 뷰저블만의 인사이트를 나눕니다.
단순히 ‘구독 수’만 판단하면 될까요? 구독 수 외에도 뷰저블이나 뷰저블리같은 연간 서비스의 잠재 고객 전환 수, 서비스 회원가입 수도 함께 살펴볼 수 있을 것입니다. A/B Testing은 다양한 지표를 다각도로 살펴보아야 한다는 점을 잊지 말아 주세요! 이 지표는 여러분의 목표가 되며 웹 사이트에 따라 모두 다르게 설정됩니다.
오해 5. 테스트 결과가 좋았던 ‘방안’에 대해서는 다른 페이지나 타 사이트에 적용해도 된다.
A기업에서 CTA 버튼 색을 파란색으로 바꿨더니 전환율이 좀 더 올라갔대.
우리도 적용해야 하는 거 아냐?
많은 실무자들이 타 서비스에서 실시하여 결과가 좋았던 테스트 방안을 자사 서비스에 반영하면 역시나 ‘성과’가 향상할 것으로 ‘오해’합니다. 레이아웃, CTA 버튼의 색상, 카피라이팅 등 수많은 예시를 들어보았을 것입니다. 하지만 A/B Test를 실시해 쓸 때의 환경과 상품의 특징이 다르기 때문에 똑같이 적용을 하더라도 당연히 결과가 달라질 것입니다. 유입 트래픽, 마케팅 광고 채널, 프로모션 등 너무나 많은 환경이 다르겠죠. 어디까지나 참고 방안으로만 삼아야 합니다.
또한 무분별한 적용은 브랜딩에 악영향을 미칩니다. 아래 이미지로 예를 들어보겠습니다. 특정 사이트에서 CTA 버튼의 색을 파란색으로 바꾸었더니 성과가 좋았다고 합니다. 이 말만 듣고 자사 CTA를 파란색으로 적용하면 어떻게 될까요? 브랜드 컬러와 맞지 않아 눈에 틔고 사용자에게 나쁜 인상을 주게 됩니다.
자사 서비스에 적용하기 위해서는 자사 서비스에 맞게 아이디어를 가공하여 A/B Testing을 실시하도록 합시다.
뷰저블에서도 스플릿 방식의 A/B Testing 기능을 지원하고 있습니다. 히트맵을 통해 사용자의 정성적인 행태 성과를 분석할 수 있다는 특징을 보유하고 있기도 합니다.
함께 읽으면 좋은 글
https://boxnwhis.kr/2015/01/29/a_b_testing.html
https://boxnwhis.kr/2016/04/15/dont_be_overwhelmed_by_pvalue.html
https://brunch.co.kr/@beusable/2
