A/B Testing은 서비스와 사용자간 빠르게 응답하고 변하는 긴밀한 흐름 속에서, 사업 지표를 안전하게 유지하고 더 나아가 개선이 될 수 있도록 도모 할 수 있습니다. 뷰저블에서 A/B Testing을 진행해보기 전, A/B Testing에 대해서 간략히 알아보고자 합니다.
A/B Testing은 마케팅 또는 비즈니스 의사결정 단계에서 많이 쓰이는 개념입니다. 서비스의 실제 사용자가 될 수 있는 두 집단에게 A와 B 각각을 제공하고 이에 대한 결과 차이로 A와 B중 더 나은 것을 찾아낸다는 프로세스로 진행됩니다.
A/B Testing이 왜 필요할까?
검증
A에서 B로 수정하는 작업은 여러 사람들과 경험, 데이터로 인해 얻어낸 직관 또는 가설에 따를 것이며 더 좋아지기 위한 개선을 위한 방향일 것입니다.
하지만 직관과 가설 자체와 개선한 B안에 대한 검증은 실제 결과를 얻어내기 전까진 정량적인 수치로 확인할 수 없습니다. 잘못된 직관과 가설 또는 개선 방안으로 인해 오히려 더 나빠지는 상황을 초래할 수도 있을 것입니다(하단 넷플릭스 사례 참고).
따라서 이론이나 사용자의 의견을 올바르게 해석했고 적용했는지 검증하기 위해서는 실제 결과를 확인해야 하며 이 결과 확인 과정이 서비스 전체 이익에 크게 영향을 끼쳐서는 안 될 것입니다. 기존 사용자 중 표본 집단을 추출하고, 이 표본 집단만으로 올바른 A/B Testing을 진행한다면 기존 사업 지표가 하락하게 되는 리스크를 최소화 하면서 개선을 위한 검증을 진행할 수 있을 것입니다.
비교의 동시성
A와 B 중 더 나은 결과 값을 이끌어낼 수 있는 항목이 무엇인지 찾기 위해서는, 각 지표를 발생시키는 대상이 유사할 수록 올바른 비교가 이뤄질 수 있습니다. A를 판단하는 집단과 B를 판단하는 집단간에는 콘텐츠 외의 차이가 존재해서는 안 된다는 것입니다.
날짜나 요일, 시간과 같은 시점에 따라서 외부 이벤트나 정보에 영향을 받아 결과에 차이가 있을 수 있습니다. 또한 시점 뿐 아니라 PV나 UV자체의 규모, 접근하게 된 계기가 될 수 있는 유입 경로, 기기나 운영체제/브라우저와 같은 사용자 환경과 같이 결과에 영향을 끼칠 수 있는 항목들도 최소화 할 수록 A와 B의 올바른 비교를 수행할 수 있습니다.
따라서 동일한 기간 동안 동일한 규모의 유사한 집단간 사용자들에게 A/B를 비교하도록 하면, 좀 더 객관적인 판단 결과를 얻어낼 수 있을 것입니다.
A/B Testing이 적용된 실제 사례
오바마 선거 A/B Testing 사례
오바마의 대선 홍보 활동은 데이터를 기반으로 효율적인 결과를 이끌어낸 사례로 유명합니다. 다양한 데이터 활용 중, 기부 버튼에 적절한 색상, 텍스트를 찾고 기부 절차 단계의 흐름을 어떻게 할 지 등에 A/B 테스트를 적용하였습니다. A/B 테스트 결과로 가장 나은 기부금을 이끌어낼 수 있는 방안을 정량적인 수치로 확인할 수 있었고, 이는 실제 기부금 모집의 증가와 더 나아가 선거활동의 성공으로 이끌 수 있었습니다.
오바마 선거 사례 – 예시 1)
기부 절차 단계의 흐름을 변경한 A/B Testing 입니다.
1Step에서 여러 항목들을 요구하는 기존 프로세스와, 4Steps로 흐름을 늘린 대신 각 Step에서 요구하는 항목을 최소화한 프로세스를 비교하여, 단계적 흐름일때 +5%라는 지표를 확인하고 얻어낼 수 있었습니다.
오바마 선거 사례 – 예시 2)
주요 이미지를 변경한 A/B Testing 입니다.
기존 데이터에서 오바마에게 포커싱이 맞춰진 큰 이미지가 사용자들에게 높은 전환율을 보였음을 적용하여, 주제에 맞는 맥락과 포커스가 약간 떨어지긴 하지만 오바마에게 포커스를 맞춘 이미지를 첫 번째 A 안으로 활용하였습니다.
그리고 B안으로는, 오바마와 함께 영부인, 게스트들이 사진에 포함되어 주제에 맞는 맥락과 사용자들이 디너 참석으로 기대할 수 있는 장면을 예상할 수 있도록 하였습니다.
이 A/B Testing 결과 B 페이지에서 전환율 지표 +19%라는 효과를 검증할 수 있었습니다.
넷플릭스 사례
넷플릭스에서는 회원 가입 전, 메인 화면을 개선하는 작업을 진행했습니다.
B를 만들기 이전에, 사용자들에게 회원 가입을 하기 전 어떤 화면을 원하는지 조사하였고, 조사 결과 약 46% 사용자들에게 ‘시청할 수 있는 영화와 TV쇼 목록’이라는 답변을 받았습니다. 그리고 이 설문조사를 반영하여 이러한 목록 콘텐츠를 제공한다면 가입률을 개선할 수 있을 것이라는 가설을 세웠고 다양한 콘텐츠 목록이 제공되는 B안을 새롭게 만들었습니다.
하지만 기존 A안과 설문조사를 반영하여 개선한 B안으로 A/B Testing 결과, A에 비해 가입 전환률이 낮아진 결과를 확인할 수 있었습니다. 원인은 시청 목록 화면에서 가입 페이지로 바로 전환되는 것이 아니라 오히려 탐색으로 인해 가입 전환 콘텐츠 영역에서 벗어나게 되고, 또한 원하는 콘텐츠가 없을 시 좌절감을 느껴 이탈하게 되는 경우가 발생하였기 때문입니다.
따라서 넷플릭스는 사용자들이 가입 전 시청 가능 목록을 확인하되 목록 위주로 탐색하는 행위로 빠지지 않고 실제 가입으로 전환될 수 있도록 다음 이미지와 같이 디자인을 개선할 수 있었습니다.
위 오바마와 넷플릭스의 사례를 통해, 직관의 검증, 이론에 의한 가설 검증, 사용자가 직접 말한 의견 해석에 대한 검증으로 인한 A/B Testing의 중요함을 알 수 있습니다.
직관의 검증
사용자에게 너무 많은 단계 프로세스는 부담이 될 것 이다. -> 사용자들에게 부담이 되는 것은 단계보다 항목의 개수가 더 영향을 끼친다.
이론에 의한 가설 검증: 포커스가 맞춰진 사진이 전환율이 좋았다.
-> 참석을 유도하는 페이지에서는, 유도 받는 인물이 포함된 사진이 전환율을 높일 수 있다.
사용자 의견 해석에 대한 검증
가입 전 목록 조회를 원한다. -> 탐색을 할 수 있는 목록이 아닌, 대략적인 파악으로 끝날 수 있는 목록 조회가 적절하다.
이 포스팅은 영리적 사용이 불가하며, 비영리적으로 사용 시 출처를 명시해 주시기 바랍니다.
