뷰저블에서는 사용자의 행동을 정량적인 데이터로 수집하고 분석 리포트를 제공하고 있습니다. 이 정량적인 데이터로 확인할 수 있는 정보들이 어떤 UX 정보로 해석될 수 있는지, 그리고 UX와 관련 된 데이터들을 정량적인 데이터의 수집으로 분석해야 하는지를 알아볼 수 있습니다.
뷰저블은 사용자가 페이지에 접속해서 스크롤이나 마우스 이동 등 다양한 인터랙션 후 페이지를 벗어나기까지의 행동을 각 지표들의 차트나 히트맵 데이터로 보여줘, 페이지의 UX 인사이트를 얻고 분석할 수 있도록 해줍니다.
페이지의 UX를 분석하기 위한 방법으로 UT(사용자 테스트)나 인터뷰와 같이 정성적이고 고전적인 방법이 존재하지만, 데이터로 UX와 관련 된 어떤 정보를 확인할 수 있으며, 왜 이와 같은 방법으로 확인하는 것이 중요할까요?
데이터로 볼 수 있는 UX 정보들
사용자들이 우리 서비스를 얼마나 찾고 다시 왔는지에 대한 현황
사용자들이 우리 서비스를 얼마나 찾고 기억했는지는 실제 페이지에 방문한 사용자의 규모 지표 로 확인할 수 있습니다.
페이지가 사용자들에게 노출된 횟수는 PV 지표로 확인할 수 있고, 사용자의 규모는 UV 지표로 확인할 수 있습니다.
하루의 PV와 UV 지표 차이로 페이지가 얼마나 다양한 사람들에게 노출이 되었는지(PV/UV 차이가 별로 없을 경우), 한 번 방문한 사용자가 하루 이내에 페이지를 다시 찾아온 정도(PV/UV 차이가 클 경우)를 이해할 수 있습니다. 이 정보는 UV당 평균 PV를 확인하면 바로 이해할 수 있습니다.
신규 사용자와 재 방문 사용자의 규모의 차이로는, 하루가 아닌 기간 내에 페이지를 다시 찾아온 사용자와 신규 방문한 사용자를 수치를 비교해볼 수 있습니다.
서비스에 찾아온 사용자들이 어떤 사용자들인지
서비스에 찾아온 사용자들이 어떤 디바이스에서 어떤 해상도의 모니터에서 어떤 브라우저로 서비스를 이용했는지에 대한 정보는 사용자들의 환경을 이해하는 가장 기본적인 정보입니다. 디바이스나 해상도, 브라우저에 의해서 기본적인 컴포넌트 UI에 차이가 존재할 수 있으며, 반응형 UI 대응에 따라 환경에 의해 콘텐츠 자체가 다르게 제공될 수도 있습니다. 기본적인 환경의 데이터를 통해 우리 서비스가 사용자들에게 어떻게 보여질지, 그렇게 본 사용자의 규모가 얼마나 되는지 알 수 있습니다.
사용자들이 우리 서비스에 어떻게 유입되었는지 또한 중요한 정보입니다. 어떤 홍보 채널에 의해서 들어왔는지 그 규모를 확인하면 해당 채널의 효과력을 파악할 수 있을 것입니다. 사용자들에게 효과적인 마케팅 경로가 무엇이었는지 파악한 정보는, 추후 진행될 마케팅 채널선정과 집행될 예산 산정에 참고할 수 있을 것입니다.
이밖에도 어떤 사용자들이 서비스의 주 사용자인지 지표로 확인한다면, 추후에 좀 더 심화된 UT나 인터뷰를 진행할때 많은 사용자들을 대표할 수 있는 표본 사용자를 선정하기 위한 기준으로 활용해볼 수도 있습니다.
서비스 페이지 내에서의 행동을 관찰해보기
실제 UT에서는 사용자에게 미션이나 시나리오가 주어지고, 그 것에 따라 사용자가 서비스를 활용하는 행동을 직접(또는 촬영이나 스크린 기록에 의한 녹화 영상으로) 확인합니다. 하지만 많은 이때 UT에서는 참가자의 제한이 있기 때문에 제한된 사용자의 규모의 행동만 확인할 수 있으며, 확인할 때 각 행동들의 지표나 특이점들을 직접 기록해야 합니다. 기록하는 정보의 예시로는 어떤 위치를 이동하고 살펴봤고, 마우스 오버하거나 클릭하였지, 얼마나 체류하였지 등이 있을 수 있습니다.
뷰저블에서는 모든 사용자의 기록된 지표를 바로 확인할 수 있습니다. 클릭이나 마우스 이동 히트맵과 순위 정보를 통해, 어떤 콘텐츠가 가장 많이 선택되었고 선택한 실제 사용자의 규모가 어떻게 되는지 확인할 수 있습니다. 마우스 이동 정보는 사용자가 응시한 콘텐츠로 이해할 수 있으며, 클릭 정보는 사용자가 관심이나 목적에 의해 선택한 콘텐츠로 이해할 수 있습니다.
클릭이나 마우스 이동 뿐 아니라 어느 위치까지 스크롤이 도달했는지 스크롤 히트맵 정보로 바로 확인하여, 어떤 콘텐츠가 사용자들에게 얼마나 도달 되었는지 알 수 있습니다.
|
또한 페이지에 몇 초 동안 머물렀는지, 마우스를 몇 번 움직였고 총 움직인 거리가 얼마나(px)되는지 평균 값으로 바로 확인할 수 있어 사용자가 페이지에서 활동한 행동의 정도를 쉽게 파악할 수 있습니다. 이 밖에도 어떤 페이지로 이동했는지(이동 경로)에 대한 순위 값을 바로 확인할 수 있습니다.
이와 같이 데이터로 사용자의 행동을 확인하면, 별도의 기록 작업을 하지 않아도 사용자의 행동과 관련 된 지표를 바로 확인할 수 있으며, 한 명이나 소규모의 사용자 정보를 수집하는 UT에서 얻을 수 없는 전반적인 통계(순위와 같은 정보)와 대표할 수 있는 평균 값들을 쉽게 얻어낼 수 있습니다.
UX 정보 수집을 실제 데이터로 해야 하는 이유
현황의 객관적인 파악
사용자 테스트에 테스트 참가자를 모집할 때 사전 조사로 전체를 대표할 수 있는 표본이 될 수 있는지 검증을 할 것입니다. 평소 서비스 이용 행태나 기기 사용 현황으로 표본 참가자를 모집하겠지만 이 정보만으로 전체 사용자를 대표할 수 있다고 보기엔 어려울 것입니다.
사용자 테스트에서 얻은 사용자의 행동 결과는 100% 자연스러운 결과라고 보기 어렵습니다. 테스트에 의해서 모집된 사용자이기 때문에 사용자는 자신의 행동 결과가 다른 사람에 의해 관찰되고 평가받을 수 있다는 인지 하에 사용을 진행하게 됩니다. 사용 뿐 아니라, 인터뷰 결과 또한 마찬가지입니다. 질문자의 존재로 인해 솔직하게 말 하지 못할 수 있고, 자신이 한 행동의 원인과 결과의 객관적인 사실 관계를 표현하지 않을 수(또는 표현하지 못 할 수) 있습니다. 그리고 답변을 해야 한다는 의무감에 의해 존재하지 않는 원인을 지어내서 답변할 수 있습니다.
따라서 서비스를 실제로 이용하기 위해서 들어온 사용자들의 전체 데이터를 통해서 행동을 분석하는 것은, UT에서 발생할 수 있는 ‘표본의 한계 & 제한된 자연스러움’ 과 같은 문제점을 보완할 수 있을 것입니다.
데이터 분석에 있어 감안해야 할 점
상세 행동에 따라 달라질 수 있는 해석
사용자가 페이지의 하단까지 스크롤을 많이 이동했다는 스크롤 정보는, 콘텐츠 소모와 연관지어 긍정적인 행동을 의미할 수 있습니다.
– 사용자가 페이지의 콘텐츠들을 적극적으로 탐색하였다.
– 제공한 콘텐츠가 사용자에게 모두 노출되었다. 하지만 사용자가 스크롤을 이동하는 행동을 좀 더 구체적으로 상상해보면 다음과 같은 긍정적이지만은 않은 스크롤 이동도 존재하리라 예상할 수 있습니다.
– 중간 콘텐츠를 Skip 하고 하단 콘텐츠만 확인하였다.
– 하단 콘텐츠까지 도달하긴 하였으나, 실제 체류하거나 살펴보지 않고 다시 상단으로 역스크롤하였다.
이와 같이 구체적인 행동을 예상해보면, 긍정적이었던 결과가 아닌 부정적인 결과일 수도 있다는 예외적인 상황이 존재할 수 있습니다. 따라서 위와 같이 스크롤의 이동 정보를 해석할때는 스크롤 도달을 사용자의 콘텐츠 소모의 정도로 섣불리 판단해서는 안 되고 스크롤 행동과 연관지을 수 있는 다른 행동의 데이터들도 함께 검토해야 합니다. 그 예시로 실제 스크롤이 도달한 위치에 마우스로 탐색한 행동이 존재하는지나 높이 별 체류시간 정보를 확인하여, 스크롤 이동으로 도달한 콘텐츠가 사용자에게 실제로 얼마나 노출되고 소모되었는지 검증해볼 수 있습니다.
통계와 평균의 함정
많은 사용자의 정보를 평균 값으로 확인한다면 대표적인 값 하나의 확인만으로 전반적인 행태를 이해할 수 있다는 편리함이 있지만, 간혹 일부 사용자의 극단적인 수치의 값에 의해 평균 값이 영향을 받을 수 있다는 단점이 존재합니다.
이 함정은 체류시간의 평균에서 종종 보이게 되는데, 그 예시는 다음과 같을 수 있습니다.
– 체류시간이 극단적으로 긴 사용자: (온전한 활동 시간이라고 보기 어려운 1시간 이상의 체류시간) 페이지에 방문했다가 잠깐 자리를 비운 사용자
– 체류시간이 극단적으로 짧은 사용자: (실제 활동이 이루어질 수 없는 0~1초 정도의 체류시간) 페이지에 접속하자마자 의도와 상관없이 접속이 종료된 경우, 원치않는 접속임을 깨닫고 바로 나간 경우
이때는 체류시간의 정보를 다른 정보 (마우스나 스크롤을 얼마나 움직였는지)와 함께 확인해봐서 의미 없는 데이터를 정제해보거나, 실제 분포 확인을 통해 산술 평균이 아닌 다른 대표 값을 선정해 볼 수 있습니다.
실제로 뷰저블 사이트의 평균 체류시간은 약 3분 내외로 표기되고 있지만[Analytics의 평균 값], 실제 체류시간별 사용자 규모의 분포를 확인해보면[Gaze Motion] 1초에서 2초동안 머문 사용자가 25%, 1분 19초에서 1시간 30분 머문 사용자가 25%를 차지하고 있습니다. 평균 체류시간 값으로 나온 3분 정도의 수치에 해당하는 사용자는 상위 10% 정도에 속한 사용자일 것이며 실제로 3분에 가깝게 사용한 사용자는 전체 사용자 중 일부에 불과할 것입니다.
따라서 이러한 점을 보완하기 위해서 체류시간 별 전체 사용자의 분포 중, 극단적으로 너무 짧거나(하위 25%), 너무 긴(상위 25%) 사용자를 제외할 수 있습니다. 그리고 2초에서 1분 18초에 해당하는 중간 범위 (50%)의 사용자 중, 14초인 중앙 대표 값을 산정할 수 있고 이 값을 산술 평균값 대신 대체할 수 있습니다. 체류시간 분포 중 14초에 가깝게 사용한 사용자는 산술 평균에 의한 3분 보다 더 많이 존재하며, 전체 분포 그래프의 대표 값이 될 수 있음을 확인할 수 있습니다.
실제로 통계 부문에서는 다양한 행동이 골고루 분산되지 않아 특이점이 존재하는 값들의 대표값을 산정할때는, 산술 평균 값 대신 중앙값을 대표값으로 많이 사용하고 있습니다.
이 포스팅은 영리적 사용이 불가하며, 비영리적으로 사용 시 출처를 명시해 주시기 바랍니다.
