이미지 확대보기분할 테스트 또는 버킷 테스트라고도 하는 A/B 테스트는 두 가지 콘텐츠를 비교해 방문자/뷰어가 더 높은 관심을 보이는 버전을 확인하는 테스트다.
해당 업데이트를 통해 개발자들은 더 정확한 A/B 테스트를 실행해 KPI(핵심평가지표) 성능을 향상할 수 있으며, 데이터에 대한 시각화를 제공받음으로써 한층 정교한 정보를 기반으로 게임 성장과 관련해 한층 구체적인 예상을 할 수 있다.
주요 업데이트 내용으로는 A/B 테스트에 대한 새로운 접근법을 도입한 새로운 A/B 테스트 페이지가 추가된 점이 핵심이다. 테스트를 진행하는 과정에서 이상값과 소규모 대상 그룹으로 인해 테스트가 부정확할 수 있음을 인식해 결과치를 분석 및 표시할 때 더욱 광범위한 테스트 상태를 고려한다. 즉, 개발자에게 평균 결과가 아닌 전체 테스트 결과와 통계적 중요성을 보여줌으로써 데이터에 기반한 보다 정확한 의사결정을 내릴 수 있다는 게 골자다.
게임 개발자들에게 필요한 테스트 결과의 통계치도 표시된다. 특히, 평균 결과 대신 전체 결과 범위가 표시되며, 이를 통해 주요 결과에 대한 명확한 가시성을 확보할 수 있을 뿐만 아니라 이상치를 제거함으로써 보다 정확한 의사 결정을 내릴 수 있도록 데이터 지표를 지원한다.
이미지 확대보기유니티 슈퍼소닉은 "이번 업데이트는 기존 A/B 테스트 방식의 틀을 완전히 재편한 수준"이라고 강조했다. 개발자들은 때로는 주요 KPI에 통계적 변화가 나타나지 않아 테스트 진행 여부에 어려움을 겪는데, 이는 대상 규모가 충분하지 않았거나 테스트의 부수적 효과가 개발자가 필요로 하는 다른 KPI에 유리하게 작용했을 가능성이 있기 때문이다.
가령, ARPU(가입자 당 평균 매출)의 비통계적 변화로 인해 7일차 게임 잔존율 및 플레이 시간이 크게 증가할 수도 있는데, 이 경우 테스트 값을 조정해 테스트를 실시해야 한다. 하지만 앞으로 슈퍼소닉의 A/B 테스트 페이지에서 테스트의 전체 효과가 통계적 중요성에 따라 표시되므로 개발자는 테스트 진행을 결정하기에 앞서 모든 지표에 대한 영향을 확인할 수 있다.
또한 새롭게 개편된 슈퍼소닉의 '모든 게임 페이지'에서 채널 및 코호트 기간별로 나누어진 CPI, 게임 플레이 시간, 잔존율, ARPU 등 기타 30개의 지표 중에서 개발자가 원하는 KPI를 선택할 수 있다.
개발자는 원하는 대로 사용자 정의 보기를 생성하고, 전체 게임을 한 곳에서 관리할 수 있다. 특정 테스트 단계 (초기 혹은 반복 테스트)에 있는 게임을 확인할 수 있으며, KPI의 중요성에 따라 KPI 보기를 사용자에 맞춰 설정할 수도 있다.
이상훈 글로벌이코노믹 기자 sanghoon@g-enews.com
