[제로베이스 PM스쿨 18기 학습일지 #10] A/B 테스트

 

A/B 테스트

📌AB 테스트란 두 가지 이상의 버전(A/B)을 비교해 실험하는 그로스 해킹 방법론

📌데이터 기반의 의사결정 및 서비스 기획 방법

📌정량적으로 평가하는 방식

 

A/B 테스트를 하는 이유

-시장에서의 정답은 아무도 모른다

-쉽고 빠르게 테스트할 수있는 환경에서 개인에게 의지하는 것은 위험하고 비효율적

 

[사례]

넷플릭스의 CTA 버튼

30일 무료 체험하기 -> 시작하기

CTA MVT의 경우 CTA에 ‘30일간 무료로 체험하세요’보다 ‘시작하기’ 카피를 적용했을 때 클릭률이 더 높게 나옴.

넷플릭스의 랜딩 페이지의 CTA는 짧고, 간결한 ‘TRY IT NOW(시작하기)’만 살아남게 됨.

 

 🙋‍♀️콜투액션(call to action)은 사용자의 반응을 유도하는 행위 혹은 요소

출처 : 엘리스 https://elice.io/newsroom/abtest

 

 

---

 

A/B 테스트 진행 프로세스

 

1. 목표 설정 

✅테스트의 목표를 구체화

✅목표에 맞는 지표 설정 (서비스 가입자를 늘리고 싶다 -> '서비스 가입전환율' 을 지표로 잡는다)

✅지표 설정 시 분자와 분모를 명확히 할 것 

-> 동일한 가입전환율이어도 분모가 가입페이지 방문자 수와 앱 다운 유저수 인지에 따라 값이 크게 차이남

 

2. 가설 수립

✅어떤 일을 해야 지표가 개선될 수 있을지에 대한 가설 수립

✅가설을 바탕으로 실험이 진행되므로 신중하게 가설 세울 것

✅가설과 관련된 정보를 충분히 탐색할 것 -> 리소스 낭비 줄이기 위함

 

 

3. 실험 설계

 

[지표의 종류]

✅합계 지표 sum -> 웹사이트에 들어온 전체 유저의 숫자

✅평균, 중앙값 mean, median

-> 구매까지 걸리는 평균 시간(mean), 첫 구매가 발생할 때 까지 방문한 페이지의 중앙값(median)

✅비율 Ratio -> 결제완료 횟수 / 결제 페이지 진입 횟수

 

[지표 설정]

✅민감도와 강건성

-변화를 가하지 않았는데도 둘쑥날쑥하는 지표 (강건성이 낮아 적절하지 않음)

-변화를 가해도 크게 변화 없는 지표 (민감하지 못하여 적절하지 않음)

 

[타겟 유저] 어떤 대상으로 실험을 수행할 것인가?

-실험군의 모수 설정

 

https://www.optimizely.com/sample-size-calculator/#/?conversion=3&effect=20&significance=95 

Sample size calculator

baseline Conversion rate 통제군 

-> 개선하고자 하는 현재의 값 (현재의 결제전환율, 가입전환율 등)

 

MD(Minimum Detectable Effect)는 최소 측정 가능한 효과

MD가 높을수록 샘플 사이즈는 적게 필요하다

낮으면 낮을수록 정밀한 실험이 가능하다(샘플 사이즈 많이 필요함)

-> 3%에서 50%로 상승되는 것을 실험하는 것 보다, 3%에서 5%까지 상승되는 것을 실험하는 것이 더 정밀한 실험

 

분기 단위(Unit of Diversion)

A,B 그룹을 나누는 기준

✅ID (사용자가 가입 시 입력한 아이디X, 서버 데이터에 저장된 고유의 값O)

✅cookie (사용자가 사이트를 방문시 생기는 기록 파일)

✅event (유저가 특정 행동을 했을 때 무작위로 A/B 결과가 나타남)

 

분석 단위(Unit of Analysis)

지표의 분모

 

🙋‍♀️ARPU (Average Revenue Per User) 유저당 평균 매출, 일정 기간 동안 고객 한 명당 발생된 평균 수익

ex) 지표가 APRU 라면, (회원당 구매액 = 총 구매액 합계 / 회원 수) 

이 지표에서 분석 단위는 분모인 '회원'

분기단위를 정할 때는 분석 단위와 일치시키는 것이 바람직하다

 

Duration

-기간이 길 수록 정확성은 높아짐

-명절, 크리스마스 등 이벤트 기간에 포함될 경우 분석에 유의할 것

 

Variation

-어떤 것을 다르게 보여줄 것인가?

-실험 단위를 쪼개어 영향력을 확인하고 싶은 부분을 제외하고는 통제하는 것이 좋다

 

 

4. 실험 진행

 

실험진행

✅실험 분기가 제대로 이뤄지는지 파악

✅실험 기간이 짧은 경우 유의미한 결과값을 얻기 힘들다

✅데이터를 지속적으로 확인하며 통계적 유의미성이 확보되었는지 확인할 것

 

결과분석

✅통계적 유의성 확인

p-value 계산기 사용하여 확인하기

*p-value가 0.05보다 낮을 경우 의미가 있다고 판단한다

섣부른 결론 내리지 않기

✅불변지표 확인

실험과정에서 변하면 안되는 '불변지표' 수치를 확인할 것

 

 

https://vwo.com/tools/ab-test-significance-calculator/

A/B testing statistical significance calculator - VWO

 

control 통계집단

variation 실험군

 

유의미한 결과

p-value가 0.05보다 낮고, Probability to be best 차이가 확연하게 나서 유의미한 결과이다

 

 

---

 

 

통계집단과 실험군의 Probability to be best가 큰 차이가 나지 않으므로 유의미하지 않은 결과

이렇게 애매한 결과가 나왔을 때 실험군으로 모두 전환하는 행위를 하면 안된다

 

 

 

A/B 테스트 시 주의할 사항

📌a/b테스트는 도구일 뿐, 큰 그림은 보여주지 못한다

📌대부분의 가설은 틀린다

📌실험을 너무 빨리 끝내면 안된다

📌너무 많은 변인을 한꺼번에 테스트 하면 안된다

 

 

 

5. 결과 검증