[A/B Test] 가설을 검증하는 최고의 방법, A/B test 3단계, 주의할 점

A/B 테스트란?

---

검증하고자 하는 부분만 변수로 남겨두고 나머지 모든 변수를 통제하여 실험한 후, 

각 그룹별 데이터를 가설을 검증하는 방법

 

[독서 기록📚] 그로스해킹(6) - 작은 조직에서 그로스해킹 시작하는 4단계, ABTest, 그로스 조직 구

 

A/B 테스트 장점

---

배포일 전후 비교만으로는 이번 배포가 프로덕트에 어떤 영향을 미쳤는지 알기 어렵다 

그에, 외부 요인을 최대한 통일하고 정말 검증하고 싶은 부분만 변수로 둔 채 결과를 확인할 수 있다 

✔️ A/B 테스트의 핵심은 검증하고자 하는 부분만 변수로 남겨두고 나머지 모든 변수를 통제하는 것이다

 

 

 

A/B 테스트 진행하는 3단계

---

1. 문제 정의 & 가설 설정 

문제	결과이미지를 공유할 동인이 부족하다
가설	결과이미지 공유 시 적절한 보상을 제공하면 결과이미지를 통한 매출이 n% 상승할 것이다.

 

2. A/B 테스트 지표 설정 

- 대체적으로 성공 지표와 가드레일 지표를 포함하여 최소 4~5개의 지표를 설정하는 것이 바람직함

- 실험 설계단계에 있어 가드레일 지표를 함께 설정하는 것은 옵션이 아닌 필수

- 성공 지표들이 의도한 변화를 보였는지, 가드레일 지표에는 부정적인 영향이 없었는지를 반드시 모니터링 후 결정

지표 종류	설명	예시
성공 지표	가설을 검증할 수 잇는 지표 실험을 통해 변화를 이끌어내고자 하는 지표	해지율, 해지자 수
가드레일 지표 = 필수	전사적으로 중요한 지표  혹은 해당 기능으로 인해 부정적인 영향을 받을 수 있는 지표	매출, 구매전환율, 구독 해지 관련 CS 인입수
중간 성공 지표	성공 지표가 원하는 방향으로 가고 있는지를 더 빠르게 살피기 위한 지표	PV 대비 해지 이벤트 발생 건수

 

성공 지표	결과이미지를 통한 결제 매출
가드레일 지표	각 그룹에 속한 사용자들의 전체 매출
보조 지표	결과이미지 공유 수, 결과이미지 유입 수

 

3. 실험 결과 해석

	A: 기존안	B: 하단 토스트로 보상 안내	C: 상단 영역에 보상 안내
성공 지표( 결과이미지를 통한 결제 매출)	100원	2,400원	8,400원
보조 지표 (사용자당 결과이미지 공유수)	1회	1.5회	1.7회
보조 지표 (결과이미지 공유 전환율)	1%	1.4%	1.3%
보조 지표 (결과이미지 유입 수)	1회	0.7회	1.2회
가드레일 지표 (전체 매출)	10,000원	8,000원	11,000원

 

🔺 결과 = C그룹! 

B그룹은 성공 지표는 상승했지만, 가드레일 지표에서 하락 추세이므로 탈락 

 

- p-value에 대한 이해 : 그로스해킹 담당자로서 A/B 테스트를 정확하게 이해하려면 통계학 개론 정도는 꼭 공부하자!

- A/B test 계산기

     종속 변수가 범주형: 로지스틱 회귀, 카이제곱 검정

     종속 변수가 이산형: T검증, 분산분석 

- 테스트 비용과 효과 크기 

- 서비스 DAU, ARPPU에 따라서 구매 전환율을 개선했을 때 얼마나 임팩트 있을지 판단 가능

 

4. 인사이트를 공유한다 

https://techblog.gccompany.co.kr/ux-%EB%9D%BC%EC%9D%B4%ED%84%B0-1%EB%85%84-%EB%8F%99%EC%95%88-%EC%96%B4%EB%94%94%EA%B9%8C%EC%A7%80-%ED%95%A0-%EC%88%98-%EC%9E%88%EA%B2%8C-2-534bbcac8c6b

 

 

A/B Test 주의할 점

---

1. 통계적 유의성 확보하기(실험 종료 순간 결정) 

https://ko.surveymonkey.com/mp/ab-testing-significance-calculator/

통계적 유의성을 위한 A/B 테스트 계산기

2. 최소 기간 지키기

: 실험 내용에 따라 적절한 최소 기간을 설정하고 지키는 것이 필요하다 

3. 핵심만 담아 가볍게 진행한다 

: 거대한 기능을 A/B test로 진행하면 개발하기 어렵다

: 검증 가설의 핵심만 담아 추리는 것이 필요하다

 

4. 그 외 

• 무가설
• 통제변수 관리 실패
• 단순 평균 비교
• 엿보기+ 조기 중지
• 시간의 흐름에 따른 차이를 살펴보지 않는 것 
• 과거의 A/B 테스트 경험을 지나치게 신뢰하는 것
• 국지적 최적화의 함정: A/B 테스트는 전역 최적화가 아닌 국지적 최적화를 찾는 실험이라는 점을 유의해야 한다 

 

 

 

 

참고한 아티클

---

 

A/B 테스트의 기술

 

핵클 블로그(Hackle Blog) : A/B 테스트 정복하기 (2) : 실험의 목표 지표는 어떻게 정하는게 좋은가요?

 

A/B 테스트를 실패해도 괜찮은 이유