[실험] 더 나은 의사결정하는 법: 사용자 행동으로부터 나온 데이터를 기반으로 하는 것 (feat. ABtest)

더 나은 의사결정은, 
사용자의 행동으로부터 나온 데이터를 기반으로 하는 것이다. 

이를 위해서는 더 많은 실험을 돌릴 수 있는 환경이 필요하다

---

 

실험을 돌리는 팀이 되기 위해 필요한 것들 

 

1. 쉽게 실험을 설계할 수 있도록 한다 : 노션 템플릿 제작

실험을 설계할 때 도움이 될 수 있는 노션 템플릿을 만들었어요.

이 템플릿을 통해서 실험을 설계할 때 무엇을 고려해야 하는지 누구나 생각할 수 있게 되었어요.

 

템플릿에 포함한 내용 

- 실험을 잘 설계하려면 왜 이 실험을 하는지가 명확해야 해요.

- 또한 실험의 성공과 실패를 명확히 판단할 수 있는 지표의 선정이 중요해요. 

당근마켓에서 사용하는 실험 문서 템플릿

 

 

2. 실험 결과를 해석하는 역량: 통계 지식 

- A/B test를 해석하기 위해서는 기본적인 통계 지식이 필요하다 

빅데이터를 지배하는 통계의 힘 | 니시우치 히로무 - 교보문고

 

3. 신뢰할 수 있는 실험 플랫폼이 필요

- 파이어베이스 A/B Test 사용할 때 발생하는 문제점 

: 데이터 소스 신뢰성 부족

: 실험 기간 동안 일관된 경험 부족

: 실험 시작과 종료가 원하는대로 작동 X

: 실험이 잘 돌아가는지 테스트하기 어려움 

 

 

당근거래 중고거래팀이 실험을 하는 방법

실험하는 10가지 STEP 

 

당근마켓에서는 ‘Data-driven decision’이 아닌 ‘Data-informed decision’을 추구해요.
사실을 알기 위해 실험을 하지만, 실험 결과가 우리의 의사결정을 정해주는 건 아니라고 생각해요.

 

 

---

참고한 아티클 

 

1주 1개 실험하는 프로덕트 팀이 되는 여정