[그로스해킹] A/B테스트를 해야 하는 이유

A/B 테스트

A와 B 두 가지 다른 안을 만들어서 고객의 경험에 대해서 어느 쪽이 더 좋은지 정량적으로 평가하는 방식

광고 클릭, 회원가입전환, 구매전환, 리텐션 등 정량적을 평가한다.

상관관계(Correlation) 속에서 인과관계(Causation)를 찾아내기 위해서 테스트를 한다.

 

예를 들어

1. 갑자기 추워져서 두꺼운 외투를 입고 다니는 사람들이 많아졌다.
2. 패딩이 판매량이 늘어났다.

=> 두꺼운 외투를 입고 다니는 사람들이 많아졌기때문에 패딩이 판매량이 늘어났다?

 

원인은  기온이 추워져서 추위를 느낀다.

1. 결과 1 두꺼운 외투를 입는  사람이 많음
2. 결과 2 패딩이 판매량이 늘어남.

=> 결과 1과 결과 2사이에는 상관관계(Correlation)는 있으나, 인과관계(Causation)는 없다.

 

인과관계(Causation)

사업을 운영하는 사람들의 소망은 인과관계(Causation)를 발견하고, 사업 성과를 개선하기 위함이다.

 

정말 어떻게 하면 인과관계(Causation)를 찾을수 있을까?

• 더 많은 사람들이 광고를 클릭하게 될까?
• 더 많은 사람들이 회원으로 가입하게 될까?
• 더 많은 사람들이 구매 전환을 할까?
• 더 많은 규객들이 유지(리텐션)될까?

결과는 좌우 할수 있는 '원인'은 무엇일까?

 

데이터에서 인과관계(Causation)를 찾아내려면

 

데이터를 확보하고, 변수 사이의 관계를 확인하는 방법은 큰 두 가지

• 관찰(Observation) : 기존의 데이터를 관찰하는 법
• 실험(Controlled Experiment) : 의도적으로 변수를 통제한 뒤 결과를 봄.

관찰(Observation)로는 상관관계(Correlation)는 파악할 수 있어도, 인과관계(Causation)를 파악할 수는 없다.

의도적으로 변수를 통제해서 실험해야 한다.

 

실험(Controlled Experiment)

• 변수를 통제(Control)한 채 하는 실험(Experiment)
• A/B테스트도 실험(Controlled Experiment)의 일종이다.

 

가입 한 100만 명을 두 그룹으로 나누어서 친구를 추천하는 이벤트를 해본다.

기간을 1달로 보고 리텐션율을 비교해본다.

그 결과물을 단순히 50만 명이 몇 퍼센트를 보이는 것이 아니라

• 성별
• 나이대
• 지역별

등 동질 한 성격을 가진 집단으로 나누어서 결과를 봐야 합니다.

 

A/B 테스트할 때 주의할 점

1.  충분한 사용자와 데이터가 있는지 확인
2.  데이터를 정확히 기록할 것 
3.  충분한 시간을 가질 것

 

A/B 테스트 통해서 얻는 것

1.  매출 증대
2.  사용자 분석
3.  전환