개발자들이 앱, 웹페이지 개발과정에서 많이 사용하는 테스트가 있습니다.
바로 AB테스트입니다.
* AB테스트
- 제품에 어떤 기능을 넣을지 결정하기 위한 테스트로서 사용자를 두 집단으로 나눠서 각각 A버전과 B버전을 보여주는 방식.
- 예를 들어 워싱턴 포스트는 모든 기사에 두개의 제목이 존재함.
AB테스트를 통해 클릭률같은 통계 수치를 확인하고 그 결과를 근거로 최종 기사를 선택함.
워싱턴 포스트 외에도 많은 웹사이트와 앱에서 AB테스트를 사용합니다.
페이스북의 경우 항상 새로운 기능을 제한된 사용자들에게 공개하고, 스냅챗에서는 광고주가 AB테스트를 통해 가장 많은 탭을 유도하는 광고를 찾을 수 있습니다.
* AB테스트 사용시 유의점
AB테스트같은 통계 실험을 할 때는 관찰된 결과가 어떤 의미 있는 요인에 의한 것인지, 단순한 우연의 일치인지 반드시 확인해야 합니다.
동전이 6번 던져서 5번이 앞면이 나왔다고 동전이 무게가 한쪽으로 쏠려 있다고 생각하면 안된다는 말이죠.
기업에서는 p값을 이용하여 그 결과가 우연의 일치일 확률을 구하는데, p<0.05, 즉 격차가 우연히 발생할 확률이 5%미만이면 그 변화가 의미있다고 봅니다.
예를 들어 아마존에서 '장바구니 추가' 버튼을 좀 크게 바꾼후 p값을 구했는데 0.15가 나왔으면 우연히 발생할 확률이 15%나 되므로 결과를 신뢰할 수 없고 그러므로 버튼을 크게 키우지 않을 것입니다.
※ 본 포스팅은 'IT 좀 아는 사람' 책의 내용을 바탕으로 작성하였습니다.
최근댓글