5가지 사례를 통해 알아보는 A/B테스트의 필요성

해당 글에서는 검색엔진 빙(Bing), 넷플릭스, 아마존, Booking.com, 오바마 대선이 A/B테스트를 통해 극적인 성장과 성공을 이룬 사례에 대해서 알아보겠습니다.

 

 

목차

1. 검색엔진 빙(Bing)
2. 넷플릭스
3. 아마존
4. Booking.com
5. 오바마 대선

 

1. 검색엔진 빙(Bing)

2012년 검색엔진 빙(Bing)과 관련된 작업을 하던 마이크로소프트의 한 직원이 검색엔진에서 광고 헤드라인을 보여주는 방식을 변경하자는 아이디어를 냈다. 아이디어를 실행하는데 기술적으로 어려운 작업은 아니었지만 수백 건의 아이디어 중 하나였기 때문에 우선순위에 밀려 6개월 동안 진행되지 않았다.

 

마침내 이 아이디어는 진행되었고 프로그램 코드를 짜는데 크게 어렵지 않고 비용도 적게 든다는 사실을 알아내고 한 엔지니어가 효과를 평가하기 위해 A/B 테스트를 실시하게 된다.

 

불과 몇 시간 만에 헤드라인의 새로운 변화는 비정상적일 정도로 높은 매출을 발생시켰으며, 분석결과 핵심적인 사용자 경험을 손상시키지 않고도 그 변화 덕분에 매출이 12%나 성장하는 계기가 된다. 연간 매출 기준으로 할 때 미국 시장에서만 1억 달러가 넘는 수준이었으며 빙 역사상 최고 의 매출을 창출하는 아이디어가 되었다.

 

 

 

 

 

2. 넷플릭스

넷플릭스는 회원 가입 전, 메인 화면을 개선하는 작업을 진행했다. B안을 만들기 전에, 사용자들에게 회원 가입을 하기 전 어떤 화면을 원하는지 조사하였고, 조사 결과 약 46% 사용들이 ‘시청할 수 있는 영화와 TV쇼 목록’이라는 답변을 받았다. 이 설문조사를 반영하면 가입률을 개선할 수 있을 것이라는 가설을 세웠고, 아래와 같이 B안을 만들었다.

 

하지만 기존 A안과 설문조사를 반영하여 개선한 B안으로 A/B Testing 결과, A에 비해 가입 전환율이 낮아진 결과를 확인할 수 있었다. 원인은 시청 목록 화면에서 가입 페이지로 바로 전환되는 것이 아니라 오히려 탐색으로 인해 가입 전환 콘텐츠 영역에서 벗어나게 되고, 또한 원하는 콘텐츠가 없을 시 좌절감을 느껴 이탈하게 되는 경우가 발생하였기 때문이다.

 

따라서 넷플릭스는 사용자들이 가입 전 시청 가능 목록을 확인하되 목록 위주로 탐색하는 행위로 빠지지 않고 실제 가입으로 전환될 수 있도록 다음 이미지와 같이 디자인을 개선할 수 있었다. 이는 데이터 기반으로 A/B 테스트를 진행하지 않고, 고객의 설문조사에 의해서만 서비스를 개선하면 오히려 효율이 떨어질 수 있음을 시사한다.

 

 

 

3. 아마존

아마존은 페이지 레이아웃의 가로 너비를 full width로 했을 때와 1500 pixel로 고정했을 때 두 가지 버전에 대해 소비자 반응을 실험했다.

 

 

테스트 결과, full width일 때보다 너비를 고정하는 경우가 다른 구매요소들과 유기적으로 결합하여 콘텐츠를 읽기 편하다는 결론을 도출하였다. 이에 현재 아마존의 구매 페이지는 너비가 고정된 버전으로 적용되어 있다는 것을 확인할 수 있다.

 

• 그 외에 아마존의 다양한 A/B 테스트 사례

 

4. Booking.com

세계 최대의 온라인 숙박 플랫폼 중 하나인 Booking.com은 연간 2만 5천 개가 넘는 A/B 테스트를 실행하는 데이터 기업이다.

 

Booking.com은 숙소를 등록하려고 가입한 숙박업소주가 첫 3개월 동안 크게 이탈하는 데이터를 확인했다. 원인은 숙박업소주를 대상으로 한 온보딩 과정의 제품을 설명하는 둘러보기 단계에서 대부분이 ‘건너뛰기’ 버튼을 눌렀기 때문이었다.

 

 

그래서 건너뛰기 기능을 없애고 게속하기와 닫기 기능만 남겨 실험을 진행했다. 이는 둘러보기를 진행하는 고객을 13% 늘렸다. 두 번째 실험에서는 기능 변경 없이 팝업의 문구를 수정했다. 그러자 둘러보기를 진행하는 고객이 50% 늘어났다.

 

이 대안에서는 고객에게 제품이 어떤 일을 할 수 있는지가 아니라, 나에게 어떤 도움이 되는지를 설명한다.

“최신 캘린더는 Booking.com을 최대한 활용하는 데 매우 중요합니다. 경험이 많든 초보자든 다음 가이드에서는 달력을 사용하여 자신에게 적합한 예약을 받는 방법을 보여줍니다. 그것은 또한 미래에 시간을 절약해 줄 것입니다."

 

Booking.com은 A/B테스트를 통해 제품을 설명하는 것도 중요하지만 제품이 고객에게 어떤 가치를 제공할지 설명하는 게 더 중요하다는 것을 학습할 수 있었다.

 

 

5. 오바마의 683억짜리 버튼

오바마 전 미국 대통령은 2008년, 2012년 대선 캠페인 활동에 A/B 테스트를 적극적으로 활용하여 사이트 내 정책이나 큰 변형 없이도 단순히 사이트 UI/UX를 개선하는 A/B 테스트만으로 엄청난 성과를 낸 사례로 유명하다.

 

미국의 대선의 경우에는 많은 후원자를 모아 대선자금을 마련하고 온라인 후원의 대부분은 이메일 뉴스레터 구독자에게서 이뤄진다. 그렇기 때문에 홈페이지에 있는 가입하기 버튼은 매우 중요하며 이 버튼이 최적의 위치에 놓여있는지 알 필요가 있다고 보고 아래와 같이 다양한 실험을 진행하게 된다.

 

 

 

4 개의 버튼과 6 개의 다른 미디어 (3 개의 이미지와 3 개의 비디오)를 최적화 도구를 사용하여 테스트를 진행했다. 4 개의 버튼과 6 개의 다른 미디어를 통해서 다양한 조합을 만들고 스플래시 페이지의 모든 방문자에게는 이러한 조합 중 하나가 무작위로 표시되게 하여 가입여부를 추적하였다.

 

 

테스트 결과 ‘Learn More’ 버튼과 ‘Family Image’가 원본대비 18.6%, 13.1%더 나은 성과를 보였으며 이를 조합한 위의 페이지는 원본대비 무려 40.6%나 증가하는 결과를 보였다.

 

캠페인 기간 동안 약 1천만 명이 스플래시 페이지에 가입했는데 만약 실험을 실행하지 않고 원본 페이지를 고수했다면 그 수는 7,120,000명 정도로 약 3백만 명 가까운 이메일 주소 데이터를 얻을 수 없었을 것이다. 캠페인 기간 동안 평균 기부액이 $21였고 이 효과를 돈으로 환산해 보면 테스트를 통해서 약 6천만 달러의 효과를 보았다고 할 수 있다.

 

 

이 외에 국내 AB테스트 사례

• 강남 언니