Retention Curve로 PMF 찾은 후, CC 향상을 위해 해야하는 것들

이전에 토스 PO세션에서 나온 개념인 Carrying Capacity를 실무에서 계산하는 과정에 대해서 글을 작성한 적이 있다. 이번에는 내용을 보강하여 Retention Curve로 PMF를 찾았다는 걸 발견하고 나서 CC 증대를 위해 해야 하는 것들에 대해서 알아보겠다.

 

* 해당 글은 토스 이승건 대표이사님이 유튜브 토스 PO Session에서 발표한 내용을 정리한 글입니다.

 

PMF의 유일한 기준, Retention Plateau

PMF를 찾았다 안찾았다를 가르는 사실상 거의 유일한 기준은 Retention이 Plateau가 생겼냐 안 생겼냐이다. 즉, 리텐션이 평평하게 유지되는 부분이 있다면 PMF를 찾은 것이다. 사실상 Retention Plateau는 20% 이상이 되어야 회사를 만드는 것이 가능하다. 왜냐하면 대한민국 전체 인구수가 약 5,000만 명인데, 여기서 20%면 1,000만 명이기 때문에 대부분의 경우는 MAU가 2-300만에서 멈추게 된다. 산업마다 차이는 있겠지만, 이 경우엔 2,000억에서 3,000억 되는 회사를 만들고 끝이다. 리텐션이 40%가 되면 유니콘을 만들 수 있다. 

 

 

 

PMF을 찾고 나서 당장 해야하는 것, Retention Curve 분석 

PMF을 찾은 다음 당장 해야하는 것은 Retention Curve를 분석하여 개선하는 것이다. Useability Test는 나중에 C.C. 를 늘리기 위한 기준이 된다. Churn 된 사용자들을 어떻게 하면 데려올 수 있을지에 대한 기준말이다. 이 부분은 장기적으로 나중에 C.C. 에 도달했을 때 그다음 아이템을 찾는 용도이다. 즉, 당장 해야 할 것은 리테인이 된 유저들이 누구이고, 왜 쓰는가에 대한 분석을 해야 한다. 이렇게 남게 되는 유저들의 공통된 특징이 있는데, 이를 'Aha Moment(아하 모먼트)'라고 한다.

 

 

 

Retain이 된 유저들의 공통된 특징, Aha Moment

리텐션을 개선하는 핵심은 아하 모먼트를 회사의 모든 구성원들이 집중하게 만드는 것이다. 아하 모먼트는 이 제품의 핵심가치를 경험하는 순간을 말한다. 아하 모먼트를 통과하면 서비스를 계속 쓰게 되고, 통과하지 못하면 이탈하게 되는 것이다. 제품의 핵심가치를 경험하는 순간 서비스를 계속 쓰게 되는 특이점. 이 행동을 한 유저의 95%가 리텐션이 생기는 행동. 이 것이 바로 Aha Moment이다. 주의할 점은 아하모먼트는 PMF를 찾았고, 리텐션이 있을 때 찾는 것이라는 점이다.

 

 

아하모먼트는 정성적으로도 상식적인 인과관계가 있어야하며, 회사 구성원 모두가 이해할 수 있는 문장으로 정의되어야 한다. 역역 추리와 귀납추리 모든 과정을 통해 찾는 것이 적절하다고 나와있는데, 예시는 다음과 같다.

 

연역추리 예시

우리는 간편송금앱이니까 당연히 송금을 여러 번 하면 아하모먼트에 도달하지 않을까?

우리는 직거래, 중개 플랫폼이니까 당연히 임차인 입장에서는 문의를 빠른 시간 안에 여러 번 하면 아하모먼트에 도달하지 않을까? 또는 집구 할 때의 정보들을 공유하는 커뮤니티에 많이 참여하면, 아하모먼트에 도달하지 않을까?(정보가 중요하기 때문에) -> 커뮤니티는 광고비로 돈. + 콘텐츠 수익

중개사 입장에서는 전환이 많이 오면 아하모먼트에 도달하지 않을까?

 

귀납추리 예시

지금 우리 앱에서 송금을 많이 한 사람들을 봤을 때, 어떤 사람이 남았고 어떤 사람이 안남았는지에 대한 추론

 

 

아하모먼트가 CC에 주는 영향은 20-30%에 불과하고, 사실 나머지는 UT를 통해서 CC를 늘리는 작업이 맞다. 그래서 이 부분을 어느 정도 개선시켰다고 하면, UT를 진행해야 한다.

 

 

아하 모먼트는 아래와 같은 형태를 가지고 있다.

 

 

 

Aha Moment 구하기

 

XX는 직관이나 노가다를 통해서 스토리를 찾아서 찾으면 된다. 또는 Shap Value 같은 도구를 이용한다. Shap Value란 특정 액션을 한 유저와 하지 않은 유저들이 Feature Value에 있어서 상승하고 하락할 때 그 경향성이 일치하는지를 보는 것이다.

 

 

XX를 찾은 다음에는 안 좋은 상황들을 룰 아웃해야 한다. Retain이 된 사용자의 95%는 XX행동을 했다고 해도, XX행동을 한 사용자 중에 아래와 같이 Retain이 된 사용자가 거의 없다면(왼쪽 상황) XX행동으로 인해 Retain이 된다고 말할 수 없을 것이다. 또는 XX행동을 한 사용자의 95%가 Retain이 되었다 하더라도, Retain이 된 사용자의 대부분은 XX행동을 하지 않았다면, XX행동 외에 다른 행동이 Retain이 더 큰 영향을 끼치고 있다는 걸 의미한다.

 

 

예를 들어 이커머스 앱에서 장바구니 담기를 1번 한 사용자가 총 7000명이고, 이 중에서 Retention Plateau가 1개월인 지점에 4000명이 남아있었고, 전체 유저가 8000명이고 1개월 뒤 남아있는 사용자가 5000명이라고 가정했을 때, 이 둘을 비교하면, 전체 Retain 사용자인 5000명 중에 장바구니 담기라는 XX행동을 한 사용자가 4000명 남아있기 때문에 초록색 부분이 4/5, 즉 80%가 겹쳐있는 셈이고, XX행동인 장바구니 담기를 1번한 사용자인 7000명 중에 Retain이 된 사용자가 4000명이기 때문에 파란색 부분은 4/7, 즉 57% 정도가 겹쳐있는 것이다. 이 경우엔 위 이미지에서 왼쪽 이미지에 좀 더 가까운 형태가 된다.

 

 

결국 목표는 a영역을 늘리고, b영역을 줄여야 하는 것인데 이렇게 하는 방법은 다음과 같다.

 

 

액션의 횟수에 따라서 retain이 될 확률을 계산하고, 교차되지 않는 영역이 최소화되는, 교차값이 굉장히 큰 2가지 값을 만들어 낸다. 이 2가지 값이 만족스러운 값이 나올 때까지 XX를 계속 교체해 나가고, XX가 ZZ번 될 때마다 어떻게 되는지를 계속 보면 된다. 

 

 

A가 95% 이상이어야 된다라는 목표로 해야 한다. 이 과정을 통해서 하려는 건 결국엔 액션과 retain이 인과관계여야 된다는 점을 의미한다. 

 

 

첫 번째 행복한 경험(=아하모먼트의 액션 XX)을 할 때까지의 여정이 Activation이다. Activation을 개선한다라는 의미는 더 많은 유저가 더 빨리 더 손쉽게 액션 XX를 하게끔 만드는 것을 말한다. 단순히 퍼널을 개선한다는 의미가 아니다. 

 

전체 그로쓰 다이나믹을 책임지는 Activation의 핵심

1. Activation을 개선할 때 퍼널을 개선하는 과정이라면 퍼널 개선에 있어서 중요한 건 Conversion이 아닌 기간이다. 예를 들어 토스의 계좌등록과정이 있는데, 계좌에 등록하는 전환율이 35%면, 이 35%까지 도달하는데 얼마나 걸렸는지가 중요한 것이다. 35%는 사실 하나의 세션에서의 기록이었던 것. 그래서 한 달 정도를 기다려봤더니 그 Conversion은 65%였다고 한다. 그래서 퍼널개선은 시간이라는 Dimension을 같이 봐야만 핵심적인 것을 할 수 있다. 그래서 더 단기간 안에 많은 Conversion을 일으키는 게 중요하다.

 

(나의 의견) 이건 GA4기준으로 유입경로탐색분석에서 기간을 다르게 설정해가며 측정하면서, 전환율이 최대로 높아지는 기간이 어느 정도인지를 보면 직관적으로 해석할 수 있을 것같고, 정확하게 분석하려면 빅쿼리를 사용해서 user_id로 묶고 퍼널이 넘어갈때 발생하는 이벤트끼리의 시간차이를 구해서 이 시간차이의 분포를 히스토그램 형식으로 만들어봐야 평균적으로 퍼널 단계를 넘어가는데 어느정도 시간이 걸리는지 정확한 측정이 가능할듯하다.

 

 

2. 기간을 같이 봐야 하는 이유는 결국 퍼널을 개선하는 것이 아닌 더 많은 유저가 더 빨리 아하 모먼트를 경험하게 만드는 것이 핵심이기 때문이다. Activation을 개선해서 화면 UX, UI를 더 능숙하게 바꾸는 것은 기본이고, 전략적으로 아하 모먼트를 더 빨리 더 많이 경험하게 만드는 것이 퍼널 개선의 핵심이다. 

 

(나의 의견) 이 부분은 여러 가지 가설을 기반으로 A/B테스트를 통해 개선해 나가는 작업이 필요해 보인다.

 

 

3. 엑티베이션 퍼널은 모든 Growth Dynamics에 영향을 준다. Churn이 된 유저는 다시 복귀를 한다. 이걸 부활(Resurrection)이라고 한다. 이 부활하는 양이 나중에는 매우 매우 중요해진다. C.C. 에 도달하면 대부분의 유저가 부활 유저이기 때문이다. 신규유저는 거의 없게 된다. 근데 이 부활 유저는 앱을 지웠을 수도 있고 탈퇴를 했을 수도 있다. 그러면 가입과정을 다시 겪게 된다. 그래서 만약 엑티베이션의 통과율이 30%면 그만큼 인플로우를 30%밖에 못하는 것이다. 만약에 액티베이션 퍼널의 전환율이 60%면 이 30%에서 60%가 되자마자 인플로우의 양은 2배가 된다. 그래서 액티베이션이 2배가 되면, CC는 2배가 된다. 

 

(나의 의견) 부활하는 양은 엑티베이션 통과율이라는 정보를 통해 어떻게 계산을 할 수 있을까? 또한, 내가 이해한 바로는 inflow는 그냥 GA4 기준의 활성사용자수로 이해했는데, 토스에서는 엑티베이션을 통과한 유저를 inflow로 보는 듯하다. 근데 애초에 Churn rate이 엑티베이션 통과율을 설명해 주는 것 아닌가? 이 부분은 상당히 헷갈리는데 정확한 정보를 얻으려면 토스로 입사하라고 하니 아직 명확한 이해는 좀 힘들어 보인다.

 

엑티베이션 퍼널은 바이럴 그로쓰를 설계하고 있다면 더 중요하다. 바이럴 그로쓰는 한 명의 유저가 가입해서 서비스를 사용하고 그 서비스를 사용하는 과정에서 친구를 초대하고 그 친구를 초대한 메시지가 가서 받은 사람이 또 친구를 가입하게 해서 유저가 다른 유저가 데려오는 과정이다. 이 과정에서 다 지나가야 하는 퍼널이 엑티베이션 퍼널이다. 모든 퍼널이 다 엑티베이션 과정을 지나간다. 그래서 바이럴 K를 1 이상으로 만들기 위해선 엑티베이션이 매우 중요하다. 10%밖에 되지 않으면, 바이럴 K를 만들기는 거의 불가능하다. 그러나 전환율이 50%만 되면, 바이럴 계수는 다섯 배 증가하게 된다. 

 

그래서 엑티베이션은 바이럴 그로쓰, 부활, 인플로우 모든 지표에 영향을 주는 숫자이기 때문에 전체 Growth Dynamic에서 엑티베이션 퍼널을 만드는 것은 굉장히 중요하다. 사실 엑티베이션 퍼널을 통과하는 통과율이 그 서비스가 도달할 수 있는 MAU를 결정하기도 한다. 

 

 

4. 엑티베이션 퍼널은 화면단위로 보면 안 된다. 그래프 기준으로 봐야 개선을 할 수 있다. 화면 단위로 보면 해당 유저들이 왜 전환이 안 됐는지 알기 어렵다. 이런 경우에는 버튼 단위로 나눠야 한다. 버튼단위로 줄여서 차이를 줄여야 한다. 이렇게 해야 대체 어디서 떨어져 나가는 것인지 알 수 있다. 이렇게 계산식으로 내려가는 그래프를 만들고 나서 퍼널 개선에 집중을 하는 것이 굉장히 큰 차이를 불러일으킨다. 

 

5. 연관분석을 해야 한다. 퍼널 단계에서 다음 단계로 전환을 한 사용자와 전환을 하지 않은 사용자의 차이는 무엇인지. 그것의 가르마를 타는 아하 모먼트스러운 트리거 포인트를 찾아내야 한다. 마케팅 채널, 연령대, 사용하는 디바이스의 기종 등 여러 가지 이유가 있을 수 있다. 그 차이를 보면 된다.  

 

 

정리

정리하면, Retention Plateau를 통해 PMF를 찾았고 리텐션이 20% 이상 나오는 걸 확인했다면, CC를 개선하기 위해 Retain이 된 사용자들의 공통점을 찾고 서비스에 적용하여 Churn rate을 먼저 줄여야 한다. CC = inflow / Churn rate이기 때문이다. Retain이 된 사용자들의 공통점을 찾는다는 의미는 아하 모먼트를 찾는다는 의미이다. 아하 모먼트를 찾으려면 직관이나 Shap Value를 통해 XX행동을 찾고, ZZ 횟수에 따라 RPV와 교차값이 높은 걸 확인한 후, 이 그룹의 YY기간이 얼마나 걸리는지를 찾아야 한다.

 

엑티베이션을 개선한다는 의미는 inflow 사용자로부터 아하 모먼트를 더 빠르고 쉽게 경험할 수 있도록 해준다는 것이다.

퍼널 개선을 할 때 퍼널의 기준이 되는 것이 아하 모먼트를 경험하는 퍼널이 되어야 하고, 퍼널 단계 하나하나 마다에서의 전환율은 시간과 함께 측정이 되어야 한다. 왜냐하면, 아하 모먼트 자체가 며칠 YY라는 기간 안에 XX라는 행동을 ZZ번하는 것이기 때문이다.

 

아하 모먼트를 경험해야 inflow 사용자가 retain이 되고, 이는 Churn rate이 줄어든다는 것을 의미하며, 이는 C.C가 늘어나는 것을 의미한다. 또한, 엑티베이션 퍼널을 만드는 것은 Churn rate뿐만 아니라 부활, 바이럴 K, inflow까지 영향을 준다.

이후 더 큰 CC를 만들기 위해서는 UT를 해야 한다.