컨버티드 - 닐호인

 

1. 대화

1-1. 데이터를 다루는 3가지 원칙

(선택과 집중)

일단 시작하라	- 당장은 모든 것을 최대한 간소하고 가볍게 유지할 것. - 데이터를 추가할 시, 구체적인 목적을 가지고 진행할 것. - 지금 가지고 있는 데이터를 어떻게 사용할 것인지에 초점
사람에서부터 시작하라	데이터는 사람에서부터, 곧 돈에서부터 시작해야한다.
모든 고객의 이름을 알아두어라	- 고객 이름 : 고객의 실제 이름, 이메일, 충성고객 프로그램의 고유 번호 등. - 이는 여러 개의 시스템에 존재하는 여러 명이 실제로 동일인임을 알아볼 수 있게 해준다. - 고객이 자기계정을 만들어 등록하도록 장려하는 인센티브를 시도해라. ex. 회원 정룔 콘텐츠 제공, 판매 촉진 행사 참가권 발행, 할인 쿠폰 발행 등 - 고객의 이름 부르기 : 제목에 수신자 이름을 넣으면 이메일을 열어볼 확률이 20퍼센트, 전환율이 31퍼센트로 늘어나며 구독 취소율이 17퍼센트 줄어든다.

 

 

1-2. 구글이 질문하는 방법

(발견과 예측)

회사의 웹사이트에서 이뤄진 상호작용에서 더 많은 데이터를 수집	- 이 제품을 선물용으로 구매합니까? - 외식을 할 떄 얼마를 지출합니까? : 지출 중 얼마를 확보했는지 파악 - 이 웹사이트를 다시 찾는 이유가 무엇입니까? : 여러 번 방문하는 사람은 이유를 구체적으로 (집은 언제 구입할 계획입니까?, 어떤 날짜에 여행하길 기대합니까?, 특별게 찾는 제품은?" - 우리 제품에서 가장 마음에 드는 점은 무엇입니까? - 한 실험에서 어떤 브랜드에서 선물을 산 고객은 다음 해에 그 브랜드 제품을 63퍼센트나 더 소비했다. 그들의 구매 빈도는 25퍼센트 올라갔고, 쇼핑할 때마다 구매 금액은 41퍼센트 올라갔다. - 이러한 질문은 고객이 구매 여정에서 어떤 지점에 있는지, 내가 언제 개입해야하는지를 알려준다. (특히 부동산처럼 시행에 많은 시간이 거리는 사업) - 첫번째 질문이 긍정적인 내용일 때 고객의 구매 금액은 이후 1년 동안 8퍼센트 올라갔다.
회사의 웹사이트 바깥에 있는 사람들에게 질문	구글 서베이즈 활용
고객이 상품을 구매하는 여정의 특정 시점에서 실시간으로 고객과 접촉할 수 있는 새로운 온라인 채팅 서비스를 활용

 

 

1-3. 마음을 사로잡는 질문의 기술

어휘를 늘려라	CTA를 '더 많은 것 알아보기 Learn More'에서 '함께하기 Join Us'로 바꾸자 응답률이 29퍼센트나 올랐다.(코드닷오그가 참여한 사례연구)
자제하라	- 너무 많은 질문은 데이터에 파묻히기만 하고, 잠재 고객을 모두 쫓아버린다. - 잠재적인 구매자의 점수를 매기는 데는 그 사람의 신용 점수와 합리적인 가격만 있으면 된다.
가만히 앉아 있지 마라	- 가장 좋은 질문은 상대방의 대답을 토대로 바로 행동할 준비가 되어있는 질문
안주하지 마라	- 사람들의 환경은 자주 바뀐다. 따라서 수집한 데이터는 곧바로 사용해야 의미가 있다. - 상황이 얼마나 빠르게 바뀌는지는 정해진 바가 없으므로 늘 질문하는 것이 좋다.

 

 

1-4. 인간은 원래 비합리적이다.

우리는 다른 사람이 우리를 대신해 일한다는 것을 확인하고 싶어한다.

- 식당에서 주방 요리사와 손님이 서로 얼굴을 볼 수 있을 때 손님의 만족도가 17퍼센트 높아진다는 연구결과 - 인간의 노동을 '바라볼' 수 없을 때 아무리 빠른 서비스라도 해당 서비스의 가치를 낮게 평가한다. (특히 검색 결과에서는 더욱더 그렇다. 상태 표시줄은 진행 과정이 보이는 결과를 더 믿음직스럽고 만족스럽다고 느끼며 최대 60초까지는 기꺼이 기다린다. 그런 지연이 현재 진행 중인 작업에 대한 설명이나 통찰을 제공하기만 한다면.)

 

 

1-5. 욕망을 건드리는 행동과학의 기술4

결승선 착시 효과를 노린다.	- 고객에게 잘하고 있으며 이미 많이 올라왔고 뒤에서 바람도 불어 고객을 밀어주고 있다는 느낌을 받게 하라. ex. 전체 과성이 8단계라면, 전체 10단계 가운데서 두 단계를 완료했으며 앞으로 8단계가 남아있다고 표시 ex. 계정 등록 과정이 90퍼센트 완료되었습니다!	A : 비즈니스를 하고 싶은가요? 사람들이 당신을 찾을 수 있도록 '구글 검색'에 추가합니다. B : '구글 마이 비즈니스' 계정을 등록하는 마지막 단계를 시작하세요. -> 고객의 등록률은 20퍼센트 증가했고, 광고비가 200만 달러 가까이 절감되는 효과가 나타났다.
희소성을 강조한다.	- 희소성 법칙과 손실과 이득이 똑같아도 손실의 상실감을 두배 더 크게 받아들이는 '손실 회피' 심리 이용 (상품 할인, 제한된 수량의 재고에 대한 경고, 판촉 보너스 같은 마케팅 홍보) ex. 긴급 : 객실이 하나밖에 남지 않았습니다. ex. 경고 : 현재 15명이 이 웹페이지를 보고 있습니다!	구글 실험에서 '저문가의 도움을 놓치지 마세요'라는 헤드라인을 추가 했을 때 클릭률이 53퍼센트 증가했다.
군중을 모은다.	- 미국인 82퍼센트가 어떤 상품을 구매하기 전에 친구나 가족의 의견을 듣는다고 응답했다. - 그만큼 마케팅에서 유명 인사의 보증 홍보가 중요하다. - 얼마나 많은 고객이 대기자 목록에 줄을 섰고, 구매를 하는 특정 행동을 했는지 언급	- 적어도 리뷰가 다섯 개 달린 제품은 리뷰가 하나도 없는 제품에 비해 전환율이 270퍼센트나 된다. - 한 구글 실험에서는 몇몇 시간대가 흰색으로 표시된 예약표를 본 사람의 클릭률이 87퍼센트 높았다.
씨앗을 뿌린다	- 무언가를 노출하면, 그가 하는 선택과 행동에 영향을 끼치는 점화(플라이밍) 효과를 이용	A : 게이머들을 위해서 만들었다. (게임하러 가기) B : 당신은 게이머입니까?(지금 바로 합류하기) -> B안으로 바꾸자 버튼을 클릭하는 사용자수가 2.3배 늘어났다.(정체성 자극)

 

 

1-5. 흰트를 포착하라

재무정보	- 소비자 의향을 파악하기 위해서는 재무 정보를 찾는 것이 훨씬 더 믿을 만한 접근 - 구매 직전 단계까지 가는 사람이라야 할부 조건의 연이율을 따지거나 임대 조건을 확인한다.

 

 

1-6.  구글이 흰트를 발견하는 방식

문제의식을 갖고 출발	반드시 대답해야하는 질문을 생각하는 것에서부터 시작하라. 질문에 대한 해답을 알고 있다면 방향을 조정하라. ex. 이 고객이 앞으로 30일 이내에 이 상품을 구매할 가능성은 얼마나 될까? ex. 내가 제공하는 서비스를 구독할까? ex. 내게 도움을 청할까? ex. 해당 상품의 기능을 업그레이드해야할까? ex. 수익성이 있을까?(혹은 없을까?) - 한 연구결과에 따르면 옷을 구매하는 경우 구매자가 이리저리 돌려보고 살펴보는 구매자가 반품가능성이 낮다. 이러한 사람들은 자기가 구매하는 제품에 대해 더 많은 정보를 원하는 것.
신호와 소음을 판별	커다란 하나의 조합 속에서 작동하는 수백, 수백만개가 될 수있는 제 각기 신호들을 걸러낼 '머신러닝'을 사용하라.
데이터에 주의	대부분 머신러닝 프로젝트에서 전체 시간의 80%는 데이터를 삭제하는 데 쓰인다.
목표를 설정	앞으로 180일 동안, 처음 사업을 시작할 떄 했던 질문의 정답을 찾는 데 필요한 자료들을 수집해보자.

 

 

1-7. 똑똑하게 데이터를 수집하기

측정하라, 늘 측정하라	그저 확인한 결과를 꾸준히 측정해서 지표 데이터를 쌓아가기만 하면 된다.
전 세계를 탐구하라	세상의 온갖 것을 직접 경험해보고 그 내용을 입력하자. 사무실이 아니라 바깐으로 나가서 다양한 사람들을 관찰하고 그들과 인사를 나눠라. 이는 편견을 제거하는 또 다른 방식이며 유도성 질문을 피하는 방법이다.
이미 만들어져 있는 것을 이용하라	마케터가 해야 하는 일은 모든 모델과 기법이 어떻게 작동하는지 아는게 아니다. 세상에 어떤 것들이 있는지 알고, 이 것들을 회사의 데이터 분석가들에게 연결해주는 것이다.
상황은 늘 변하기 마련이다	끊임없이 질문하고, 테스트하고, 의미 있는 신호를 찾아야한다. 오늘 사용할 수 있는 것을 사용하되 내일에 맞는 해답을 찾아야한다.

 

 

1-8. 대화가 곧 매출이다

마케터가 고객과의 대화에 빨리 참여할수록, 답변이 좋을 수록 그 대화가 고객의 마음에 들 가능성은 더 커진다.
비용 문제도 중요하지만 회사의 이야기를 들려주고 고객과의 신뢰를 쌓으며 매출을 높이는 것이 더 중요하기 때문.

 

 

1-9. 대화를 유도하는 방법

모든 데이터를 최신으로 유지하라	- 방문자가 가장 많이 볼 수 있는 것은 간소한 추천엔진이다. - 대화에서는 사용자의 경험을 개인별 맞춤형으로 만들어아야한다. - 기본적인 원칙은 방문자가 몇 번째 방문하는 것이냐에 따라 메세지가 달려야 한다는 점이다.
말을 아껴라	너무 많은 시간과 자원을 잡아먹거나 반품을 너무 많이 하는 고객을 찾아내야한다. 다음 마케팅 캠페인이나 대화의 특정 시점 이후 이들을 배제해보자. 그리고 그들이 광고를 거치지 않고 스스로 웹사이트에 찾아오는지 관찰해보자.
일찍 떠나버리지 마라	호텔 예약 CRM 사건

 

 

 

2. 관계

2-1. 고객생애가치를 측정하는 가장 쉬운 방법

재료들을 모은다.	<핵심 3가지 유형의 데이터> - 거래 날짜 - 금액(영업이익) - 아이디 유형 : 여러 건의 거래를 동일 인물과 연결해주는(이름, 아이디, 이메일 등) <데이터를 모으는 기간 기준> 1) 고객이 구매를 한 차례 한 뒤에 다음 구매를 할 때까지 기간의 여섯 배 또는 24개월 중 긴 쪽을 선택한다. 2) 이 데이터를 둘로 나눠서 처음 18개월 동안의 데이터는 모델을 보정하는데 사용, 다음 18개월 데이터는 그 모델을 입증하는데 사용
재료들을 냄비에 넣는다.	모델 https://converted.us/tools/focvs-clv https://github.com/GoogleCloudPlatform/cloud-for-marketing/tree/main/marketing-analytics/predicting/future-customer-value-segments
케이크를 꺼내라.	모델을 통해 나온 표의 형식이 다음과 같은지 반드시 확인하라
맛을 보라.	모델이 예측한 값과 실제 값을 비교해보라. - 이 모델의 전방적 오류율 : 평균절대비율오차(MAPE) - 만약 MAPE가 전체적으로 10퍼센트를 초과한다면 이 데이터의 품질을 신뢰할 수 없으므로 버려야한다. MAPE가 높게 나오는 이유 - 데이터가 충분하지 않다. - 데이터의 품질이 낮다. - 예측 가능성이 낮다.
한 가지를 선택하라.	고객을 5개의 세부 집단으로 나눈다. 모바일 애플리케이션에서 애플은 앱스토어 청구 금액의 95.2%가 8퍼센트 미만의 고객 계정에서 발생한다. -> 지금 당장은 모든 고객을 동등하게 대우하고 똑같이 다깃으로 삼고 비용을 지출하지만, 이후 선별된 소수 고객과 맺는 관계에 따라 당신의 사업은 얼마든지 달라질 수 있다.

 

 

2-2. 사업을 구축하는 방법

새로운 사람들을 만난다(Acquisition)	제프 베이조스는 최고의 고객과 좋은 유대관계를 형성하고자했다. 그뿐만 아니라 상대적으로 덜 소중한 고객은 일찍 포기해서 경쟁자들끼리 이들을 두고 경쟁하게 했다. -> 연회비를 내는 아마존 프라임의 평균 고객생애가치는 일반적인 소매유통 업체의 평균보다 30배나 크다.
기존 고객 관계를 개선한다.(customer deveopment)
고객 관계를 지속하기 위한 작업을 한다.(retention)

 

 

2-3. 가치있는 고객을 찾는 법

(퍼스트파티 데이터로 구축)

가치 있는 고객을 구별하는 질문들	- 쿠폰 코드를 사용해서 확보한 고객과 그렇지 않은 고객의 생아가치는 각각 얼마일까? - 휴가철에 확보한 고객의 생애가치는 각각 얼마일까? - 웹사이트와 모바일 앱을 통해 확보한 고객의 생애가치는 각각 얼마일까? - 최초 구매 상품별 고객의 생애가치는 각각 얼마일까? -> 이 작업은 가치가 큰 고객의 특성이나 행동을 찾는 것이 목적이다. 고객 확보 채널은 매우 중요한 항목. - 유료 검색 광고를 통해 확보된 고객인가? 아니면 DA 광고를 통해 확보된 고객인가? (구글 시트로 작업해볼 것) 사례 : 평균적으로 구글을 통해 확보된 고객은 다른 채널에 비해 생애가치가 24퍼센트 높다. 그런데 구글 광고를 먼저 접한 다음 오프라인에서 상품을 구매한 고객들에게서는 이 차이가 27.8센트로 더 크게 나타난다.
쭈뼛거리지 말고 물어라	당신의 브랜드에서 가장 중요하다고 생각하는 특성이 무엇인지 고객에게 물어보자. - 흔히 사용되는 설문조사로는 순추천고객지수(NPS)가 있다.
자신의 경험을 믿어라	우선은 고객의 상위 25퍼센트 정도로 추려서 시작하라.
관심이 끌리는 곳으로 나아가라	고객 관계에서 부정적인 신호보다는 긍정적인 신호에 초점을 맞추는 캠페인을 조금 더 공격적으로 진행하자. 그리고 캠페인을 진행하는 과정에서 검증과 보정을 동시에 실행하도록 하라.
고객의 잠재력에 초점을 맞춰라	고객생애가치를 광고 네트워크에 제공 1) 유사한 청중을 광고 캠페인의 타깃으로 삼는다. 2) 고객의 특성을 타깃으로 삼는다. 3) 전환가치를 고객생애가치로 업데이트한다.(더 많은 고객과 더 깊은 통찰을 확보하려면 이 접근법이 필요) -> 처음부터 3번 X. 단순하게 시작해서 조금씩 학습하며 쌓아나가야함.
반대쪽을 바라보라	최악의 고객을 식별하는 특성을 찾아 그들을 배제할 수도 있다. (일부러 관계를 끊을 필요는 없다.) 이들이 회사에 주는 가치에 비해 회사로부터 받는 관심이 너무 크지 않도록 확실한 조치를 해두기만 하면 된다. *주의할 점 : 지금 당장 가치가 높은 고객을 좇는 데 모든 돈을 쏟아붓는 식의 급격한 태도 변화는 X 가치가 높은 고객에게는 조금 더 비용을 지출하고 낮은 고객에게는 조금 덜 비용을 지출하는 식으로 시작해야함.

 

 

2-4. 최상의 고객을 만나기 위해서

첫인상을 믿어라	고객에 대한 데이터가 아주 많거나 적다면, 고객과의 상호작용이 맨 처음 이뤄지는 시점부터 시작하라.(첫만남)
데이터를 믿어라	행동 속성(ex. 사이트 방문 횟수 등)은 인구통계보다 훨씬 더 많은 가치를 지닌다.
머신러닝의 한계와 단순한 세분화 작업의 의미	머신러닝은 지극히 인간적이고 사소한 것들이 빠진다. 그럼에도 특정 시점에는 머신러닝이 꼭 필요하다. 복잡한 기법을 구하기 전에 우선은 단순한 세분화 작업을 통해서도 가치가 높은 신규고객을 얼마든지 확보할 수 있을 을 믿고, 입증하라.

 

 

2-5. 있는 그대로 받아들여라

인간은 절대 변하지 않는다.

수많은 고객을 모아 이들을 가치 있는 고객으로 만들기란 믿을 수 없을 정도로 어렵다. 다만, 하주 가치 없는 고객을 약간 가치 있는 고객으로 바꾸는 몇 가지 방법이 있긴하다. 그런 그들을 가장 가치가 높은 고객층으로까지 올려놓을 수는 없다. 따라서 이런 노력을 회사의 성장 계획에서 핵심으로 선정하면 안된다.(그러면 망한다.) *핵심 : 사람들이 얼마나 많이(혹은 적게) 바뀔 것인지, 그에 따라 이들에게 얼마나 많이(혹은 적게) 투자할 것인지 현실적으로 생각해야 한다는 뜻이다. 성공한 기업은 최고의 고객이 어떤 행동을 하는지 알고 있으며 그런 행동을 충족시키는 차원에서 고객 확보 캠페인을 벌인다.

 

 

 

2-6. 그럼에도 할 수 있는 것

고객에게 해줄 수 있는 최고의 조언을 하라	구매 행위보다 더 강력한 신호는 없다. 이 순간을 최대한 활용해야한다. -> 추천 엔진 ex. 고객님은 장난감 기차를 구매하셨습니다. 배터리도 잊지말고 구매하세요! 현장 대화에만 의존하지 마라. 이메일 캠페인 및 디스플레이 광고를 통해 선제적으로 추천할 수 있다. 이런 추천이 고객에게 적절하기만 하면 관계가 훼손될 일은 없다.	- 한 연구논문에 따르면 아마존의 추천 엔진은 아마존 전체 매출의 35% 이상을 유도한 것으로 나타났다. - 넷플릭스 시청의 75%는 추천을 통해 이뤄진다. - 그런데 소매 유통 업체의 절반 이상은 추천 엔진을 이용하지 않았다. - 어떤 제품을 판매하고 48시간이 지난 다음에도 그 제품과 관련된 홍보가 여전히 효과있다는 증거도 있다.
고객에게 제공할 다른 제품을 더 많이 찾아라	고객과의 관계를 한층 돈독히 해줄 신제품이나 관련 제품을 부지런히 찾는다.	거대 보험사인 올스테이트는 심지어 신규 고객을 확보하는 것보다 기존 고객을 대상으로 새로운 보험 상품을 교차판매하는 것이 네 배나 효과적이라는 사실을 발견했다.
모든 고객을 대상으로 하지 마라	교차판매는 전체적으로만 보면 수익성이 높지만 고객 다섯 명 중 한 명은 오히려 손해를 안겨준다. 모든 적자 거래의 무려 70%가 이들에게서 비롯된다. <질문하기> - OOO 고객님, 한 해에 여행에 지출하는 금액은 얼마입니까? -> 지출액에서 당신 회사가 차지하는 부분이 아주 적다면, 앞으로 관계를 개선해 더 많은 돈을 쓰게 할 수 있다. 그러나 마약 해당 부문 지출액의 상당 부분을 이미 당신 회사가 차지하고 있다면 관계를 아무리 개선해도 매출액에는 큰 변화가 없을 것이다.	- 연구 결과에 따르면 가치가 높은 고객의 경우는 구매와 구매 사이의 시간 간격, 반품률, 최초 구매 제품의 범주같은 변수들을 파악해야 한다. 이 지표들에서 더 나은 고객을 타깃으로 삼으면 교차판매의 효과를 크게 높일 수 있다. - 연구 결과는 "수익성이 없는 고객이 교차구매를 많이 할수록 손실은 점점 더 커진다"고 지적한다.(5)

 

 

2-7. 고객에게 개입할 시점은 언제?

변화의 조짐을 읽어라	뭔가 잘못되고 있다는 신호를 찾는 것부터 시작하라. - 이미 잘못되기 전에 고객이 회사에 흥미를 잃어버렸음을 알 수 있는 다른 조짐을 찾아야 한다. ex. 서비스 사용량이 줄어들었다. ex. 웹사이트 방문 횟수가 줄어들었다. ex. 주문과 주문 사이의 시간 간격이 늘어난 고객 ex. 회사에서 보낸 이메일을 열어보는 비율이 줄어든다. - 머신러닝과 데이터를 사용해서 전망이 가장 밝은 고객 관계를 나타내는 신호와 위험을 알리는 신호를 식별
꼭 붙잡고 싶은 고객과 소통하라	- 꼭 붙잡고 싶은 고객에게만 개입 ex. 고객생애가치가 1000달러인데, 이미 990달러를 썼다면, 더 붙잡아두는 것이 의미 없음.	자동 갱신 프로그램의 자동 갱신 설정을 취소한다거나 계정 취소 문의 웹페이지를 방문한다거나 같은 특정한 행동들은 강력한 신호다.
꽂과 악수, 둘 가운데 하나를 선택하라	가치가 높은 고객을 파악했다면 이들을 유지하기 위해, 아주 단순한 개입이 효과 있음을 명심. - 여러 아이디어를 테스트해봐야 한다. - 떠나갈 가능성이 가장 큰 고객만을 대상으로 테스트를 진행하면 안된다.(떠날 확률이 95%가 아닌 70%를 대상으로 테스트하고, 효과가 있다면 70%인 고객이 95%가 되기 전에 테스트 방법으로 개입해야함.)	- 한 연구에 따르면 남성 미용실의 충성 고객 프로그램(100달러당 5달러 할인 쿠폰)은 고객생애가치를 29% 높이는 효과가 있었다. 그런데 이 효과의 80% 이상은 고객 유지 비율이 개선됨에서 비롯. 쿠폰 회수율은 상당히 낮았다. 그 개선 효과는 경제적 요인보다는 정서적 요인에서 비롯된 것. - 연구 결과에 따르면 고객 관계의 위기가 깊어질 때까지 개입하지 않으면 결국 그 떄문에 훨씬 더 많은 것을 감수하게 된다.

 

 

2-8. 내 고객은 직접 챙겨라

검사를 할 때는 표본 크기가 더 커야 한다	평균을 넘어서는 지점을 바라볼 떄는 세분 집단의 표본을 충분히 확보해야한다.
가치가 높은 고객의 범위를 좁게 규정하지 마라	상위 25%부터 시작하자.
가치가 낮은 고객을 최대한 파악하라	가치가 낮은 고객에 대해 최대한 많은 것을 알아내서 피해야 할 부분이 무엇인지 정확하게 파악해야한다. 여기서 얻은 통찰을 회사 전체에 공유하라.	신발, 의류 온라인 쇼핑몰 자포는 가치가 가장 높은 고객이 가장 높은 수익률을 안겨준다는 사실을 발견했다. 이에 자포스는 365일 왕복 무료 배송과 환불 정책이라는 전략을 취한다. 고객의 빈전한 구매 및 이문은 반품 및 환불에 따르는 비용을 상쇄하고도 넉넉하게 남았다.

 

 

3. 발전

3-1. 데이터로 사람들을 설득하는 기술

구성원의 분위기를 읽어라	프레젠테이션 자리에앉아 있는 사람들의 인센티브가 무엇인지, 그들이 나중에 누구에게 보가할지 알아야한다.
관련 정보를 수집하라	추정을 가능케 한 근거를 명확하게 파악하는 것이 매우 중요하다. 어떤 방법론을 동원했으며 그 방법론을 어떻게 사용했는지, 그 떄 지표가 무엇이었는지 질문하라.
지키지 못할 약속은 하지 마라	동료들을 설득할 땐, 구체적으로 말해야한다. "우리는 고객의 생애가치를 계산하려고 노력할 것입니다. 그런데 여기에는 이러저러한 데이터들이 필요합니다. 그리고 어떤 조치를 하기 전에 먼저 보고서를 통해 결과를 비교해보겠습니다."
결과를 존중하기로 사전 합의하라	새로운 것을 시도하기 전에 그 시도에 영향을 받을 팀으로부터 동의를 얻을 필요가 있다. 사전에 미리 합의를 해두는 것이 필요하다. ex) "잠재적인 고객을 무턱대고 끌어들이기보다 더 가치 있는 고객을 확보해야 한다는 사실이 드러나면, 현재 우리가 설정하고 있는 KPI를 바꿀 수 있겠습니까?" ex) "만일 테스트 결과로 예산을 다시 배정해야 한다면 그렇게 할 준비가 되어 있습니까? 그리고 그렇게 하겠습니까?"

 

 

3-2. 효율적인 테스트를 위해 준비해야할 사항

병목 현상을 제거하라	문제는 테스트할 아이디어를 떠올리는 것이 아니라 그것을 논의 대상으로 올려놓는 것이다. 대체로 아이디어들은 데이터와 가장 가깝게 있는 사람들이 제시하지만 최종 의사결정권자에게로 가는 도중에 실정되고 만다.
모든 사람을 참가시켜라	마케팅 부문 전체에 걸쳐 단일한 프로세스로 테스트하라. 모든 사람이 제안을 한곳으로 보내게 하되 스프레드시트나 온라인 양식을 사용하도록 하라. 단, 오른쪽 4가지 항목은 반드시 포함되어야한다. 이 테스트는 관료주의와 관련된 그 어떤 것도 개입되어선 안 된다. 부서나 사업별로 데이터가 고립되는 사일로 현상도, 데이터를 걸러내는 필터링 현상도 있어선 안 되며 작성자의 직함이나 소속 팀, 이름이 들어가서도 안된다. 그리고 아이디어 목록은 최고 의사결정권자가 관리하게 하라. 이상적으로는 CMO.	1. 제안하는 가설은 무엇인가? 2. 이 가설을 뒷받침하는 데이터는 무엇인가? 3. 그 가설을 어떻게 테스트할 것인가? 4. 테스트 결과를 바탕으로 회사가 새롭게 시도할 수 있는 것은 무엇인가? -> 이 것은 구글엑스에서 영감을 얻은 접근법이다. 문샷 팩토리의 실제 운영 방식이기도 하다.
기회를 주고 포상하라	가장 효과가 있는 방식은 경연이다. 경연을 마련하고 상을 주어라. 현금, 티셔츠 등. 경연 방식으로 포상을 한다는 건 경영진이 마침내 여기에 투자하고 있음을 직원에게 알리는 겸손한 제스처다. 그렇게 한다면 직원들도 진심을 담아 양질의 테스트 결과를 내기 위해 애쓸 것이다.
결과가 아니라 아이디어에 보상하라	테스트가 제대로 진행될 수 있도록 하는 진짜 비결이 하나 있다. 바로 테스트를 실행하기 전에 상을 먼저 주는 것. 확실하고 안전한 것들이라면 굳이 테스트할 필요도 없다. 따라서 상은 회사를 도약시킬 수 있는 최고의 아이디어, 최고의 가설에 돌아가야 한다. 바로 이점이 핵심이다. 이렇게 해서 월말이 되면 경영진은 적게는 50개에서 많게는 100개나 되는 아이디어를 받아들고 살필 수 있다. 회사 직원뿐 아니라 광고 네트워크, 대행사 사람들에게도 경연의 문을 활짝 열어라.

 

 

3-3. 테스트 문화가 일상화되려면

실무자들에게 물어보라	이들에게 그냥 묻기만 해도 된다. 그리고 이들이 아이디어를 실행으로 옮기는 것을 방해하는 장애물이 무엇인지 파악하고, 대시보드 작성을 포함해 일정 업무를 기꺼이 위임하라.
사일로들을 무시하라	테스트와 관련해 최고의 모델은 테스트 예산을 마케팅 및 성과지표와 무관하게 독립적인 계정으로 편성하는 방식.	몇몇 회사에서는 이 예산을 연구개발 항목으로 편성한다. CFO 관점에서는 미래의 성공을 시사하는 연구개발이라는 항목을 지출 개념이 아니라 투자 개념으로 받아들인다. 이런 변화는 테스트를 실행하는 사람들에게 분기별 목표에 얽매이지 않고 일할 수 있는 여지를 제공한다.
현실성을 고려하라	제프 베이조스가 의사결정을 나누는 2가지 유형 1. 되돌릴 수 없는 의사결정 2. 되돌릴 수 있는 의사결정	-> 대부분의 경우 2번이다. 베이조스는 이를 양방향으로 열리는 문이라고 불렀다. 아마존에서 이런 의사결정은 최고경영진까지 올라깆 않고 신속하게 이뤄진다.
과거의 사례들을 활용하라	당신은 수많은 전문적인 연구의 보물창고를 마음껏 사용할 수 있다. 그리고 얼마든지 당신의 것으로 만들 수 있다. 대체로 이 연구들은 회사가 독자적으로 수행하는 것들보다 정밀하다. 그런데 이런 사실을 사람들은 쉽게 무시한다. 테스트 시작 전에 활용할 수 있는 증거들을 미리 확인하고, 이 것을 테스트 전략에 포함시키자.
말 전달 게임을 하지 마라	테스트를 실행하는 사람과 의사결정을 내리는 사람 사이의 거리는 최대한 가까워야 한다.
기념물을 세우지 말고 통찰을 쌓아라	통찰이 아무리 소중하고 도발적이라고 해도 테스트를 언제 다시 할 것이지 분명하게 합의해야 한다.

 

 

3-4. 최고의 기업에서 바라보는 지표

구체적인 방법은 지표만큼이나 중요하다.

- 좋은 실적을 기록했지만 다음 분기에도 똑같은 전략으로 그와 같은 실적을 보장할 수 있다고 설명하지 못하면 성과를 인정받지 못한다. - 어떤 부문에서 압도적으로 좋은 실적을 올렸지만 그렇지 못한 다른 부문 동료들에게 전략을 가르쳐줄 수 없다면 아무리 성과를 거두었다고 해도 무용지물이다. - 사람들은 이해할 수 없거나 다음 분기에 반복되지 않는 지표는 받아들이지 않으며, 사실 그래야 옳다.

 

 

3-5. 팀워크를 해치는 사람들

늘 자신이 옳다고 믿는 사람들	돈이 어디로 새는지 추궁하는 건 새로운 투자에 대한 기준을 높일 뿐이다. 그래서 효율설 전문가는 비용을 낭비하기보다는 아예 지출을 하지 않는다. 바로 이 지점에서 기업은 침체하기 시작한다. 마케팅 예산의 10퍼센트를 탐색 비용으로 확보해서 효율적이지 않는 곳에 사용하라. 이 예산 지출에 대한 평가는 수익률 차원이 아니라 학습의 결과라는 차원에서 이루어져야 한다.
완벽을 맹신하는 사람들	어떤 문제를 완벽하게 연구할 때 발생하는 기회비용을 강조하고, 어떤 의사결정이든 되돌릴 수 있음을 강조해야 한다. 바로 이 모든 것에 대해 당신이 생각하는 근거를 이들과 공유해야 한다.
자신감이 낮은 불안정한 사람들	가치가 높은 고객에게 계속 돈을 쓰는 것은 오히려 가치를 떨어뜨릴 뿐이다. 자신감이 낮은 사람들을 관리하는 유일한 방법은 실험이다.

 

 

3-6. 최고의 성과를 내는 사람들

스토리텔러들	스토리텔러는 사람들을 설득하는 데 능수능란하며 데이터 분석가들이 신뢰하는 지침인 데이터 분석 모델을 충분히 존중할 줄 안다. 또한 조직 내 다른 사람들에게 기회를 전달하는 방법을 제대로 이해한다. 재무, 영업, 마케팅, 제품개발 등에서 자기 만의 방식으로 동료와 협력하는 방법을 알고 있으며 여기서 스스로 기회를 포착한다. 이들은 여론을 형성하고 열정을 조성한다. 이들 가운데 최고의 인지는 회사의 메시지를 널리 퍼트릴 새로운 전도사들을 만들어낸다. 사람과 사람 사이에 다리를 놓을 수 있는 사람, 당신이 만들고 있는 장기적인 가치 모델을 CFO에게 설명할 수 있는 사람, 가치가 높은 고객에게 다가가려면 반드시 먼저 준비해야할 사항들을 놓고 운영팀과 협의할 수 있는 사람, 이런 사람이 필요하다. 또한 당신이 발견한 통찰을 매우 설득력 있게 설명해서 상대방을 쉽게 이해시킬 수 있는 사람이 필요하다.
일을 만들어내는 사람들	여러 분야에 걸쳐 박학다식한 '기업가'를 확보하는 것도 팀에 큰 도움이 된다. 기업가라고 해서 경영 계획을 작성하거나 투자 자금을 조달한 적이 있는 사람을 말하는게 아니다. 소규모 팀에서 인프라를 구축하고 마케팅을 배치해본 사람, 랜딩 페이지를 만들거나 테스트를 진행해본 사람, 이 모든 일을 빡빡한 일정 속에서 남의 도움을 거의 받지 않고 해낸 사람이다. 이들은 촉매제 역할을 한다.
배우며 성장하는 사람들	와튼 스쿨에서 페이더 교수의 악명 높은 MKTG(마케팅) 476같은 강좌를 들은 학생들을 고용하는데 주저하지 말자.