B2B 샘플 크기 결정을 위한 짧은 가이드

💼XL8 이직 9개월 회고에서 언급했던 것처럼 대략 한달 전부터 MediaCAT이라는 제품의 Product Owner 역할을 해왔다. 한편으로는 MediaCAT 고객의 주요 세그먼트인 미디어 LSP(번역 서비스 제공자, Localization Service Provider)에 대한 사용자 인터뷰를 준비하고는 있었으나, 내게 익숙한 도구는 유저 이벤트 분석 툴이었다. 그런데 MediaCAT에 Amplitude를 붙여 유저 이벤트를 추적하고 분석하는 과정에서, 트래픽이 너무 적다 보니 이렇게 분석하는 게 정말 맞나? 하는 생각이 들었다. 초기 B2B 제품을 운영하는 입장에서, 신뢰할 만한 제품 개선 인사이트를 얻으려면 트래픽을 얼마나 확보해야 할까? 라는 질문이 자연스럽게 따라왔다.

그러다가 B2B 샘플 크기 결정을 위한 짧은 가이드: B2C와 혼동하지 마세요라는 글을 읽고 혼란스러움과 트래픽에 대한 초조함이 좀 사라졌다. 이전에는 ‘최대한 많은 수의 LSP가 원하는 기능부터 만들자’는 스탠스였다면 이제는 ‘우리에게 중요한 LSP 1-2개의 워크플로우를 최대한 넓고 깊게 해결해주자’는 스탠스로 바꿨다. 그래서, 준비하고 있던 유저 인터뷰나 잘하기로 했다.

아래는 그 글에서 내게 중요했던 부분만 대강 요약한 것이다.

• 고객이 B2B 연구 프로젝트를 의뢰할 때 가장 흔히 묻는 질문 중 하나는 "데이터가 '통계적으로 유의'한지 확인하려면 표본 크기가 얼마나 커야 하는가?"임
• 이런 우려는 B2C 연구에서는 유효하나 B2B 시장은 굉장히 다름
• 타겟 모수가 적음 (많은 수의 응답을 얻기 어려움)
• 의사결정 구조가 매우 복잡함 (돈 내는 고객과 실제 사용자가 다를 수 있음)
• 모든 고객의 가치가 동등하지 않음 (20% 고객이 80% 매출을 냄)
• B2B 연구에서 적절한 샘플 크기를 알아내려면 “합리적 수준의 신뢰도를 얻으려면 사용자 세그먼트별로 인터뷰를 몇 개나 해야 할까?”라는 질문을 해보면 됨. 우리의 경험상 인터뷰 50개 정도면 적절한 신뢰도를 얻을 수 있음
• 인터뷰 대상을 물색하고 인터뷰 갯수를 정할 때 다음을 유념할 것
• 상위 50개 고객사가 나머지 전체보다 중요하다. 이들에게 더 많은 인터뷰를 해라.
• 어떤 세그먼트는 다른 세그먼트보다 훨씬 중요하다. 당신에게 중요한 세그먼트를 식별하고 그들에게 더 많은 인터뷰를 해라.