플로우에서 통계적 유의성 이해하기

예상 2분 읽기

업데이트 2026년 2월 17일 AM 12:00 EST

Klaviyo 플로우에서 A/B 테스트 결과가 통계적으로 유의미한 것으로 간주되는 시점을 알아보세요. 이 문서에서는 플로우의 통계적 유의미성 및 이를 결정하는 시점을 설명해요.

통계적 유의성이란 Klaviyo가 수학적으로 같은 이메일의 다른 버전이 성과 개선을 가져올지 여부를 판단할 수 있는 경우를 말해요. 플로우 A/B 테스트를 구성해 테스트 결과가 통계적으로 유의한 것으로 간주되면 자동으로 승리한 같은 이메일의 다른 버전을 선택하도록 할 수 있어요.

A/B 테스트는 데이터 기반 접근 방식으로 참여 유도를 높이고 고객 관계를 개선하는 데 핵심입니다. 테스트가 통계적으로 유의미한지 여부를 이해하는 것이 중요합니다. 예를 들어, 플로우 이메일에 같은 이메일의 다른 버전이 2개 있고, 같은 이메일의 다른 버전 A의 전환율이 15%인 반면 같은 이메일의 다른 버전 B의 전환율이 14%라면, 같은 이메일의 다른 버전 A와 B 중 어떤 것이 더 좋은 성과를 냈는지 확실히 어떻게 알 수 있을까요?

Klaviyo가 플로우에서 통계적 유의성을 결정하는 방법

플로우의 경우, Klaviyo는 메시지를 받은 사람 수와 승률(다른 같은 이메일의 다른 버전보다 얼마나 더 좋은 성과를 내는지에 기반해 해당 같은 이메일의 다른 버전이 더 나은 결과를 낼 가능성이 얼마나 되는지)을 모두 확인해요.

플로우 메시지 같은 이메일의 다른 버전이 통계적으로 유의미하다고 간주되는 경우:

각 같은 이메일의 다른 버전이 최소 500명의 수신자에게 전송되었어요.
같은 이메일의 다른 버전은 승리 확률이 최소 90%입니다.
상위 같은 이메일의 다른 버전은 명확하게 분리되어 있어요. 선두 같은 이메일의 다른 버전과 2위 같은 이메일의 다른 버전의 예상 성과 범위가 너무 많이 겹치지 않는 경우에만(신뢰 구간에서 10% 미만 겹침) 통계적 유의성을 표시해요.

승리 확률은 A/B 테스트를 구성할 때 선택한 지표를 기준으로 계산돼요. 기본적으로 이 지표는 테스트 중인 메시지의 전환율이에요. 자동 승자 선택 섹션에서는 구성된 지표를 기준으로 메시지 같은 이메일의 다른 버전이 승리하는 것으로 판단되면 테스트를 자동으로 종료하는 옵션과, 특정 날짜에 도달하면 테스트를 종료하는 옵션을 선택할 수 있어요. 이 옵션 중 하나 또는 둘 다 선택할 수 있어요. 둘 다 선택한 경우 통계적 유의성 또는 지정된 날짜 중 먼저 도달하는 기준에 따라 테스트가 종료돼요.

자세한 내용은 플로우 이메일을 A/B 테스트하는 방법에 대한 문서를 확인해 주세요.

현재 실행 중이거나 완료된 테스트의 결과를 볼 때 A/B 테스트 섹션에서 승리 확률을 확인할 수 있어요. 여기에서 테스트 결과가 통계적으로 유의미한지 여부와 어떤 같은 이메일의 다른 버전이 더 나은 성과를 낼 가능성이 높은지 확인할 수 있어요.