학습 내용
클라비요 흐름에서 A/B 테스트의 결과가 통계적으로 유의미한 것으로 간주되는 시점을 알아보세요. 이 문서에서는 흐름에 대한 통계적 유의성과 그 결정 시점에 대해 설명합니다.
통계적 유의성은 클라비요가 변형을 통해 성능이 향상되는지 여부를 수학적으로 판단할 수 있는 경우입니다. 테스트 결과가 통계적으로 유의미한 것으로 간주되면 자동으로 우승 변형을 선택하도록 흐름 A/B 테스트를 구성할 수 있습니다.
A/B 테스트는 데이터 기반 접근 방식을 통해 더 나은 참여를 유도하고 고객 관계를 개선하는 데 핵심적인 역할을 합니다. 테스트가 통계적으로 유의미한 것으로 간주될 수 있는지 여부를 이해하는 것이 중요합니다. 예를 들어, 플로우 이메일에 2개의 변형이 있고 변형 A의 클릭률이 15%이고 변형 B의 클릭률이 14%인 경우, 변형 A와 변형 B 중 어느 쪽이 더 나은 성과를 냈는지 어떻게 알 수 있을까요?
클라비요가 흐름에서 통계적 유의성을 결정하는 방법클라비요가 흐름에서 통계적 유의성을 결정하는 방법
흐름의 경우, 클라비요는 메시지를 받은 사람의 수와 승리 확률, 즉 특정 변수가 다른 변수를 얼마나 잘 수행했는지에 따라 더 나은 결과를 얻을 수 있는 가능성을 모두 관찰합니다.
플로우 메시지 변동은 다음과 같은 경우에 통계적으로 유의미한 것으로 간주됩니다:
- 최소 500명 이상의 수신자가 각 변형을 받았습니다.
- 변종의 승리 확률은 90% 이상입니다.
승리 확률은 A/B 테스트를 구성할 때 선택한 메트릭을 기반으로 계산됩니다. 기본적으로 이 측정지표는 테스트 중인 메시지의 클릭률입니다. 자동 우승자 선택 섹션에서는 구성된 메트릭에 따라 메시지 변형이 우승으로 결정되면 테스트를 자동으로 종료하는 옵션과 특정 날짜에 도달하면 테스트를 종료하는 옵션이 있습니다. 이 옵션 중 하나 또는 둘 다를 선택할 수 있습니다. 두 가지를 모두 선택하면 통계적 유의성 또는 지정된 날짜 중 먼저 도달한 항목에 따라 테스트가 종료됩니다.
자세한 내용은 플로우 이메일을 A/B 테스트하는 방법에 대한 도움말 문서를 참조하세요.
현재 진행 중인 테스트의 결과를 볼 때, A/B 테스트 섹션의 오른쪽 세부 정보 사이드바에서 당첨 확률을 확인할 수 있습니다. 여기에서 테스트 결과가 통계적으로 유의미한지 여부와 어떤 변형이 더 나은 성과를 낼 가능성이 높은지 확인할 수 있습니다.
자세한 내용은 흐름에 대한 이메일 A/B 테스트 결과를 검토하는 방법에 대한 도움말 문서를 참조하세요.
추가 리소스
추가 리소스
A/B 테스트 모범 사례에 대한 도움말을 확인하세요.
실행할 수 있는 다른 A/B 테스트에 대해 알아보세요: