학습 내용
클라비요 가입 양식에 대해 A/B 테스트 결과가 통계적으로 유의미한 것으로 간주되는 시점을 알아보세요. 이 가이드에서는 가입 양식에 대한 통계적 유의성과 결정 시점에 대해 설명합니다.
클라비요는 하나의 변형이 다른 변형보다 성능이 더 우수하다는 것이 수학적으로 입증되면 A/B 테스트가 통계적 유의성에 도달한 시점을 결정합니다. A/B 테스트를 구성하여 자동으로 우승 양식 변형을 선택하고 테스트 결과가 통계적으로 유의미한 것으로 간주되면 종료할 수 있습니다.
A/B 테스트를 통해 양식의 다양한 요소의 성능을 측정하여 사이트 방문자의 공감을 얻고 강력한 참여를 유도하는지 확인할 수 있습니다. 결과를 효과적으로 분석하고 개선할 사항을 결정하기 위해서는 테스트가 통계적으로 유의미한 것으로 간주될 수 있는지 여부를 이해하는 것이 중요합니다. 테스트 결과가 통계적으로 유의미하지 않으면 특정 변수가 대규모로 성능 향상을 가져온다고 확인하기가 더 어렵습니다.
클라비요가 양식의 통계적 유의성을 결정하는 방법클라비요가 양식의 통계적 유의성을 결정하는 방법
통계적으로 유의미한 결과를 얻으려면 가입 양식의 A/B 테스트가 다음 조건을 충족해야 합니다:
- 주요 변수에 대한 최소 90%의 승리 확률
- 변형당 최소 1,000회 이상의 양식 보기
클라비요가 이러한 각 요소를 고려하는 방법에 대한 자세한 설명은 아래를 참조하세요.
- 주요 변수의 승리 확률
- 이는 선두 변형의 양식 제출률이 다른 모든 변형의 양식 제출률보다 실제로 높을 확률입니다. 승리 확률이 높다는 것은 무작위적인 우연이 아니라 더 나은 형태로 인해 선두 변종이 승리할 것이라는 강력한 증거가 있다는 것을 의미합니다.
- 양식 보기
- 양식은 초기 테스트 이상 현상으로 인해 결과가 왜곡되지 않도록 충분한 수의 조회수를 수집해야 합니다.
통계적 유의성에 도달한 후 A/B 테스트 종료하기
승자 선택 설정에서 통계적으로 유의미한 수준에서 다른 변형을 능가하는 변형이 하나 있거나 특정 날짜에 도달하면 테스트가 자동으로 종료되도록 구성할 수 있습니다. 또는 두 상자를 모두 선택하여 두 조건 중 하나가 충족되면 테스트를 종료할 수 있습니다(즉, 테스트가 통계적 유의성을 달성하거나 종료 날짜에 도달했음을 의미).
또는 우승자 선택 아래의 두 확인란을 모두 선택 취소하여 수동으로 테스트를 종료하기로 선택한 경우, 결과를 독립적으로 모니터링하고 우승자와 종료 날짜를 모두 수동으로 선택해야 합니다.
진행 중인 테스트의 결과를 볼 때 A/B 테스트 결과 탭의 개요 메뉴에서 각 변형별 현재 데이터뿐만 아니라 승리 확률을 모니터링할 수 있습니다.
자세한 내용은 A/B 테스트 결과 검토 가이드를 참조하세요.
추가 리소스