가입 양식의 통계적 유의성 이해하기

학습 내용

Klaviyo 가입 양식에서 A/B 테스트 결과가 통계적으로 유의미하다고 간주되는 시점을 알아보세요. 이 가이드에서는 가입 양식의 통계적 유의성과 언제 결정되는지 설명해요.

Klaviyo는 같은 이메일의 다른 버전 1개가 다른 버전보다 더 좋은 성과를 낸다는 것이 수학적으로 입증되면 A/B 테스트가 통계적으로 유의미한 수준에 도달했다고 판단해요. A/B 테스트가 통계적으로 유의미한 것으로 간주되면 테스트에서 승리한 폼의 같은 이메일의 다른 버전을 자동으로 선택하고 종료하도록 A/B 테스트를 설정할 수 있어요.

A/B 테스트를 사용하면 양식의 다양한 요소가 어떤 성과를 내는지 측정해 사이트 방문자에게 잘 와닿고 강력한 참여 유도를 이끌어내고 있는지 확인할 수 있어요. 결과를 효과적으로 분석하고 어떤 개선을 해야 할지 결정할 수 있도록, 테스트가 통계적으로 유의미하다고 볼 수 있는지 여부를 이해하는 것이 중요해요. 테스트 결과가 통계적으로 유의미하지 않다면, 특정한 같은 이메일의 다른 버전이 대규모로 성과 개선을 이끌 것인지 확인하기가 더 어려워요.

Klaviyo에서 양식의 통계적 유의성을 결정하는 방법

통계적 유의성을 확보하려면 가입 양식의 A/B 테스트가 다음 조건을 충족해야 해요.

1. 선도 같은 이메일의 다른 버전의 승리 확률이 최소 90%
2. 같은 이메일의 다른 버전별 양식 조회수가 최소 1,000회여야 해요.

Klaviyo에서 이러한 각 요소를 어떻게 고려하는지에 대한 더 자세한 설명은 아래를 참고해 주세요.

• 선도 같은 이메일의 다른 버전의 승리 확률
  • 이는 선도하는 같은 이메일의 다른 버전의 양식 제출률이 다른 모든 같은 이메일의 다른 버전보다 실제로 더 높을 확률이에요. 승리 확률이 높다는 것은 무작위로 발생한 결과가 아니라, 양식이 더 좋아서 선도하는 같은 이메일의 다른 버전이 승리할 것이라는 강력한 근거가 있다는 뜻이에요.
• 양식 조회수
  • 양식은 초기 테스트 이상치로 인해 결과가 왜곡되지 않도록 충분한 조회수를 수집해야 해요.

통계적 유의성에 도달한 후 A/B 테스트 종료

우승자 선택 설정에서, 1개의 같은 이메일의 다른 버전이 다른 같은 이메일의 다른 버전(들)보다 통계적으로 유의미한 수준에서 더 좋은 성과를 낼 때 테스트가 자동으로 종료되도록 하거나, 특정 날짜에 도달하면 종료되도록 테스트를 구성할 수 있어요. 또는, 두 확인란을 모두 선택해 2가지 조건 중 1가지가 충족되면(즉, 테스트가 통계적 유의성을 달성하거나 종료 날짜에 도달하면) 테스트가 종료되도록 설정할 수 있어요.

또는 Winner Selection 아래의 두 상자를 모두 선택 해제하여 테스트를 수동으로 종료하기로 선택한 경우, 결과를 독립적으로 모니터링하고 우승자와 종료 날짜를 모두 수동으로 선택해야 해요.

진행 중인 테스트의 결과를 볼 때 A/B 테스트 결과 탭의 개요 메뉴에서 승리 확률과 같은 이메일의 다른 버전별 현재 데이터를 모니터링할 수 있어요.

자세한 내용은 A/B 테스트 결과 검토 가이드를 확인해 주세요.

추가 자료