클라비요 캠페인에서 통계적 유의성 이해하기

학습 내용

A/B 테스트가 통계적으로 유의미한 것으로 간주되는지 여부를 확인하는 방법을 알아보세요. 예를 들어, 캠페인 변형 A의 오픈율이 15%이고 변형 B의 오픈율이 14%인 경우, 변형 A와 변형 B 중 어느 캠페인의 실적이 더 좋았는지 어떻게 알 수 있을까요?

통계적 유의성 범주

통계적 유의성은 클라비요가 변형을 통해 성능이 향상되는지 여부를 수학적으로 판단할 수 있는 경우입니다. 캠페인의 경우, 클라비요는 메시지를 수신한 사람의 수와 승리 확률, 즉 특정 변형이 다른 변형보다 얼마나 더 나은 결과를 가져올 수 있는지를 기준으로 더 나은 결과를 얻을 가능성을 모두 관찰합니다.

A/B 테스트를 할 때는 잠재 고객에게 큰 영향을 미칠 수 있는 요인을 피해야 합니다. 예를 들어, 잠재 고객이 이메일을 찾을 가능성이 훨씬 높은 휴일 주말에는 다시 테스트하지 마세요. 

A/B 테스트 캠페인의 경우 통계적 유의성에 대한 네 가지 범주가 있습니다:

• 통계적으로 유의미한
• 유망한
• 통계적으로 유의하지 않음
• 결정적이지 않음

다음 몇 섹션에서는 테스트가 이러한 각 범주에 해당하는 경우를 살펴보겠습니다.

통계적으로 유의미한

A/B 테스트에 통계적으로 유의미한 태그가 있다는 것은 테스트의 특정 변형이 다른 옵션을 이길 가능성이 높다는 의미입니다. 또한 결과를 재현할 수 있고 배운 내용을 향후 전송에 적용할 수 있음을 나타냅니다.

클라비요 캠페인의 경우, A/B 테스트 결과는 통계적으로 유의미한 것으로 간주됩니다:

• 50명이 각 변형을 받았습니다.
• 당첨 확률은 최소 90%입니다.

이렇게 하면 충분히 많은 표본 규모의 수신자가 A/B 테스트를 확인했으며, 선택한 우승 지표(캠페인의 경우 오픈율, 클릭률 또는 주문율 중 하나)에 대해 우승한 변형이 다른 변형을 크게 앞섰는지 확인할 수 있습니다.

예를 들어 제목의 이모티콘이 오픈율에 영향을 미치는지 여부를 테스트한다고 가정해 보겠습니다. 테스트 결과 이모티콘이 있는 변형이 승리한 것으로 표시되며 녹색 통계적 유의성 태그가 있습니다. 이 경우 이모티콘이 포함된 제목은 그렇지 않은 제목보다 일관되게 더 좋은 결과를 얻을 수 있으며, 다시 테스트할 필요가 없습니다.

그러나 테스트 결과에 따라 행동할 때는 항상 최선의 판단을 내려야 합니다. 예를 들어, 진지하거나 침울한 메시지를 보내는 경우에는 이모티콘을 사용하기에 적절하지 않을 수 있습니다.

유망한

결과가 유망한 경우, 한 변형이 다른 변형보다 더 나은 성능을 보이는 것처럼 보이지만 테스트 자체만으로는 증거가 충분하지 않습니다. 테스트가 유망한 것으로 간주되면 이를 나타내는 태그는 표시되지 않지만 테스트를 다시 실행해야 한다는 경고가 표시됩니다.

테스트 결과가 유망한 경우, 보다 확실한 결과를 얻기 위해 또 다른 A/B 테스트를 수행해야 합니다. 예를 들어, 위의 이모티콘 예시로 돌아가서 결과가 좋으면 이 테스트를 다시 수행합니다. 여러 번의 A/B 테스트 후에도 이모티콘에 대한 긍정적인 결과가 계속 나타난다면 이모티콘이 오디언스에게 미미하지만 긍정적인 영향을 미친다고 믿을 수 있으므로 캠페인에 계속 사용해야 합니다.

캠페인의 경우, A/B 테스트 결과는 다음과 같은 경우에 유망한 것으로 간주됩니다:

• 50명이 각 변형을 받았습니다.
• 당첨 확률은 75%에서 89% 사이입니다.

통계적으로 유의하지 않음

통계적으로 유의하지 않은 경우, 테스트에서 한 변수가 다른 변수를 약간만 앞서는 경우이므로 추가 테스트에서 결과를 재현하지 못할 수 있습니다. 이 예의 경우, 이모티콘을 사용한 변수가 이모티콘을 사용하지 않은 변수를 이겼지만 테스트 결과가 유의미할 정도로 크지 않은 아주 작은 차이에 불과하다는 의미일 수 있습니다.

이 경우 이 요소를 두세 번 더 재테스트하고 결과를 면밀히 주시하는 것이 좋습니다. 테스트 결과가 통계적으로 유의미하지 않은 것으로 계속 확인되면 테스트를 계속 진행하지 말고 다른 주제의 A/B 테스트로 넘어가세요. 테스트가 이 범주에 속하는 경우 A/B 테스트 결과 페이지에 통계적으로 유의하지 않음이라는 회색 태그가 표시됩니다.

캠페인의 경우, A/B 테스트 결과는 통계적으로 유의하지 않은 것으로 간주됩니다:

• 1,800명이 각 변형을 받았습니다.
• 1위 변동과 2위 변동 간의 백분율 차이가 4% 이하인 경우
• 승리 확률이 60% 미만인 경우

결정적이지 않음

테스트가 결정적이지 않다는 것은 통계적으로 유의미한지 여부를 판단할 수 있는 정보가 충분하지 않다는 뜻입니다. 테스트 결과가 위 옵션의 기준 중 어느 것과도 일치하지 않으면 결정할 수 없음 버킷에 속하게 됩니다. 다음 섹션에 표시된 의사 결정 트리를 사용하여 이를 시각화할 수 있습니다. 결정적이지 않은 테스트는 결과 페이지에 테스트가 통계적으로 유의미한지 여부를 나타내는 태그가 표시되지 않는다는 점에 유의하세요.

이 경우 후속 테스트를 위해 대상을 확대할 수 있습니다. 소규모 그룹과 함께 테스트하는 경우, 결과를 적절하게 해석하고 다시 테스트하여 발견한 내용이 정확한지 확인하세요. 또한 설문조사, 설문조사 등 다른 수단을 통해 구독자에 대해 알아보는 데 집중하세요.

통계적 유의성 의사 결정 트리

다음 의사 결정 트리는 A/B 테스트가 각 범주에 속하는 시기를 보여줍니다. 녹색 선은 "예"를, 빨간색 선은 "아니오"를 나타냅니다.

추가 리소스

이 문서에서 A/B 테스트 결과에 대해 자세히 알아보세요. 

A/B 테스트 모범 사례를 확인하세요. 

이메일을 A/B 테스트하는 방법을 확인하세요: 

• 개별 흐름 이메일을 A/B 테스트하는 방법
• 캠페인 이메일을 A/B 테스트하는 방법