클라비요 캠페인에서 통계적 유의성 이해하기

학습 내용

A/B 테스트가 통계적으로 유의미한 것으로 간주되는지 여부를 확인하는 방법을 알아보세요. 예를 들어, 캠페인 변형 A의 오픈율이 15%이고 변형 B의 오픈율이 14%인 경우, 변형 A와 변형 B 중 어느 캠페인의 실적이 더 좋았는지 어떻게 알 수 있을까요?

Apple Mail 개인 정보 보호에 대한 참고 사항

iOS15, macOS Monterey, iPadOS 15 및 WatchOS 8이 출시되면서 Apple MPP(Apple Mail Privacy Protection)는 추적 픽셀을 미리 가져와 이메일의 오픈율 데이터를 수신하는 방식을 변경했습니다. 이러한 변경 사항으로 인해 오픈율이 과장될 수 있다는 점을 알아야 합니다.

A/B 테스트와 관련하여, 저희 도구는 이러한 부풀려진 오픈율을 고려해야 하지만 통계적 유의성에 도달하려면 더 높은 임계값이 필요할 수 있습니다. 정기적으로 A/B 테스트를 수행하면서 Apple Mail의 열람률이 45% 이상인 경우 MPP 속성을 포함하는 사용자 지정 보고서를 작성하는 것이 좋습니다. 개별 구독자 세그먼트에서도 이러한 오픈을 식별할 수 있습니다.

MPP 오픈에 대한 자세한 내용은 iOS 15: Apple의 변경 사항에 대한 준비 방법 가이드를 참조하십시오.

통계적 유의성 범주

통계적 유의성은 클라비요가 변형을 통해 성능이 향상되는지 여부를 수학적으로 판단할 수 있는 경우입니다. 캠페인의 경우, 클라비요는 메시지를 수신한 사람의 수와 승리 확률, 즉 특정 변형이 다른 변형보다 얼마나 더 나은 결과를 가져올 수 있는지를 기준으로 더 나은 결과를 얻을 가능성을 모두 관찰합니다.

A/B 테스트를 할 때는 잠재 고객에게 큰 영향을 미칠 수 있는 요인을 피해야 합니다. 예를 들어, 잠재 고객이 이메일을 찾을 가능성이 훨씬 높은 휴일 주말에는 다시 테스트하지 마세요. 

A/B 테스트 캠페인의 경우 통계적 유의성에 대한 네 가지 범주가 있습니다:

• 통계적으로 유의미한
• 유망한
• 통계적으로 유의하지 않음
• 결정적이지 않음

다음 몇 섹션에서는 테스트가 이러한 각 범주에 해당하는 경우를 살펴보겠습니다.

통계적으로 유의미한

A/B 테스트에 통계적으로 유의미한 태그가 있다는 것은 테스트의 특정 변형이 다른 옵션을 이길 가능성이 높다는 의미입니다. 또한 결과를 재현할 수 있고 배운 내용을 향후 전송에 적용할 수 있음을 나타냅니다.

클라비요 캠페인의 경우, A/B 테스트 결과는 통계적으로 유의미한 것으로 간주됩니다:

• 50명이 같은 이메일의 다른 버전을 각각 받았습니다.
• 당첨 확률은 최소 90%입니다.

이렇게 하면 충분히 많은 표본 규모의 수신자가 A/B 테스트를 확인했으며, 선택한 우승 지표(캠페인의 경우 오픈율, 클릭률 또는 주문율 중 하나)에 대해 우승한 변형이 다른 변형을 크게 앞섰는지 확인할 수 있습니다.

예를 들어 제목의 이모티콘이 이메일 열람률에 영향을 미치는지 여부를 테스트한다고 가정해 보겠습니다. 테스트 결과 동일한 이메일의 다른 버전 중 이모티콘이 있는 이메일이 당첨되었으며 녹색 통계적 유의성 태그가 표시되어 있습니다. 이 경우 이모티콘이 포함된 제목은 그렇지 않은 제목보다 일관되게 더 좋은 결과를 얻을 수 있으며, 다시 테스트할 필요가 없습니다.

그러나 테스트 결과에 따라 행동할 때는 항상 최선의 판단을 내려야 합니다. 예를 들어, 진지하거나 침울한 메시지를 보내는 경우에는 이모티콘을 사용하기에 적절하지 않을 수 있습니다.

유망한

결과가 유망한 경우, 한 변형이 다른 변형보다 더 나은 성능을 보이는 것처럼 보이지만 테스트 자체만으로는 증거가 충분하지 않습니다. 테스트가 유망한 것으로 간주되면 이를 나타내는 태그는 표시되지 않지만 테스트를 다시 실행해야 한다는 경고가 표시됩니다.

테스트 결과가 유망한 경우, 보다 확실한 결과를 얻기 위해 또 다른 A/B 테스트를 수행해야 합니다. 예를 들어, 위의 이모티콘 예시로 돌아가서 결과가 좋으면 이 테스트를 다시 수행합니다. 여러 번의 A/B 테스트 후에도 이모티콘에 대한 긍정적인 결과가 계속 나타난다면 이모티콘이 오디언스에게 미미하지만 긍정적인 영향을 미친다고 믿을 수 있으므로 캠페인에 계속 사용해야 합니다.

캠페인의 경우, A/B 테스트 결과는 다음과 같은 경우에 유망한 것으로 간주됩니다:

• 50명이 같은 이메일의 다른 버전을 각각 받았습니다.
• 당첨 확률은 75%에서 89% 사이입니다.

통계적으로 유의하지 않음

통계적으로 유의미하지 않은 경우, 동일한 이메일의 다른 버전이 테스트에서 다른 버전을 약간만 앞서는 경우 추가 테스트에서 결과를 복제하지 못할 수 있습니다.

이 예에서는 이모티콘이 포함된 같은 이메일의 다른 버전이 이모티콘이 없는 같은 이메일의 다른 버전을 이겼지만, 테스트 결과가 의미 있다고 할 수 없을 만큼의 아주 작은 차이에 불과하다는 의미일 수 있습니다.

이 경우 이 요소를 두세 번 더 재테스트하고 결과를 면밀히 주시하는 것이 좋습니다.

테스트 결과가 통계적으로 유의미하지 않은 것으로 계속 확인되면 테스트를 계속 진행하지 말고 다른 주제의 A/B 테스트로 넘어가세요. 테스트가 이 범주에 속하는 경우 A/B 테스트 결과 페이지에 통계적으로 유의하지 않음이라는 회색 태그가 표시됩니다.

캠페인의 경우, A/B 테스트 결과 중 어느 하나라도 통계적으로 유의하지 않은 경우 통계적으로 유의하지 않은 것으로 간주합니다:

• 확률은 75% 미만이며 최소 1,800명이 동일한 이메일의 다른 버전을 각각 받았습니다.
  또는
• 같은 이메일의 다른 버전을 받은 사람이 1,800명 미만이고, 1위 같은 이메일의 다른 버전과 2위 같은 이메일의 다른 버전의 비율 차이가 4% 이하이며, 당첨 확률이 60% 미만인 경우입니다.

결정적이지 않음

테스트가 결정적이지 않다는 것은 통계적으로 유의미한지 여부를 판단할 수 있는 정보가 충분하지 않다는 뜻입니다. 테스트 결과가 위 옵션의 기준 중 어느 것과도 일치하지 않으면 결정할 수 없음 버킷에 속하게 됩니다. 다음 섹션에 표시된 의사 결정 트리를 사용하여 이를 시각화할 수 있습니다. 결정적이지 않은 테스트는 결과 페이지에 테스트가 통계적으로 유의미한지 여부를 나타내는 태그가 표시되지 않는다는 점에 유의하세요.

이 경우 후속 테스트를 위해 대상을 확대할 수 있습니다. 소규모 그룹과 함께 테스트하는 경우, 결과를 적절하게 해석하고 다시 테스트하여 발견한 내용이 정확한지 확인하세요. 또한 설문조사, 설문조사 등 다른 수단을 통해 구독자에 대해 알아보는 데 집중하세요.

통계적 유의성 의사 결정 트리

다음 의사 결정 트리는 A/B 테스트가 각 범주에 속하는 시기를 보여줍니다. 녹색 선은 "예"를, 빨간색 선은 "아니오"를 나타냅니다.

추가 리소스

이 문서에서 A/B 테스트 결과에 대해 자세히 알아보세요. 

A/B 테스트 모범 사례를 확인하세요. 

이메일을 A/B 테스트하는 방법을 확인하세요: 

• 개별 흐름 이메일을 A/B 테스트하는 방법
• 캠페인 이메일을 A/B 테스트하는 방법