Klaviyo 캠페인에서 통계적 유의성 이해하기

학습 내용

A/B 테스트가 통계적으로 유의미한지 여부를 판단하는 방법을 알아보세요. 예를 들어, 캠페인 같은 이메일의 다른 버전 A의 이메일 열람률이 15%이고 같은 이메일의 다른 버전 B의 이메일 열람률이 14%라면, 어떤 같은 이메일의 다른 버전(A 또는 B)이 더 좋은 성과를 냈는지 어떻게 확실히 알 수 있을까요?

Apple Mail Privacy Protection 관련 참고 사항

iOS15, macOS Monterey, iPadOS 15 및 WatchOS 8이 출시되면서 Apple MPP(Apple Mail Privacy Protection)는 웹 추적 픽셀을 미리 가져와 이메일 열람률 데이터를 수신하는 방식을 변경했습니다. 이러한 변경 사항으로 인해 이메일 열람률이 과장될 수 있다는 점을 알아야 합니다.

A/B 테스트와 관련해, 저희 도구가 이렇게 부풀려진 이메일 열람률을 반영할 것으로 예상하지만, 통계적 유의성에 도달하려면 더 높은 임곗값이 필요할 수 있어요. 정기적으로 A/B 테스트를 수행하고 Apple Mail에서의 오픈 비율이 약 45%를 초과한다면, MPP 속성이 포함된 맞춤 보고서를 만드는 것을 권장해요. 개별 구독자 세그먼트에서도 이러한 오픈을 파악할 수 있어요.

MPP 오픈에 대한 자세한 내용은 iOS 15: Apple의 변경 사항에 대한 준비 방법 가이드를 참조하십시오.

통계적 유의성 범주

통계적 유의성이란 Klaviyo가 수학적으로 같은 이메일의 다른 버전이 성과 개선을 가져올지 여부를 판단할 수 있는 경우를 말해요. 캠페인의 경우, Klaviyo는 메시지를 받은 사람 수와 승리 확률을 모두 관찰하는데, 승리 확률은 같은 이메일의 다른 버전이 다른 같은 이메일의 다른 버전(들)보다 얼마나 더 뛰어난지에 따라 더 나은 결과를 낼 가능성이 얼마나 되는지를 나타내요.

A/B 테스트를 진행할 때는 대상 고객에게 큰 영향을 줄 수 있는 요인은 피해야 해요, 예를 들어, 휴일 연휴처럼 대상 고객이 이메일을 확인할 가능성이 훨씬 높은 시기에는 재테스트하지 마세요.

캠페인을 A/B 테스트할 때 통계적 유의성에는 4가지 범주가 있어요:

• 통계적으로 유의미함
• 유망
• 통계적으로 유의미하지 않음
• 결정되지 않음

다음 몇 개 섹션에서는 테스트가 이러한 각 카테고리에 해당하는 경우를 살펴볼게요.

통계적으로 유의미함

A/B 테스트의 통계적으로 유의미한 태그는 테스트의 특정 같은 이메일의 다른 버전이 다른 옵션보다 이길 가능성이 매우 높다는 뜻이에요. 또한 결과를 재현할 수 있으며, 학습한 내용을 향후 발송에 적용할 수 있다는 의미이기도 해요.

Klaviyo 캠페인의 경우 A/B 테스트 결과는 다음과 같은 경우에 통계적으로 유의미한 것으로 간주돼요:

• 50명이 각 같은 이메일의 다른 버전을 받았어요.
• 승리 확률은 최소 90%예요.

이를 통해 충분히 큰 표본 크기의 수신자가 A/B 테스트를 확인했으며, 선택한 승리 지표(캠페인의 경우 이메일 열람률, 전환율 또는 주문율)에서 승리한 같은 이메일의 다른 버전이 다른 버전(들)보다 크게 앞섰다는 것을 확인할 수 있어요.

예를 들어, 제목에 이모지가 포함되면 이메일 열람률에 영향을 미치는지 테스트하고 있다고 해볼게요. 테스트 결과, 이모지가 있는 같은 이메일의 다른 버전이 우승했고 초록색 통계적 유의성 태그가 표시됩니다. 이 경우 이모지가 있는 제목이 없는 제목보다 일관되게 더 좋은 성과를 낸다고 확신할 수 있어요. 다시 테스트할 필요도 없고요.

하지만 테스트 결과를 바탕으로 조치를 취할 때는 항상 최선의 판단을 해야 해요. 예를 들어 더 진지하거나 엄숙한 메시지를 보내는 경우 이모지는 사용하기에 적절하지 않을 수 있어요.

유망

결과가 유망할 때는, 같은 이메일의 다른 버전 중 하나가 다른 버전(들)보다 더 잘 수행되는 것처럼 보이지만 테스트만으로는 근거가 충분히 강하지 않아요. 테스트가 유망하다고 판단되면 이를 나타내는 태그는 표시되지 않지만, 테스트를 다시 실행해야 한다는 알림이 표시돼요.

테스트 결과가 유망하다면, 확신을 더하기 위해 다른 A/B 테스트를 한 번 더 진행하는 것이 좋아요. 예를 들어 위의 이모지 예시로 돌아가서, 결과가 유망하다면 이 테스트를 다시 한 번 진행해 보세요. 여러 차례 A/B 테스트를 진행한 뒤에도 이모지가 더 유리한 유망한 결과가 계속 나온다면, 이모지가 잠재고객에게 약간이지만 긍정적인 영향을 준다고 신뢰할 수 있으며 캠페인에서 계속 사용하는 것이 좋아요.

캠페인의 경우 A/B 테스트 결과는 다음과 같은 경우 유망한 것으로 간주돼요:

• 50명이 각 같은 이메일의 다른 버전을 받았어요.
• 승리 확률은 75%~89%입니다.

통계적으로 유의미하지 않음

통계적으로 유의미하지 않다면 테스트에서 한 같은 이메일의 다른 버전이 다른 같은 이메일의 다른 버전(들)을 아주 근소한 차이로만 앞서기 때문에, 후속 테스트에서 결과를 재현하지 못할 수도 있어요.

예를 들어, 이 경우 이모지가 포함된 같은 이메일의 다른 버전이 이모지가 없는 같은 이메일의 다른 버전(들)보다 더 나은 성과를 냈을 수 있지만, 그 차이는 매우 미미해서 테스트 결과가 유의미하다고 보기에는 충분하지 않다는 뜻일 수 있습니다.

이 경우 이 요인을 2~3회 더 다시 테스트하고 결과를 면밀히 살펴보는 것을 권장해요.

테스트 결과가 계속 통계적으로 유의하지 않은 것으로 판단된다면 테스트를 계속하지 말고, 대신 다른 주제로 A/B 테스트를 진행해 보세요. 테스트가 이 범주에 해당하면 A/B 테스트 결과 페이지에 통계적으로 유의하지 않음 이라고 표시된 회색 태그가 나타나요.

캠페인의 경우 다음 중 하나에 해당하면 A/B 테스트 결과가 통계적으로 유의하지 않은 것으로 간주돼요:

• 확률이 75% 미만이고, 각 같은 이메일의 다른 버전을 1,800명 이상이 받았어요.
  또는
• 각 같은 이메일의 다른 버전을 받은 사람이 1,800명 미만이고, 선두 같은 이메일의 다른 버전과 2위 같은 이메일의 다른 버전 간의 백분율 차이가 4% 이하이며, 승리 확률이 60% 미만이에요.

결정되지 않음

테스트가 결론에 이르지 못했다는 것은 어떤 항목이 통계적으로 유의미한지 여부를 판단할 정보가 충분하지 않다는 뜻이에요. 테스트 결과가 위 옵션의 어떤 기준에도 해당하지 않으면 결론 미도출 버킷으로 분류돼요. 다음 섹션에 표시된 의사 결정 트리를 사용해 이를 시각화할 수 있어요. 결론 미도출 테스트는 결과 페이지에서 테스트가 통계적으로 유의미했는지 여부를 나타내는 태그를 표시하지 않는다는 점에 유의하세요.

이 경우 후속 테스트를 위해 대상 그룹을 더 확대하는 것이 좋을 수 있어요. 테스트 중인 그룹이 작다면, 결과를 적절히 해석하고 재테스트하여 발견한 내용이 정확한지 확인하세요. 또한 설문조사, 투표 등 다른 방법을 통해 구독자에 대해 알아보는 데 집중하세요.

통계적 유의성 의사결정 트리

다음 의사 결정 트리는 A/B 테스트가 각 범주에 해당하는 시점을 보여줘요. 초록색 선은 답이 “예”임을 나타내고, 빨간색 선은 “아니요”임을 나타내요.

추가 자료