Klaviyo 캠페인에서 통계적 유의성 이해하기

학습 내용

A/B 테스트가 통계적으로 유의미한지 판단하는 방법을 알아보세요. 예를 들어, 캠페인의 같은 이메일의 다른 버전 A의 이메일 열람률이 15%이고 같은 이메일의 다른 버전 B의 이메일 열람률이 14%라면, 어떤 같은 이메일의 다른 버전이 더 좋은 성과를 냈는지 어떻게 알 수 있을까요?

Apple Mail Privacy Protection 관련 참고 사항

iOS 15, macOS Monterey, iPadOS 15, watchOS 8이 출시되면서 Apple 메일 개인정보 보호(MPP)는 추적 픽셀을 미리 가져와서 이메일 열람률 데이터를 수신하는 방식을 변경했습니다. 이러한 변경 사항으로 인해 이메일 열람률이 과장될 수 있다는 점을 알아야 합니다.

A/B 테스트에서 이메일 열람률을 승리 지표로 사용하는 경우 MPP 열람이 포함돼요. 통계적 유의성만으로는 수신자가 이메일을 의도적으로 열었다는 사실이 입증되지는 않아요. MPP로 인해 이메일 열람률 결과를 해석하기 어려운 경우 전환율을 고려해 보세요. MPP가 대상자에게 어떤 영향을 미치는지 이해하려면 MPP 속성이 포함된 맞춤 보고서를 만들어 보세요. 개별 구독자 세그먼트에서도 이러한 오픈을 파악할 수 있어요.

MPP 오픈에 대한 자세한 내용은 iOS 15: Apple의 변경 사항에 대한 준비 방법 가이드를 참조하십시오.

통계적 유의성 범주

통계적 유의성은 선택한 승리 지표에서 같은 이메일의 다른 버전 중 하나가 다른 버전보다 더 좋은 성과를 낸다는 강력한 근거가 있다는 뜻이에요. 캠페인의 경우, Klaviyo는 오디언스 규모와 승리 확률을 모두 평가해요. 승리 확률은 테스트 데이터를 기반으로, 해당 지표에서 같은 이메일의 다른 버전이 가장 높은 비율을 보일 것으로 추정되는 가능성이에요.

A/B 테스트를 진행할 때는 대상 고객에게 큰 영향을 줄 수 있는 요인은 피해야 해요, 예를 들어, 휴일 연휴처럼 대상 고객이 이메일을 확인할 가능성이 훨씬 높은 시기에는 재테스트하지 마세요.

캠페인 A/B 테스트의 경우 통계적 유의성에는 4가지 범주가 있어요:

• 통계적으로 유의미함
• 유망
• 통계적으로 유의미하지 않음
• 결정되지 않음

결과를 확인하려면 캠페인 보고서를 열고 A/B 테스트 결과를 선택해 주세요. 테스트가 완료되면 승리 확률 아래를 확인해 주세요. 테스트 기간 결과와 지속 결과를 모두 사용할 수 있는 경우, 승자가 선택되기 전에 수집된 데이터를 평가하려면 테스트 기간 결과를 선택해 주세요. 지속적인 결과 에는 테스트 수신자의 이후 활동이 포함돼요.

통계적으로 유의미함

A/B 테스트에 표시되는 통계적으로 유의미함 라벨은 테스트 데이터를 기반으로, 선택한 지표에서 같은 이메일의 다른 버전 중 하나가 다른 옵션(들)보다 더 높은 성과를 낼 가능성이 매우 높다는 뜻이에요. 배운 내용을 바탕으로 향후 전송을 계획할 수 있지만, 대상, 메시지 또는 전송 시간이 달라지면 같은 결과가 나온다는 것을 보장하지는 않아요.

Klaviyo 캠페인의 경우 A/B 테스트 결과는 다음과 같은 경우에 통계적으로 유의미한 것으로 간주돼요:

• 각 같은 이메일의 다른 버전에는 이메일의 경우 성공적으로 전달된 횟수가 50회 이상이거나, SMS의 경우 수신자가 50명 이상 있어요.
• 승리 확률이 90%보다 높아요.

이 기준은 선택한 승리 지표(이메일 열람률, 전환율 또는 주문율)에 대한 결과 신뢰도와 오디언스 규모를 결합한 것입니다. 표시되는 승리 확률은 반올림되므로, 기준점에 가까운 값을 해석할 때는 결과 라벨 또는 알림을 참고해 주세요.

예를 들어, 제목에 이모지를 넣는 것이 이메일 열람률에 영향을 주는지 테스트하고 있다고 해 볼게요. 결과를 보면 이모지가 포함된 같은 이메일의 다른 버전이 승리했고, 통계적으로 유의미함 라벨이 표시돼 있어요. 이는 해당 대상에게 비슷한 발송에서 이모지를 사용하는 것을 뒷받침하지만, 모든 캠페인에서 이모지가 이메일 열람률을 일관되게 개선한다는 것을 입증하는 것은 아니에요.

하지만 테스트 결과를 바탕으로 조치를 취할 때는 항상 최선의 판단을 해야 해요. 예를 들어 더 진지하거나 엄숙한 메시지를 보내는 경우 이모지는 사용하기에 적절하지 않을 수 있어요.

유망

결과가 유망할 때는 같은 이메일의 다른 버전 중 하나가 다른 버전(들)보다 더 잘 수행되는 것처럼 보이지만, 테스트만으로는 근거가 충분히 강하지 않아요. 유망한 결과에는 유의성 라벨이 없어요. 완료된 테스트의 경우, 알림에서 테스트를 반복할 것을 권장해요. Test period results를 사용할 수 있다면, 이 알림은 그곳에서 확인해 주세요. Continuous results에서 다른 같은 이메일의 다른 버전이 앞서면, 대신 우승자 변경에 대한 알림이 표시돼요.

유망한 결과가 나왔다면, 결과가 유지되는지 확인하기 위해 비슷한 A/B 테스트를 한 번 더 진행해 보세요. 이모지 예시로 돌아가 보면, 유망한 결과가 반복되면 패턴이 있다는 신호일 수는 있지만, 그것만으로 통계적 유의성이 확인되는 것은 아니에요. 이모지가 모든 캠페인을 개선해 줄 거라고 단정하기보다는, 이를 바탕으로 추가 테스트를 진행하는 데 활용해 보세요.

캠페인의 경우 A/B 테스트 결과는 다음과 같은 경우 유망한 것으로 간주돼요:

• 각 같은 이메일의 다른 버전에는 이메일의 경우 성공적으로 전달된 횟수가 50회 이상이거나, SMS의 경우 수신자가 50명 이상 있어요.
• 승리 확률은 75%보다 크고 90%를 넘지 않아야 합니다.

통계적으로 유의미하지 않음

통계적으로 유의미하지 않은 결과는 테스트에서 선도하는 같은 이메일의 다른 버전이 더 잘 수행한다는 것을 뒷받침할 만큼 충분히 강한 근거를 제공하지 않는다는 뜻이에요. 결과가 통계적으로 유의미하지 않더라도 같은 이메일의 다른 버전이 우승자로 선택될 수 있어요.

예를 들어, 이 경우 이모지가 포함된 같은 이메일의 다른 버전이 이모지가 없는 같은 이메일의 다른 버전(들)보다 더 나은 성과를 냈을 수 있지만, 그 차이는 매우 미미해서 테스트 결과가 유의미하다고 보기에는 충분하지 않다는 뜻일 수 있습니다.

이 경우 이 요인을 2~3회 더 다시 테스트하고 결과를 면밀히 살펴보는 것을 권장해요.

계속해서 테스트 결과가 통계적으로 유의하지 않은 것으로 판단된다면 테스트를 계속하지 마세요. 대신 다른 주제를 A/B 테스트해 보세요. 테스트가 이 범주에 해당하면 A/B 테스트 결과 페이지에 통계적으로 유의하지 않음 라벨이 표시돼요.

캠페인의 경우, 결과를 통계적으로 유의하지 않음으로 분류하려면 같은 이메일의 다른 버전마다 이메일은 성공적인 전송이 50건을 초과하거나, SMS는 수신자가 50명을 초과해야 해요. 이 최소 기준을 충족하면, 다음 조건 중 하나에 해당해요:

• 승리 확률이 75% 이하이고, 각 같은 이메일의 다른 버전은 이메일의 경우 성공적으로 1,800회 이상 전달되었거나 SMS의 경우 수신자가 1,800명 이상이에요.
• 승리 확률이 60% 미만이며, 1위와 2위 같은 이메일의 다른 버전 간 승리 지표의 차이가 4퍼센트 포인트 미만이에요.

결정되지 않음

테스트 결과가 불확실하면, 어떤 같은 이메일의 다른 버전이 더 좋은 성과를 내는지 판단할 정보가 충분하지 않아요. 어떤 같은 이메일의 다른 버전이든 이메일의 성공적인 전송이 50건 이하이거나 SMS의 수신자가 50명 이하이면, 승리 확률과 관계없이 결과는 불확실해요. 다른 어떤 카테고리의 기준에도 해당하지 않는 결과도 불확실해요. 다음 섹션의 의사 결정 트리를 사용해 카테고리를 시각적으로 확인할 수 있어요. 불확실한 테스트는 결과 페이지에 통계적 유의성 레이블이 표시되지 않아요.

이런 경우에는 후속 테스트를 위해 오디언스를 더 확대해 보는 것이 좋을 수 있어요. 테스트 중인 그룹 규모가 작다면, 결과는 상황에 맞게 해석하고 재테스트해서 발견한 내용이 정확한지 확인해 보세요. 또한 설문조사, 투표 등 다른 방법으로도 구독자에 대해 알아보는 데 집중해 보세요.

통계적 유의성 의사결정 트리

다음 의사 결정 트리는 A/B 테스트가 각 범주에 해당하는 시점을 보여줘요. 초록색 선은 답이 “예”임을 나타내고, 빨간색 선은 “아니요”임을 나타내요.

추가 자료