캠페인에 대한 A/B 테스트 결과를 검토하는 방법

학습 내용

A/B 테스트 결과 페이지에서 확인할 수 있는 데이터와 각 지표가 의미하는 바를 알아보세요. 이 가이드의 정보는 이메일 캠페인과 SMS 캠페인에서의 A/B 테스트 모두에 적용돼요.

A/B 테스트 캠페인은 전송 전략에서 어떤 변경을 해야 하는지 쉽게 파악할 수 있어, 고객에게 유용한 인사이트를 제공할 수 있어요. A/B 테스트에서 어떤 같은 이메일의 다른 버전이 승리했는지뿐만 아니라, 승리 확률과 승리 지표 세부정보 같은 다른 중요한 요소도 확인할 수 있어요.

A/B 테스트 결과

A/B 테스트 결과를 확인하려면:

1. 테스트 중인 캠페인으로 이동하세요.
2. 기본 캠페인 보고서에서 A/B 테스트 결과 탭을 선택하세요.
   

테스트 개요

표준 A/B 테스트의 경우 테스트 개요 섹션에 다음 내용이 표시돼요:

• 승리한 같은 이메일의 다른 버전
  테스트가 완료되면 보고 있는 결과에서 승리한 지표가 가장 높은 같은 이메일의 다른 버전이 선택돼요.
• 상태
  A/B 테스트가 진행 중인지(즉, 분석 데이터를 수집 중인지) 또는 완료되었는지 여부예요.
• 승리 확률
  무작위로 인한 우연을 고려했을 때, 승리한 같은 이메일의 다른 버전이 실제로 가장 높은 오픈율, 클릭률 또는 주문율을 보였을 가능성과 이 확률이 통계적으로 유의미한지 여부예요.
• Lift
  우승한 같은 이메일의 다른 버전이 다른 같은 이메일의 다른 버전보다 얼마나 더 좋은 성과를 냈는지 보여줘요. 우승 지표(예: 이메일 열람률, 전환율 또는 주문율)를 기준으로 계산돼요. 같은 이메일의 다른 버전이 3개 이상인 테스트에서는 두 번째로 성과가 좋은 테스트를 비교 대상으로 사용해요.
• 성과가 가장 좋은 지표
  테스트에 사용된 지표에 대한 성과가 가장 좋은 같은 이메일의 다른 버전의 결과입니다. 예를 들어, 이메일 열람률이 우승 지표로 선택되었다면 이메일 열람률 백분율이 표시돼요.

이 결과 아래에서 이메일의 경우 같은 이메일의 다른 버전별 오픈율 및 전환율을, 또는 SMS의 전환율을 확인할 수 있어요. 또한 전환 지표를 사용할 수 있는 경우 표에 전환 결과가 표시돼요, 이는 항상 주문 완료(Placed Order)는 아니에요.

전체 대상보다 작은 테스트 그룹으로 완료된 표준 A/B 테스트의 경우 테스트 개요의 탭을 사용해 다음을 비교해 보세요:

• 테스트 기간 결과 에는 테스트 그룹의 수신자가 테스트 기간 동안 보인 상호작용이 표시돼요.
• 연속 결과 에는 동일한 테스트 그룹의 이후 상호작용이 포함돼요. 결과가 더 들어오면 선두 같은 이메일의 다른 버전이 바뀔 수 있어요.

테스트 기간 이후 남은 수신자에게 전송된 승리한 같은 이메일의 다른 버전과의 상호작용을 확인하려면 아래의 승리한 발송 요약을 검토해 주세요.

상승도 계산 방법

리프트 비율은 우승한 같은 이메일의 다른 버전에 표시되는 비율과 달라요. 이는 각 같은 이메일의 다른 버전 옆에 표시되는 비율이 메시지와 상호작용한 사람의 비율(열기, 클릭, 주문 완료)인 반면, 리프트는 우승한 같은 이메일의 다른 버전이 다른 같은 이메일의 다른 버전보다 얼마나 개선되었는지를 나타내는 비율이기 때문이에요.

예를 들어, 우승 지표로 전환율을 사용하고 같은 이메일의 다른 버전 A에서 수신자 5/100(5%)이 클릭하고 같은 이메일의 다른 버전 B에서 수신자 4/100(4%)이 클릭한다면, 차이는 1퍼센트포인트예요. 리프트는 그 차이를 같은 이메일의 다른 버전 B의 전환율과 비교해요: (5% − 4%) / 4% × 100 = 25%. 따라서 같은 이메일의 다른 버전 A의 전환율은 5%이고, 같은 이메일의 다른 버전 B 대비 리프트는 25%예요.

같은 이메일의 다른 버전 결과를 개인 맞춤 설정하기

수신자별로 개인화된 같은 이메일의 다른 버전을 선택했다면, 테스트가 완료되면 테스트 기간 결과를 선택해 다음 지표를 확인해 보세요:

• 총 A/B 테스트 상승 효과
  승리한 지표(이메일 열람률 또는 전환율)를 기준으로, 표준 A/B 테스트에서 개인화된 같은 이메일의 다른 버전이 두 번째로 성과가 좋은 같은 이메일의 다른 버전과 비교해 얼마나 개선되는지에 대한 추정치예요.
• 개인화 향상
  표준 A/B 테스트에서 승리한 같은 이메일의 다른 버전을 모두에게 보내는 것과 비교했을 때, 개인화된 같은 이메일의 다른 버전으로 인한 예상 개선 효과입니다.
• 개인화 이메일 열람률 또는 개인화 전환율
  Klaviyo에서 수신자가 선호할 것으로 예측한 같은 이메일의 다른 버전을 받은 테스트 수신자를 기준으로, 개인화된 같은 이메일의 다른 버전에 대한 예상 이메일 열람률 또는 전환율입니다. 표시되는 지표는 선택한 우승 지표에 따라 다릅니다.
• Klaviyo AI에서 도출한 프로필 특성
  특정 같은 이메일의 다른 버전에 대해 참여할 가능성이 더 높았던 수신자와 관련된 특성이에요. 각 같은 이메일의 다른 버전을 펼쳐서 특성을 확인해 보세요. 특성은 같은 이메일의 다른 버전마다 다를 수 있어요.

테스트 기간 이후 전송된 개인화된 같은 이메일의 다른 버전과의 상호 작용을 확인하려면 개인화된 전송 요약을 검토해 주세요.

승리 확률과 통계적 유의성 이해하기

예를 들어, 제목에 이모지를 추가하는 것이 이메일 리스트의 이메일 열람률에 영향을 미치는지 확인하고 싶다고 해 볼게요. 테스트를 구독자 2명에게만 보내고 이모지가 이메일 열람률이 더 높게 나왔다면, 이메일 리스트의 나머지도 같은 방식으로 느낄 거라고 단정할 수 없어요. 대신 이메일 리스트에서 100명을 대상으로 테스트했는데 이모지가 이메일 열람률이 훨씬 더 높다는 결과가 나왔다면, 제목에 이모지를 사용하는 것이 대상에게 더 낫다고 훨씬 더 자신 있게 말할 수 있을 거예요.

승리 확률에서 완료된 표준 A/B 테스트는 통계적 유의성 라벨을 표시할 수 있어요. 승리 확률이 90%를 초과하고 각 같은 이메일의 다른 버전에 성공적인 이메일 전달이 50건을 초과하거나 SMS 전달 시도가 50건을 초과할 때 결과는 통계적으로 유의해요. 테스트는 유망하거나, 결론을 내리기 어렵거나, 통계적으로 유의하지 않을 수도 있어요. 결과가 유망한 경우에는 결과를 확인하기 위해 테스트를 반복해 주세요. 결정적이지 않은 결과에는 유의성 레이블이 표시되지 않아요. Klaviyo에서의 통계적 유의성에 대해 자세히 알아보세요.

추가 자료