캠페인에 대한 A/B 테스트 결과를 검토하는 방법

학습 내용

A/B 테스트 결과 페이지에서 확인할 수 있는 데이터와 각 지표의 의미를 알아보세요. 이 가이드의 정보는 이메일 캠페인을 사용한 A/B 테스트와 SMS 캠페인 모두에 적용돼요.

A/B 테스트 캠페인을 사용하면 발송 전략을 어떻게 변경해야 하는지 쉽게 파악할 수 있어, 대상 고객에 대한 유용한 인사이트를 얻을 수 있어요. A/B 테스트에서 이기는 같은 이메일의 다른 버전을 알 수 있을 뿐만 아니라, 승리 신뢰도 백분율과 승리 지표 세부 정보 같은 다른 중요한 요소도 확인할 수 있어요.

A/B 테스트 결과

A/B 테스트 결과를 확인하려면:

1. 테스트 중인 캠페인으로 이동하세요.
2. 기본 캠페인 보고서에서 A/B 테스트 결과 탭을 선택하세요.
   

테스트 개요

테스트 결과 섹션에서 다음이 포함된 스냅샷을 확인할 수 있어요:

• 승리한 같은 이메일의 다른 버전
  테스트가 완료되면 승리한 같은 이메일의 다른 버전이에요.
• 상태
  A/B 테스트가 진행 중인지(즉, 분석 데이터를 수집 중인지) 또는 완료되었는지 여부예요.
• 승리 확률
  무작위로 인한 우연을 고려했을 때, 승리한 같은 이메일의 다른 버전이 실제로 가장 높은 오픈율, 클릭률 또는 주문율을 보였을 가능성과 이 확률이 통계적으로 유의미한지 여부예요.
• Lift
  우승한 같은 이메일의 다른 버전이 다른 같은 이메일의 다른 버전보다 얼마나 더 좋은 성과를 냈는지 보여줘요. 우승 지표(예: 이메일 열람률, 전환율 또는 주문율)를 기준으로 계산돼요. 같은 이메일의 다른 버전이 3개 이상인 테스트에서는 두 번째로 성과가 좋은 테스트를 비교 대상으로 사용해요.
• 성과가 가장 좋은 지표
  테스트에 사용된 지표에 대한 성과가 가장 좋은 같은 이메일의 다른 버전의 결과입니다. 예를 들어, 이메일 열람률이 우승 지표로 선택되었다면 이메일 열람률 백분율이 표시돼요.

이 결과 아래에서 테스트의 각 같은 이메일의 다른 버전에 대한 열람률, 클릭률, 주문율을 확인할 수 있습니다.

상승도 계산 방법

상승률은 우승한 같은 이메일의 다른 버전에 표시되는 비율과 다릅니다. 이는 각 같은 이메일의 다른 버전 옆에 표시되는 비율은 이메일에 상호작용한 사람(열기, 클릭, 주문 완료)의 비율인 반면, 상승률은 우승한 같은 이메일의 다른 버전이 다른 같은 이메일의 다른 버전 대비 얼마나 개선되었는지를 나타내는 비율이기 때문입니다.

예를 들어, 전환율을 승리 지표로 사용 중이고 같은 이메일의 다른 버전 A에서 5/100(5%)명의 수신자가 클릭하고 같은 이메일의 다른 버전 B에서 4/100(4%)명의 수신자가 클릭했다면, 두 같은 이메일의 다른 버전 간 차이는 클릭 1회예요. 즉, 상승률은 1/5(20%)였어요. 즉, 같은 이메일의 다른 버전 A의 전환율이 5%이고 같은 이메일의 다른 버전 B의 전환율이 4%일 때 상승률은 20%였어요.

같은 이메일의 다른 버전 결과를 개인 맞춤 설정하기

각 수신자에 대해 같은 이메일의 다른 버전을 개인화하는 옵션을 선택한 경우, 다음을 포함해 테스트 결과 페이지에서 약간 다른 지표를 확인할 수 있어요.

• 총 A/B 테스트 향상
  최고 성과를 낸 같은 이메일의 다른 버전이 두 번째로 좋은 같은 이메일의 다른 버전보다 얼마나 더 좋은 성과를 냈는지 보여줘요. 우승 지표(예: 이메일 열람률 또는 전환율)를 기준으로 계산돼요.
• 개인화 향상
  개인화된 테스트가 표준 A/B 테스트보다 얼마나 더 성공적이었는지에 대한 비율입니다.
• 개인화 전환율
  선호하는 같은 이메일의 다른 버전을 받은 프로필의 모든 같은 이메일의 다른 버전에서의 평균 전환율입니다.
• Klaviyo AI에서 도출한 프로필 특성
  특정 같은 이메일의 다른 버전을 선호한 프로필들 사이의 패턴을 AI가 판단하는 데 사용한 데이터 목록이에요. 즉, 어떤 요인이 한 사람이 한 같은 이메일의 다른 버전을 다른 버전보다 선호하게 만들었을 가능성이 높은지 보여줘요. 각 같은 이메일의 다른 버전을 클릭하면 사용된 데이터를 확인할 수 있어요. 같은 이메일의 다른 버전마다 데이터가 달라요.

승리 신뢰도와 통계적 유의성 이해하기

예를 들어, 제목에 이모지를 추가하는 것이 이메일 리스트의 이메일 열람률에 영향을 미치는지 확인하고 싶다고 해 볼게요. 테스트를 구독자 2명에게만 보내고 이모지가 이메일 열람률이 더 높게 나왔다면, 이메일 리스트의 나머지도 같은 방식으로 느낄 거라고 단정할 수 없어요. 대신 이메일 리스트에서 100명을 대상으로 테스트했는데 이모지가 이메일 열람률이 훨씬 더 높다는 결과가 나왔다면, 제목에 이모지를 사용하는 것이 대상에게 더 낫다고 훨씬 더 자신 있게 말할 수 있을 거예요.

승리 확률에서 표시된 같은 이메일의 다른 버전이 통계적으로 유의미한지 여부를 확인할 수 있어요. 유의미하다고 판단되면, 이는 해당 같은 이메일의 다른 버전의 승리 확률이 높다는 뜻이에요(즉, 90% 이상). 테스트는 유망하거나, 결론을 내릴 수 없거나, 통계적으로 유의미하지 않을 수도 있어요. Klaviyo의 통계적 유의성에 대해 자세히 알아보세요.