캠페인에 대한 A/B 테스트 결과를 검토하는 방법

학습 내용

A/B 테스트 결과 페이지에서 확인할 수 있는 데이터와 각 지표의 의미에 대해 알아보세요. 이 가이드의 정보는 이메일 캠페인과 SMS 캠페인을 통한 A/B 테스트에 모두 적용됩니다.

A/B 테스트 캠페인은 전송 전략에 어떤 변경 사항을 적용할지 쉽게 결정할 수 있도록 하여 잠재 고객에 대한 귀중한 인사이트를 제공할 수 있습니다. A/B 테스트의 승리 변수는 물론, 승리 신뢰도 비율 및 승리 지표 세부 정보와 같은 다른 중요한 요소도 알 수 있습니다.

A/B 테스트 결과

A/B 테스트 결과를 확인하려면 다음과 같이 하세요: 

1. 테스트 중인 캠페인으로 이동합니다.
2. 기본 캠페인 보고서의 A/B 테스트 결과 탭을 선택합니다.
   

테스트 개요

테스트 결과 섹션에 다음과 같은 스냅샷이 표시됩니다:

• 승리한 변형
  테스트가 완료되면 승리한 변형이 표시됩니다. 
• 상태
  A/B 테스트가 진행 중인지(즉, 분석 수집 중인지) 또는 완료되었는지 여부입니다.
• 당첨 확률
  무작위 확률을 고려한 후 당첨된 변수가 실제로 가장 높은 오픈, 클릭 또는 주문 비율을 기록할 확률과 이 확률이 통계적으로 유의미한 것으로 간주되는지 여부입니다.
• Lift
  승리한 변형이 다른 변형에 비해 얼마나 더 나은 성과를 냈는지입니다. 우승한 지표(예: 오픈율, 클릭률, 주문율)를 기준으로 계산됩니다. 3개 이상의 변형이 있는 테스트의 경우, 두 번째로 성능이 좋은 테스트가 비교에 사용됩니다.
• 우승 지표
  테스트에 사용된 메트릭에 대한 우승한 변형의 결과입니다. 예를 들어, 오픈율을 우승 지표로 선택한 경우 오픈율 백분율이 표시됩니다.

이러한 결과 아래에서 테스트의 모든 변형에 대한 오픈, 클릭 및 주문 비율을 검토할 수 있습니다.

상승도 계산 방법

상승률은 당첨된 동일한 이메일의 다른 버전에 표시된 상승률과 다릅니다. 이는 동일한 이메일의 다른 버전 옆에 표시되는 백분율은 해당 이메일과 상호 작용(열기, 클릭, 주문)한 사람들의 백분율이고, 상승률은 동일한 이메일의 다른 버전에 비해 개선된 비율이기 때문입니다, 클릭, 주문), 상승률은 같은 이메일의 다른 버전에 비해 우승자가 개선한 비율을 나타냅니다.

예를 들어 클릭률을 수상 지표로 사용하는 경우 같은 이메일의 다른 버전 A의 수신자 중 5/100(5%)이 클릭하고 같은 이메일의 다른 버전 B의 수신자 중 4/100(4%)이 클릭하는 경우입니다, 같은 이메일의 다른 버전 간의 차이는 1클릭입니다. 즉, 리프트가 1/5(20%)로 줄어든 것입니다. 즉, 같은 이메일의 다른 버전 A는 클릭률이 5%이고 같은 이메일의 다른 버전 B는 클릭률이 4%인 경우 상승률은 20%입니다.

개인화된 변형 결과

각 수신자에 대한 변형을 개인화하는 옵션을 선택한 경우 테스트 결과 페이지에 다음을 포함하여 약간 다른 메트릭이 표시됩니다:

• 총 A/B 테스트 상승도
  최상의 변형이 두 번째로 우수한 변형에 비해 얼마나 더 나은 성능을 보였는지 확인합니다. 우승한 지표(예: 오픈율 또는 클릭률)를 기준으로 계산됩니다.
• 개인화 상승도
  개인화 테스트가 표준 A/B 테스트보다 얼마나 더 성공적이었는지 백분율로 표시합니다.
• 개인화 클릭률
  선호하는 변형을 받은 모든 변형 프로필의 평균 클릭률입니다.
• 클라비요 AI가 도출한 프로필 특성
  특정 변형을 선호한 프로필의 패턴, 즉 어떤 요인이 특정 변형을 다른 변형보다 선호하게 했는지 파악하기 위해 AI가 사용한 데이터의 목록입니다. 각 이형 상품을 클릭하면 사용된 데이터가 이형 상품마다 다르므로 이를 확인할 수 있습니다.

승리 신뢰도 및 통계적 유의성 이해하기

예를 들어 제목에 이모티콘을 추가하는 것이 이메일 목록의 열람률에 영향을 미치는지 확인하고자 한다고 가정해 보겠습니다. 2명의 구독자에게만 테스트를 보냈는데 이모티콘의 오픈율이 더 높다면 나머지 이메일 목록에서도 같은 느낌을 받을 것이라고 단정적으로 말할 수는 없습니다. 대신 이메일 목록에 있는 100명을 대상으로 테스트한 결과 이모티콘의 열람률이 훨씬 더 높다는 사실을 발견했다면 제목에 이모티콘을 사용하는 것이 잠재 고객에게 더 좋다는 확신을 가질 수 있습니다.

승리 확률 아래에서 표시된 변동이 통계적으로 유의미한지 여부를 확인할 수 있습니다. 유의미한 것으로 간주되면 해당 변수가 승리 확률이 높다는 의미입니다(예: 90% 이상). 테스트는 유망하거나, 결정적이지 않거나, 통계적으로 유의미하지 않을 수도 있습니다. 클라비요의 통계적 유의성에 대해 자세히 알아보세요.

추가 리소스

• A/B 테스트를 위한 모범 사례
• 가입 양식을 A/B 테스트하는 방법
• 개별 흐름 이메일을 A/B 테스트하는 방법
• 캠페인 이메일을 A/B 테스트하는 방법