학습 내용
제목, 할인, 이메일 콘텐츠 등을 포함한 개별 이메일을 하나의 흐름으로 테스트하기 위해 클라비요의 A/B 테스트 환경을 사용하는 방법을 알아보세요. A/B 테스트를 사용하여 일반 텍스트 이메일이 이미지가 많은 HTML 이메일보다 실적이 더 좋은지 확인할 수도 있습니다.
흐름 및 A/B 테스트 정보흐름 및 A/B 테스트 정보
플로우 이메일 A/B 테스트에는 다음과 같은 프로세스가 포함됩니다:
- 단일 흐름 이메일을 만들고 이 이메일을 평소와 마찬가지로 특정 시간 또는 일 후에 보내도록 예약합니다.
- 이 단일 흐름 이메일에 대해 두 가지 이상의 이메일 변형 구성 - 각 변형의 제목 또는 핵심 이메일 콘텐츠를 조정합니다.
- 각 변형의 가중치를 선택하여 각 이메일을 수신할 수신자의 비율을 설정합니다.
- 통계적 유의성에 도달한 후 자동으로 우승 변형이 선택되거나, 변형 중 가장 높은 오픈율 또는 가장 높은 클릭률을 기준으로 수동으로 우승자를 선택할 수 있습니다.
플로우 이메일 A/B 테스트 수행
플로우 빌더를 통해 A/B 테스트를 쉽게 만들 수 있습니다. 이메일에 대한 테스트가 완료된 후 필요한 경우 나중에 동일한 이메일에 대해 다른 테스트를 만들 수 있습니다.
새 테스트 만들기새 테스트 만들기
- 모든 플로우에서 개별 이메일에 대한 A/B 테스트를 설정하려면 플로우 빌더에서 이메일을 클릭합니다.
- 아직 구성하지 않았다면 이메일 내용을 구성합니다.
-
이메일 세부
정보 패널에서 A/B 테스트 만들기를 클릭합니다.
기존 플로우 이메일에 대한 A/B 테스트를 만들면 이메일의 새 복사본이 두 개 생성됩니다. 플로우 이메일이 라이브 상태이고 이미 전송된 경우, A/B 테스트가 게시되면 이러한 각 사본에 대한 분석이 별도로 추적됩니다. 변형을 추가한 후에는 원래 이메일에 대한 분석을 계속 추적하지 않습니다.
변형 편집
새 시험을 생성하면 콘텐츠 관리 창의 A/B 시험 탭으로 바로 이동합니다. 모든 테스트에는 자동으로 2개의 변형이 포함됩니다. 이형 상품을 클릭하면 이형 상품 이름, 제목, 미리 보기 텍스트, 발신자 이름 및 발신자 이메일 주소를 편집할 수 있습니다.
- 이메일 내용을 수정하려면 오른쪽의 이메일 미리 보기 위에 있는 이메일 수정 버튼을 클릭합니다.
새 변형 추가
다른 변형을 추가하려면 기존 2개의 변형 중 하나를 복제해야 합니다.
- 새 이형 상품의 기반이 될 이형 상품의 오른쪽에 있는 복제 아이콘을 클릭합니다.
- 이렇게 하면 원래의 두 가지 변형과 구별되도록 수정할 수 있는 새 변형이 생성됩니다.
이형 상품 삭제
A/B 테스트에는 변형이 2개 이상 있어야 하므로 변형이 3개 이상인 경우에만 변형을 삭제할 수 있습니다. 또한 테스트가 초안 상태일 때만 변형을 삭제할 수 있습니다. 라이브 A/B 테스트에서는 변형을 삭제할 수 없습니다.
- 이형 상품을 삭제하려면 삭제하려는 이형 상품의 오른쪽에 있는 휴지통 아이콘을 클릭합니다.
각 변형의 가중치 선택
A/B 테스트 탭의 하단에는 각 변형의 가중치를 편집할 수 있는 테스트 설정 섹션이 있으며, 여기에서 각 변형을 수신할 수신자의 비율을 설정할 수 있습니다.
일반적으로 각 변형의 무게를 동일하게 측정하는 것이 좋지만 백분율을 원하는 금액으로 변경할 수 있습니다.
배포를 자동으로 선택하는 옵션을 선택할 수도 있습니다. 이렇게 하면 처음에는 각 변형에 대해 동일한 분포가 설정됩니다. 시간이 지남에 따라 변종 중 하나가 다른 변종보다 성능이 더 우수한 경우, 클라비요는 테스트가 실행되는 동안 더 많은 수신자를 더 우수한 성능의 변종으로 안내하도록 자동으로 배포를 조정합니다.
당첨자 선택 구성
테스트는 기본적으로 클릭률에 따라 자동으로 우승자를 선택하도록 설정되어 있지만, 이를 변경할 수 있습니다.
-
A/B 테스트 탭 하단의 테스트 설정 섹션에서 우승자 선택 아래의 구성 링크를 클릭하여 우승자 선택을 구성할 수도 있습니다.
-
수상 지표를 이메일 열람률로변경할 수 있는 모달이 나타납니다.
플로우 이메일의 경우 이메일 열람률과 클릭률만 수상 지표로 사용할 수 있습니다.
이메일 열람률이 부풀려질 수 있는 요인은 Apple 메일 개인정보 보호(MPP) 등 여러 가지가 있으므로 클릭률을 사용하는 것이 좋습니다. MPP 공개에 대한 자세한 내용은 iOS 15: Apple의 변경 사항에 대비하는 방법 가이드를 참조하세요. -
자동 당첨자 선택 섹션에는 두 가지 옵션이 있습니다:
- 통계적으로 높은 확실성(통계적 유의성)으로 승리한 메트릭이 승리한 것으로 판단되면 테스트 종료: 이 옵션은 기본적으로 선택되어 있습니다. 대신 테스트를 수동으로 종료하려면 이 옵션 옆의 확인란을 선택 취소하거나 특정 날짜 이후에 테스트를 종료하는 옵션을 선택합니다.
- 날짜 제한 설정: 이 옵션을 사용하면 특정 날짜를 선택하여 테스트를 자동으로 종료할 수 있습니다.
- 두 옵션을 모두 선택하면 통계적 유의성에 도달하거나 지정된 날짜에 도달하는 경우 중 먼저 발생하는 옵션에 따라 테스트가 종료됩니다.
- 설정 저장 버튼을클릭하여 구성을 확인합니다.
테스트 게시
- 변형을 구성했으면 테스트를 게시할 준비가 된 것입니다. A/B 테스트 탭에서 오른쪽 상단의 테스트 게시 버튼을 클릭합니다.
- 게시를 확인하라는 모달이 나타납니다. 테스트 게시 버튼을 클릭하여 확인합니다.
시험 삭제
- 테스트를 삭제하려면 A/B 테스트 탭에서 테스트 게시 버튼 옆의 화살표를 클릭하고 삭제를 선택합니다.