플로우 이메일을 A/B 테스트하는 방법

학습 내용

제목, 할인, 이메일 콘텐츠 등을 포함한 개별 이메일을 하나의 흐름으로 테스트하기 위해 클라비요의 A/B 테스트 환경을 사용하는 방법을 알아보세요. A/B 테스트를 사용하여 일반 텍스트 이메일이 이미지가 많은 HTML 이메일보다 실적이 더 좋은지 확인할 수도 있습니다.

흐름 및 A/B 테스트 정보

플로우 이메일 A/B 테스트에는 다음과 같은 프로세스가 포함됩니다:

1. 단일 흐름 이메일을 만들고 이 이메일을 평소와 마찬가지로 특정 시간 또는 일 후에 보내도록 예약합니다.
2. 이 단일 흐름 이메일에 대해 두 가지 이상의 이메일 변형 구성 - 각 변형의 제목 또는 핵심 이메일 콘텐츠를 조정합니다.
3. 각 변형의 가중치를 선택하여 각 이메일을 수신할 수신자의 비율을 설정합니다.
4. 통계적 유의성에 도달한 후 자동으로 우승 변형이 선택되거나, 변형 중 가장 높은 오픈율 또는 가장 높은 클릭률을 기준으로 수동으로 우승자를 선택할 수 있습니다.

플로우 이메일 A/B 테스트 수행

플로우 빌더를 통해 A/B 테스트를 쉽게 만들 수 있습니다. 이메일에 대한 테스트가 완료된 후 필요한 경우 나중에 동일한 이메일에 대해 다른 테스트를 만들 수 있습니다. 

새 테스트 만들기

1. 모든 플로우에서 개별 이메일에 대한 A/B 테스트를 설정하려면 플로우 빌더에서 이메일을 클릭합니다.
2. 아직 구성하지 않았다면 이메일 내용을 구성합니다.
3. 이메일 세부 정보 패널에서'A/B 테스트 생성'을 클릭합니다.
   

변형 편집

새 시험을 생성하면 콘텐츠 관리 창의 A/B 시험 탭으로 바로 이동합니다. 모든 테스트에는 자동으로 2개의 변형이 포함됩니다. 이형 상품을 클릭하면 이형 상품 이름, 제목, 미리 보기 텍스트, 발신자 이름 및 발신자 이메일 주소를 편집할 수 있습니다.

1. 이메일 내용을 수정하려면 오른쪽의 이메일 미리 보기 위에 있는 이메일 수정 버튼을 클릭합니다.
   

새 변형 추가

다른 이메일의 다른 버전을 추가하려면, 기존 2개의 같은 이메일의 다른 버전 중 1개를 복제해야 합니다. 

1. 새 이형 상품의 기반이 될 이형 상품의 오른쪽에 있는 복제 아이콘을 클릭합니다.
   
2. 이 작업은 원본과 구분되도록 수정할 수 있는 새로운 "같은 이메일의 다른 버전"을 생성합니다.
   

이형 상품 삭제

A/B 테스트에는 변형이 2개 이상 있어야 하므로 변형이 3개 이상인 경우에만 변형을 삭제할 수 있습니다. 또한 테스트가 초안 상태일 때만 변형을 삭제할 수 있습니다. 라이브 A/B 테스트에서는 변형을 삭제할 수 없습니다.

1. 이형 상품을 삭제하려면 삭제하려는 이형 상품의 오른쪽에 있는 휴지통 아이콘을 클릭합니다.
   

각 변형의 가중치 선택

A/B 테스트 탭의 하단에는 각 변형의 가중치를 편집할 수 있는 테스트 설정 섹션이 있으며, 여기에서 각 변형을 수신할 수신자의 비율을 설정할 수 있습니다. 

배포를 자동으로 선택하는 옵션을 선택할 수도 있습니다. 이렇게 하면 처음에는 각 변형에 대해 동일한 분포가 설정됩니다. 시간이 지남에 따라 변종 중 하나가 다른 변종보다 성능이 더 우수한 경우, 클라비요는 테스트가 실행되는 동안 더 많은 수신자를 더 우수한 성능의 변종으로 안내하도록 자동으로 배포를 조정합니다.

당첨자 선택 구성

테스트는 기본적으로 클릭률에 따라 자동으로 우승자를 선택하도록 설정되어 있지만, 이를 변경할 수 있습니다.

1. A/B 테스트 탭 하단의 테스트 설정 섹션에서 우승자 선택 아래의 구성 링크를 클릭하여 우승자 선택을 구성할 수도 있습니다.
   
   
   
2. 모달 창이 표시되며, 여기서 'Winning 지표'를 '이메일 열람률 '로 변경할 수 있습니다.
   플로우 이메일의 경우 이메일 열람률과 클릭률만 수상 지표로 사용할 수 있습니다.
   이메일 열람률이 부풀려질 수 있는 요인은 Apple 메일 개인정보 보호(MPP) 등 여러 가지가 있으므로 클릭률을 사용하는 것이 좋습니다. MPP 공개에 대한 자세한 내용은 iOS 15: Apple의 변경 사항에 대비하는 방법 가이드를 참조하세요.
   
3. 자동 우승자 선택 섹션에는 2개의 옵션이 있습니다:
   1. 통계적으로 높은 확실성(통계적 유의성)으로 승리한 메트릭이 승리한 것으로 판단되면 테스트 종료: 이 옵션은 기본적으로 선택되어 있습니다. 대신 테스트를 수동으로 종료하려면 이 옵션 옆의 확인란을 선택 취소하거나 특정 날짜 이후에 테스트를 종료하는 옵션을 선택합니다.
   2. 날짜 제한 설정: 이 옵션을 사용하면 특정 날짜를 선택하여 테스트를 자동으로 종료할 수 있습니다.
4. 두 옵션을 모두 선택하면 통계적 유의성에 도달하거나 지정된 날짜에 도달하는 경우 중 먼저 발생하는 옵션에 따라 테스트가 종료됩니다.
5. 설정 저장 버튼을 클릭하여 설정을 확인하세요.

테스트 게시

1. 변형을 구성했으면 테스트를 게시할 준비가 된 것입니다. A/B 테스트 탭에서 오른쪽 상단의 테스트 게시 버튼을 클릭합니다.
   
   
   
2. 모달 창이 표시되어 게시를 확인하라는 메시지가 표시됩니다. 테스트 게시 버튼을 클릭하여 확인하세요.
   

시험 삭제

1. 테스트를 삭제하려면 A/B 테스트 탭에서 테스트 게시 버튼 옆의 화살표를 클릭하고 삭제를 선택합니다.
   

A/B 테스트 결과 보기

1. 플로우 빌더 내에서 이메일을 클릭하고 테스트 보기 버튼을 클릭하면 테스트가 실행 중이거나 완료된 후 결과를 볼 수 있습니다.
   

그러면 다음 지표를 볼 수 있는 A/B 테스트 결과 페이지로 이동합니다:

• 수신자
  이메일을 받은 사람 수
• 열람
  이메일을 열어본 사람의 비율/수 
• 클릭 수
  이메일을 클릭한 비율/인원 수
• 전환 지표
  이메일에 대한 선택된 전환 지표(예: 주문 완료)를 트리거한 총 수신자 수.

A/B 테스트 결과 페이지에 대한 자세한 내용은 흐름에 대한 이메일 A/B 테스트 결과를 검토하는 방법에 대한 도움말 문서를 참조하세요.

수동으로 우승자 선택

대부분의 경우 A/B 테스트가 자동으로 승자를 선택할 때까지 기다리는 것이 좋지만, A/B 테스트를 조기에 종료하고 싶은 상황이 있을 수 있습니다. 이 경우 아래 단계를 따르세요.

1. A/B 테스트 결과 페이지에서 페이지 오른쪽 상단의 우승자 선택 버튼을 클릭하여 테스트의 우승 변형을 수동으로 선택할 수 있습니다.
   
   
   
2. 모달 창이 표시되어 기존에 동일한 이메일 주소로 전송된 다른 버전 중에서 각 버전별로 우승자를 선택하도록 요청합니다. 드롭다운 메뉴에서 당첨되기를 원하는 동일한 이메일의 다른 버전을 선택한 후 '당첨자 선택' 버튼을 클릭하세요.
   

추가 리소스

플로우에서의 A/B 테스트에 대해 자세히 알아보세요:

• 흐름 브랜치 A/B 테스트
• A/B 테스트를 위한 모범 사례