플로우 이메일 A/B 테스트 방법

학습 내용

Klaviyo의 A/B 테스트 환경을 사용해 플로우에서 개별 이메일을 테스트하는 방법을 알아보세요. 예를 들어 제목, 할인, 이메일 콘텐츠 등을 테스트할 수 있어요. A/B 테스트를 사용해 일반 텍스트 이메일이 이미지가 많은 HTML 이메일보다 더 좋은 성과를 내는지 확인할 수도 있어요.

플로우 및 A/B 테스트 정보

플로우 이메일 A/B 테스트에는 다음과 같은 프로세스가 포함돼요:

1. 단일 플로우 이메일을 만들고, 평소처럼 일정 수의 시간 또는 일 수가 지난 후에 이 이메일이 전송되도록 예약해요.
2. 이 단일 플로우 이메일에 대해 2개 이상의 같은 이메일의 다른 버전을 구성하고, 각 같은 이메일의 다른 버전마다 제목 또는 핵심 이메일 콘텐츠를 조정하세요.
3. 각 같은 이메일의 다른 버전의 가중치를 선택하여 각 이메일을 받을 수신자 비율을 설정하는 작업이에요.
4. 통계적 유의성에 도달한 후 자동으로 우승 같은 이메일의 다른 버전이 선택되도록 하거나, 같은 이메일의 다른 버전 중 가장 높은 이메일 열람률 또는 가장 높은 전환율을 기준으로 우승자를 수동으로 선택하는 방법입니다.

플로우 이메일 A/B 테스트 수행

A/B 테스트는 플로우 빌더에서 쉽게 만들 수 있어요. 이메일용 테스트가 완료된 후에는, 필요하면 나중에 동일한 이메일에 대해 다른 테스트를 만들 수 있어요.

새 테스트 만들기

1. 어떤 플로우에서든 특정 이메일에 대한 A/B 테스트를 설정하려면 플로우 빌더에서 해당 이메일을 클릭해 주세요.
2. 아직 설정하지 않았다면 이메일 콘텐츠를 구성해 주세요.
3. Email details 패널에서 A/B 테스트 만들기 를 클릭해 주세요.
   

같은 이메일의 다른 버전 수정

새 테스트를 만든 후에는 콘텐츠 관리 창의 A/B Test 탭으로 바로 이동돼요. 모든 테스트에는 자동으로 2개의 같은 이메일의 다른 버전이 포함돼요. 같은 이메일의 다른 버전을 클릭하면 같은 이메일의 다른 버전 이름, 제목, 미리보기 텍스트, 발신자 이름, 발신자 이메일 주소를 편집할 수 있어요.

1. 이메일 콘텐츠를 수정하려면, 오른쪽의 이메일 미리보기 위에 있는 이메일 수정 버튼을 클릭해 주세요.
   

같은 이메일의 다른 버전 추가

다른 같은 이메일의 다른 버전을 추가하려면, 기존 2개 같은 이메일의 다른 버전 중 1개를 복제해야 해요.

1. 새 같은 이메일의 다른 버전을 만들 때 기준으로 삼을 같은 이메일의 다른 버전 오른쪽에 있는 복제 아이콘을 클릭하세요.
   

2. 이렇게 하면 원래의 2개 같은 이메일의 다른 버전과 구분되도록 수정할 수 있는 새 같은 이메일의 다른 버전을 만들 수 있어요.
   

같은 이메일의 다른 버전 삭제

A/B 테스트에는 같은 이메일의 다른 버전이 최소 2개 있어야 하므로, 같은 이메일의 다른 버전은 3개 이상일 때만 삭제할 수 있어요. 또한 같은 이메일의 다른 버전은 테스트가 Draft 상태일 때만 삭제할 수 있어요. 실시간 A/B 테스트에서는 버전 삭제가 비활성화됩니다.

1. 같은 이메일의 다른 버전을 삭제하려면, 삭제하려는 같은 이메일의 다른 버전 오른쪽에 있는 휴지통 아이콘을 클릭하세요.
   

각 같은 이메일의 다른 버전의 가중치 선택

A/B 테스트 탭 하단에 각 같은 이메일의 다른 버전의 가중치를 편집할 수 있는 테스트 설정 섹션이 표시됩니다. 이를 통해 각 같은 이메일의 다른 버전을 받을 수신자의 비율(%)이 설정돼요.

배포를 자동으로 선택하는 옵션을 선택할 수도 있어요. 이렇게 하면 처음에는 각 같은 이메일의 다른 버전에 동일하게 배포돼요. 시간이 지나 같은 이메일의 다른 버전 중 하나가 다른 버전보다 성과가 더 좋으면, 테스트가 계속 실행되는 동안 Klaviyo가 자동으로 배포를 조정하여 성과가 더 좋은 같은 이메일의 다른 버전으로 더 많은 수신자가 전달되도록 해요.

최종 선택 버전 선정 구성

테스트는 기본적으로 클릭률을 기준으로 자동으로 승자를 선택하도록 설정되지만, 이 설정은 변경할 수 있어요.

1. A/B 테스트 탭 하단의 테스트 설정 섹션에서 승자 선택 아래의 구성 링크를 클릭해 승자 선택을 구성할 수도 있어요.
   
   
   

2. 승리 지표를 이메일 열람률 (으)로 변경할 수 있는 모달이 표시돼요.

1. Automatic Winner Selection 섹션에는 2가지 옵션이 있어요:
   1. 우승 지표가 높은 통계적 확실성(통계적 유의성)으로 승리하는 것으로 판단되면 테스트 종료: 이 옵션은 기본으로 선택되어 있어요. 대신 수동으로 테스트를 종료하거나 특정 날짜 이후에 테스트를 종료하는 옵션을 선택하려면 이 옵션 옆의 체크박스를 선택 해제하세요.
   2. 날짜 제한 설정: 이 옵션을 사용하면 테스트를 자동으로 종료할 특정 날짜를 선택할 수 있어요.
2. 두 옵션을 모두 선택하면, 통계적 유의성이 달성되거나 지정된 날짜에 도달하는 경우(먼저 발생하는 항목 기준) 테스트가 종료됩니다.
3. 구성을 확인하려면 설정 저장 버튼을 클릭하세요.

테스트 게시

1. 같은 이메일의 다른 버전을 구성하면 테스트를 게시할 준비가 완료됩니다. A/B 테스트 탭에서 오른쪽 상단에 있는 테스트 게시 버튼을 클릭하세요.
   
   
   

2. 게시를 확인하라는 모달이 나타나요. 확인하려면 테스트 게시 버튼을 클릭해 주세요.
   

테스트 삭제

1. 테스트를 삭제하려면 A/B 테스트 탭에서 테스트 게시 버튼 옆의 화살표를 클릭한 다음 삭제를 선택하세요.
   

A/B 테스트 결과 보기

1. 플로우 빌더에서 이메일을 클릭한 다음 테스트 보기 버튼을 클릭하면 테스트가 실행 중일 때 또는 완료 후에 결과를 확인할 수 있어요.
   

그러면 A/B 테스트 결과 페이지로 이동하며, 여기에서 다음 지표를 확인할 수 있습니다:

• 수신자
  이메일을 받은 사람 수
• 열람
  이메일을 연 사람의 비율/수
• 클릭
  이메일에서 클릭한 사람의 비율/수
• 전환 지표
  Placed Order와 같이 이메일에 대해 선택한 전환 지표를 트리거한 총 수신자 수예요.

플로우의 이메일 A/B 테스트 결과 페이지에 대한 더 자세한 내용은 플로우의 이메일 A/B 테스트 결과를 검토하는 방법 문서를 참고해 주세요.

최종 선택 버전을 수동으로 선택

대부분의 경우 A/B 테스트가 자동으로 우승자를 선택할 때까지 기다리는 것이 좋지만, A/B 테스트를 조기에 종료하고 싶은 상황이 있을 수도 있어요. 그런 경우 아래 단계를 따르세요.

1. A/B 테스트 결과 페이지에서 페이지 오른쪽 상단에 있는 승자 선택 버튼을 클릭해 테스트의 우승 같은 이메일의 다른 버전을 수동으로 선택할 수 있어요.
   
   
   

2. 각각의 기존 같은 이메일의 다른 버전에서 우승자를 선택하라는 모달이 나타납니다. 드롭다운에서 우승하게 할 같은 이메일의 다른 버전을 선택한 다음 우승자 선택 버튼을 클릭해 주세요.