이메일 캠페인을 A/B 테스트하는 방법

학습 내용

캠페인에 대한 A/B 테스트를 설정하고 실행하는 방법, 테스트 결과를 읽는 방법, 그리고 캠페인 A/B 테스트의 몇 가지 사용 사례를 알아보세요. Klaviyo의 캠페인 A/B 테스트 기능을 사용하면 다양한 제목, 메시지 콘텐츠, 전송 시간을 쉽게 테스트할 수 있어 잠재고객에게 가장 효과적인 요소가 무엇인지 더 잘 이해할 수 있어요.

캠페인 이메일에 대한 A/B 테스트 만들기

1. 캠페인 > 캠페인 만들기로 이동하세요.
2. 사이드바에서 캠페인 이름을 지정해 주세요.
3. 이메일 을 선택한 다음 계속을 클릭하세요.
4. 전송할 리스트 또는 세그먼트를 선택해 주세요.
5. 다음을 클릭합니다.
6. 제목을 입력하고, 원하는 경우 미리보기 텍스트, 발신자 이름, 발신자 이메일 주소를 수정해 주세요.
7. 이메일의 첫 번째 버전을 만들고 카피, 이미지, 링크를 추가해 주세요.
8. 제목 필드 위에서 A/B 테스트 만들기를 클릭해 주세요.
   • 이렇게 하면 캠페인의 두 번째 동일한 같은 이메일의 다른 버전이 자동으로 생성되고 캠페인 A/B 테스트 페이지로 이동해요.
     

9. 각 같은 이메일의 다른 버전 이름 필드에 A/B 테스트 중인 내용을 참고할 수 있는 설명적인 같은 이메일의 다른 버전 이름을 추가해 주세요. 예: “여름 출시 이메일 - 흰색 버튼.”
   

테스트 버전을 구성해 주세요.

이제 테스트를 만들었으니, 캠페인에서 어떤 요소의 성과를 테스트할지 다음으로 결정해 같은 이메일의 다른 버전를 구성할 수 있어요.

AI로 제목 테스트

테스트를 수동으로 만들지 않고, AI를 사용해 생성 과정을 자동화할 수도 있어요. 이 기능은 특히 제목을 테스트하기 위한 기능이에요.

1. 이전 섹션의 단계에 따라 이메일 캠페인을 생성해 주세요.
2. 템플릿을 선택하고 이메일 콘텐츠를 수정하세요.
3. 제목 필드 아래에서 A/B 테스트를 위한 같은 이메일의 다른 버전 생성 섹션의 옵션 중 하나를 선택해 주세요.
   

옵션을 선택하면 AI가 같은 이메일의 다른 버전 2개가 있는 테스트를 만들어요. 여기에는 같은 이메일의 다른 버전 A에 대한 기존 제목과, 같은 이메일의 다른 버전 B에 대해 선택한 프롬프트를 기반으로 AI가 생성한 제목 1개가 포함돼요.

사용할 수 있는 옵션은 입력한 제목에 따라 달라지지만, 예시는 다음과 같아요.

• 개인화 vs 개인화 없음
  B 같은 이메일의 다른 버전에는 제목에 고객의 이름을 포함하거나, 원래 포함되어 있었다면 이름을 제거하는 내용이 들어가요.
• 짧은 제목 vs. 긴 제목
  같은 이메일의 다른 버전 B는 원래 제목 길이에 따라 제목이 더 짧거나 더 길어질 거예요.
• 질문 vs. 문장
  B 변형은 원래 제목이 질문이 아니었다면 질문으로 바꾸고, 원래 질문이었다면 문장으로 바꿔요.
• 이모지 사용 vs 미사용
  같은 이메일의 다른 버전 B에는 제목에 관련 이모지를 포함하거나, 원래 이모지가 포함되어 있었다면 모든 이모지를 제거합니다.

A/B 테스트가 생성된 후 추가로 편집하고 전송하는 방법의 단계는 이 문서의 나머지 부분에서 확인해 주세요.

콘텐츠 테스트

메시지 콘텐츠를 테스트하여 오디언스가 보고 싶어 하는 내용을 파악할 수 있어요. 페이지 상단에서 콘텐츠 테스트를 클릭하세요.

A/B 테스트를 위해 같은 이메일의 다른 버전 중 하나를 편집하세요. A/B 테스트는 한 번에 하나의 요소만 비교하는 것이 중요하므로, 제목을 수정한다면 다른 것은 아무것도 변경하지 마세요. 원하는 경우 특정 같은 이메일의 다른 버전 카드에서 복제 버튼을 클릭해 더 많은 같은 이메일의 다른 버전을 추가할 수 있지만, 2개의 같은 이메일의 다른 버전만 사용하는 것을 권장해요.

전송 시간 테스트

또한 전송 시간을 테스트해 잠재고객이 언제 메시지를 받고 싶어 하는지 확인할 수 있어요. 페이지 상단에서 전송 시간 테스트를 클릭하세요.

전송 시간을 테스트할 때는 두 같은 이메일의 다른 버전 모두의 콘텐츠와 제목을 정확히 동일하게 유지해 주세요.

어디서 시작해야 할지 모르겠다면, 저녁 시간을 시도해 보는 것을 권장해요. 또는 자격이 되는 경우 스마트 전송 시간을 대신 사용할 수 있어요.

테스트 전략 선택

계정이 해당되는 경우 다음 옵션에서 테스트 전략을 결정하세요.

• 최종 선택 버전(표준 A/B 테스트)
• 수신자별 맞춤 버전

우승한 같은 이메일의 다른 버전과 개인화된 같은 이메일의 다른 버전 간의 차이

두 가지 테스트 전략 옵션 모두 캠페인 전체 수신자의 일정 비율로 구성된 테스트 그룹에 같은 이메일의 다른 버전을 보내고, 이메일 열람률 등의 선택한 지표를 기준으로 테스트 메시지 성공을 평가해요. 하지만 테스트 기간이 끝난 후 나머지 수신자에게 메시지를 보내는 방식에는 각 전략별로 몇 가지 주요 차이점이 있어요:

• 우승한 같은 이메일의 다른 버전 - A/B 테스트의 기본 옵션으로, 1개의 우승한 같은 이메일의 다른 버전을 결정하고 테스트 기간이 끝난 후 캠페인의 나머지 수신자에게 전송해요.
• 개인화된 같은 이메일의 다른 버전 - AI를 사용해 각 같은 이메일의 다른 버전에 반응하는 테스트 수신자 사이에서 패턴을 찾아요. 테스트 기간이 끝나면 Klaviyo가 각 수신자에게 어떤 같은 이메일의 다른 버전이 더 좋은 성과를 낼지 예측하고, 나머지 수신자에게는 선호하는 같은 이메일의 다른 버전을 전송해요.

각 수신자에 맞게 같은 이메일의 다른 버전을 맞춤 설정

각 수신자가 어떤 같은 이메일의 다른 버전을 받을지 개인별로 맞춤 설정하려면 각 수신자별 맞춤 같은 이메일의 다른 버전을 선택해 주세요.

Klaviyo는 각 프로필에 대한 정보를 사용해 해당 프로필을 전환하는 데 가장 성공할 가능성이 높은 같은 이메일의 다른 버전을 결정해요. 이 프로필 정보에는 다음이 포함되며, 이에 국한되지 않아요:

• 과거 참여 유도율
• 고객 생애 가치(CLV)
• 위치

예를 들어, 우승 지표로 이메일 열람률을 선택했고 테스트 그룹의 프로필 중 고객 생애 가치가 100 이상인 프로필은 같은 이메일의 다른 버전 A를 더 자주 열지만 고객 생애 가치가 100 미만인 프로필은 같은 이메일의 다른 버전 B를 더 자주 여는 경우, 캠페인의 나머지 수신자는 고객 생애 가치에 따라 어떤 같은 이메일의 다른 버전을 열 가능성이 가장 높은지에 기반해 이메일을 받게 돼요. 이는 단순화된 예시이며, Klaviyo는 개인화된 같은 이메일의 다른 버전을 결정하기 위해 많은 데이터 포인트를 사용해요.

A/B 테스트 설정을 구성하세요.

콘텐츠를 만든 후 테스트 풀의 규모와 테스트 기간의 길이를 결정해 주세요.

먼저, 우승 지표를 선택하세요. 이는 개선되기를 가장 원하는 주요 지표예요. 다음에서 선택하세요:

• 이메일 열람률
  제목, 미리보기 텍스트 또는 발신자 이름과 이메일 주소를 테스트할 때 권장돼요.
• 전환율
  버튼 크기나 색상처럼 이메일 콘텐츠를 테스트할 때 추천해요.
• 주문 완료율
  Placed Order 지표가 있는 계정에서만 사용할 수 있으며, 개인화된 같은 이메일의 다른 버전에는 사용할 수 없어요. 베스트셀러나 신상품을 표시하는 것이 더 많은 전환으로 이어지는지처럼 이메일 콘텐츠를 테스트할 때 권장돼요.

리스트 크기를 기준으로 테스트 크기를, A/B 테스트 지표(예: 오픈, 클릭 또는 주문 완료)를 기준으로 테스트 기간을 추천해 드려요. 원하는 경우 슬라이더 바를 사용해 테스트 크기를 변경해 주세요. 테스트 크기가 100% 미만이면 테스트 기간도 조정할 수 있어요.

아래 예시에서는 캠페인 수신자의 20%가 같은 이메일의 다른 버전 A를 받고, 다른 20%가 같은 이메일의 다른 버전 B를 받아요. 선택한 승리 지표에 따라 이 수신자들이 이메일을 열거나 클릭하거나 주문하는 비율에 따라 6시간 후 승자가 결정되고, 나머지 수신자에게는 승리한 같은 이메일의 다른 버전이 전송돼요.

테스트 설정을 조정한 후 계속하여 검토를 클릭하세요.

콘텐츠를 A/B 테스트하고 있으며 각 수신자의 시간대를 기준으로 메시지를 보내려면:

1. 테스트 크기를 100%로 설정하세요.
   

2. 그런 다음 캠페인을 예약할 때 전송의 시간대로 수신자 현지 시간대를 선택할 수 있어요.
   
   
   

A/B 테스트 방법

한 번에 변수 1개만 테스트해야 해요. 여러 변수를 동시에 테스트하면 어떤 변수가 성과 개선에 기여하는지 파악하기 어려울 수 있어요(또는 불가능할 수 있어요). 무엇을 테스트해야 할지 잘 모르시겠나요? 아래 섹션을 클릭해 시작점을 확인하세요.

A/B 테스트 결과를 검토하고 우승자를 선택하기(선택 사항)

테스트 중인 캠페인으로 이동해 진행 상황을 확인하고 어떤 버전이 더 좋은 성과를 냈는지 확인하세요. 캠페인이 아직 발송 중이고 진행 중인 A/B 테스트를 종료하려면:

1. 진행 중인 캠페인의 A/B Test Results 탭으로 이동해 주세요.
2. 선택하려는 버전 옆의 추가 옵션 메뉴를 클릭해 주세요.
3. 최종 버전 선택을 클릭하세요.

수동으로 우승자를 선택하면 아직 캠페인을 받지 않은 모든 사람이 우승한 같은 이메일의 다른 버전을 즉시 받게 돼요. A/B 테스트 크기가 수신자의 100%였다면, 메시지의 전환 기간 동안 계속 데이터를 수집하므로 새 데이터가 들어오면 승자가 바뀔 수 있어요. 자세한 내용은 캠페인의 이메일 A/B 테스트 결과를 검토하는 방법을 확인해 보세요.