이메일 캠페인을 A/B 테스트하는 방법

학습 내용

캠페인에 대한 A/B 테스트를 설정하고 실행하는 방법, 테스트 결과를 읽는 방법, A/B 테스트 캠페인의 몇 가지 사용 사례에 대해 알아보세요. Klaviyo의 캠페인용 A/B 테스트 기능을 사용하면 다양한 제목, 메시지 콘텐츠, 전송 시간을 쉽게 테스트하여 오디언스에게 가장 효과적인 것이 무엇인지 더 잘 파악할 수 있습니다.

캠페인 이메일을 A/B 테스트하는 방법

1. 캠페인 > 캠페인 만들기로 이동합니다.
2. 사이드바에서 이메일을 선택합니다.
3. 캠페인 이름을 지정하고 계속을 클릭합니다.
4. 보내려는 목록 또는 세그먼트를 선택합니다.
5. 다음을 클릭합니다.
6. 제목을 입력하고 원하는 경우 미리 보기 텍스트, 발신자 이름 및 발신자 이메일 주소를 편집합니다. 
7. 사본, 이미지 및 링크를 추가하여 이메일의 첫 번째 버전을 작성합니다.
8. 제목 필드 위에서 A/B 테스트 만들기를 클릭합니다. 이렇게 하면 자동으로 동일한 두 번째 동일한 이메일의 다른 버전의 캠페인이 생성되고 캠페인 A/B 테스트 페이지로 이동합니다.
   
9. 각 변형 이름 필드에 A/B 테스트 중인 대상을 참조하는 설명적인 변형 이름(예: "여름 출시 이메일 - 흰색 버튼")을 추가합니다.
   

AI로 A/B 테스트 자동화

테스트를 수동으로 생성하는 대신 AI를 사용하여 자동으로 생성할 수도 있습니다. 이 기능은 특히 제목을 테스트하기 위한 기능입니다.

1. 이전 섹션의 단계를 사용하여 이메일 캠페인을 만듭니다.
2. 템플릿을 선택하고 이메일 내용을 편집합니다.
3. 제목 필드 아래에서 동일한 이메일의 다른 버전을 A/B 테스트용으로 생성하기 섹션의 옵션 중 하나를 선택합니다.
   

옵션을 선택하면 AI가 원본 제목을 포함하여 다르지만 비슷한 제목을 사용하는 2개의 동일한 이메일의 다른 버전으로 테스트를 생성합니다. 을 사용하여 동일한 이메일의 다른 버전 A와 동일한 이메일의 다른 버전 B에 대해 선택된 프롬프트에 따라 AI가 생성한 테스트를 생성합니다.

사용 가능한 옵션은 입력한 제목에 따라 다르지만 다음과 같은 예가 있습니다:

• 개인화 대 개인화 없음
  같은 이메일의 다른 버전 B는 제목에 고객사의 이름을 포함하거나 원래 포함되어 있던 고객사의 이름을 삭제합니다.
• 짧은 것과 긴것
  같은 이메일의 다른 버전 B는 원래 제목의 길이에 따라 제목이 더 짧거나 길어집니다.
• 질문과 진술
  같은 이메일의 다른 버전 B는 원래 제목을 질문으로 변환하거나 원래 질문이었던 경우 진술로 변환합니다.
• 이모티콘 대 이모티콘 없음
  같은 이메일의 다른 버전 B는 제목에 관련 이모티콘을 포함하거나 원래 이모티콘이 포함되어 있는 경우 이모티콘을 제거합니다.

이 글의 나머지 부분에서 A/B 테스트가 생성된 후 추가로 편집하고 전송하는 방법에 대한 단계를 확인하세요.

콘텐츠 테스트

메시지 콘텐츠를 테스트하여 잠재고객이 보고 싶어 하는 내용을 파악할 수 있습니다. 페이지 상단에서 콘텐츠 테스트를 클릭합니다.

A/B 테스트의 변형 중 하나를 편집합니다. A/B 테스트에서는 한 번에 하나의 요소를 비교하는 것이 중요하므로 제목을 수정하는 경우 다른 요소는 변경하지 마세요. 

변형 복제

원하는 경우 특정 변형에 대한 카드의 복제 버튼을 클릭하여 더 많은 변형을 추가할 수 있지만, 2개만 추가하는 것을 권장합니다.

테스트 전송 시간

또한 전송 시간을 테스트하여 잠재고객이 언제 연락을 받고 싶어하는지 확인할 수 있습니다. 페이지 상단에서 전송 시간 테스트를 클릭합니다.

전송 시간을 테스트할 때는 두 가지 변형의 콘텐츠와 제목을 정확히 동일하게 유지하세요. 

어디서부터 시작해야 할지 모르겠다면 저녁 시간을 추천합니다. 또는 자격이 되는 경우 스마트 전송 시간을 대신 사용할 수 있습니다. 

테스트 전략 선택

계정이 자격을 갖춘 경우 다음 옵션 중에서 테스트 전략을 결정하세요:

• 우승한 변형(표준 A/B 테스트)
• 각 수신자를 위한 맞춤형 변형

이기는 변형과 개인화된 변형의 차이점

두 가지 테스트 전략 옵션 모두 캠페인의 총 수신자 비율로 구성된 테스트 그룹에 변형을 보내고 오픈율과 같은 선택한 지표를 기반으로 메시지 성공을 테스트합니다. 그러나 테스트 기간이 끝난 후 각 전략이 나머지 수신자에게 메시지를 보내는 방식에는 몇 가지 주요 차이점이 있습니다:

• 우승 변형 - A/B 테스트의 기본 옵션으로, 테스트 기간이 끝난 후 1개의 우승 변형을 결정하여 캠페인의 나머지 수신자에게 전송합니다.
• 개인화된 변형 - AI를 사용하여 각 변형과 상호 작용하는 테스트 대상자 사이에서 패턴을 검색합니다. 테스트 기간이 끝나면 클라비요는 각 수신자에게 더 나은 성과를 낼 수 있는 변형을 예측하여 나머지 수신자에게 선호하는 변형을 보냅니다.

각 수신자를 위한 개인화된 변형 

각 수신자가 개별적으로 받을 변형을 개인화하려면 각 수신자에 대해 개인화된 변형을 선택합니다. 

클라비요는 각 프로필에 대한 정보를 사용하여 해당 프로필을 변환하는 데 성공할 가능성이 가장 높은 변형을 결정합니다. 이 프로필 정보에는 다음이 포함되지만 이에 국한되지 않습니다:

• 과거 참여율
• 고객 생애 가치(CLV)
• 위치

예를 들어, 오픈율을 우승 지표로 선택하고 테스트 그룹에서 CLV가 100 이상인 오픈 변형 A의 프로필은 더 자주, CLV가 100 미만인 오픈 변형 B의 프로필은 더 자주 선택한 경우, 캠페인의 나머지 수신자에게는 CLV에 따라 오픈 가능성이 가장 높은 변형에 기반한 이메일이 수신됩니다. 클라비요는 개인화된 변형을 결정하기 위해 많은 데이터 포인트를 사용하므로 이는 단순화된 예시입니다.

A/B 테스트 설정 구성

콘텐츠를 만든 후 테스트 풀의 크기와 테스트 기간을 결정합니다.

먼저, 개선하고자 하는 주요 지표인 우승 지표를 선택합니다. 선택하세요: 

• 오픈율
  제목, 미리보기 텍스트 또는 발신자 이름/이메일 주소를 테스트할 때 권장됩니다.
• 클릭률
  버튼 크기나 색상과 같은 이메일 콘텐츠를 테스트할 때 권장됩니다.
• 주문 완료율
  주문 완료 메트릭이 있는 계정에서만 사용할 수 있으며 개인화된 변형에는 사용할 수 없습니다. 베스트셀러 또는 새 항목을 표시하는 것이 더 많은 전환으로 이어지는지 등 이메일 콘텐츠를 테스트할 때 이 방법을 권장합니다. 

목록 크기에 따른 테스트 크기와 A/B 테스트 지표(예: 열기, 클릭 또는 주문)에 따른 테스트 기간을 권장합니다. 원하는 경우 슬라이더 막대를 사용하여 테스트 크기를 변경합니다. 테스트 크기가 100% 미만인 경우 테스트 기간을 조정할 수 있는 옵션도 있습니다. 

아래 예시에서 캠페인 수신자의 20%는 배리언트 A를, 나머지 20%는 배리언트 B를 받게 됩니다. 이 중 얼마나 많은 수신자가 열거나 클릭하거나 주문했는지에 따라(선택한 당첨 지표에 따라) 6시간 후에 당첨자가 선정되고 나머지 수신자는 당첨된 배리언트를 받게 됩니다. 

테스트 설정을 조정한 후 계속을 클릭하여 검토합니다.

콘텐츠를 A/B 테스트하는 경우 각 수신자의 시간대를 기준으로 메시지를 보내려고 합니다:

1. 테스트 크기를 100%로 설정합니다.
   
2. 그런 다음 캠페인을 예약할 때 수신자의 현지 시간대를 전송 시간대로 선택할 수 있는 옵션이 제공됩니다.
   

A/B 테스트 대상 

한 번에 하나의 변수만 테스트해야 합니다. 여러 변수를 동시에 테스트하면 어떤 변수가 성능 향상에 기여하는지 파악하기 어렵거나 불가능할 수 있습니다. 무엇을 테스트해야 할지 잘 모르시겠어요? 아래 섹션을 클릭하면 시작 지점을 확인할 수 있습니다. 

A/B 테스트 결과 검토 및 우승자 선정(선택 사항)

테스트 중인 캠페인으로 이동하여 진행 상황을 확인하고 어떤 버전이 더 나은 성과를 냈는지 확인하세요. 진행 중인 A/B 테스트를 종료하려는 경우:

1. 진행 중인 캠페인의 A/B 테스트 결과 탭으로 이동합니다.
2. 선택하려는 버전 옆에 있는 추가 옵션 메뉴를 클릭합니다.
3. 수상자로 선택을 클릭합니다.

당첨자를 수동으로 선택하면 아직 캠페인을 받지 못한 모든 사람에게 당첨된 변형이 즉시 전송됩니다. A/B 테스트 규모가 수신자의 100%인 경우, 메시지의 전환 기간 동안 계속해서 데이터를 수집하므로 새로운 데이터가 들어오는 대로 당첨자가 변경될 수 있습니다. 자세한 내용은 캠페인에 대한 이메일 A/B 테스트 결과를 검토하는 방법을 참조하세요.

추가 리소스

추가 리소스

• A/B 테스트를 위한 모범 사례
• 플로우 이메일을 A/B 테스트하는 방법
• SMS 캠페인을 A/B 테스트하는 방법
• 계정 전송 한도를 초과한 캠페인을 다시 보내는 방법
• 이메일 A/B 테스트 마스터하기: 클라비요의 입증된 팁 & 매출 증대를 위한 비법