학습 내용
캠페인에 대한 A/B 테스트를 설정하고 실행하는 방법, 테스트 결과를 읽는 방법, A/B 테스트 캠페인의 몇 가지 사용 사례에 대해 알아보세요. Klaviyo의 캠페인용 A/B 테스트 기능을 사용하면 다양한 제목, 메시지 콘텐츠, 전송 시간을 쉽게 테스트하여 오디언스에게 가장 효과적인 것이 무엇인지 더 잘 파악할 수 있습니다.
캠페인 이메일을 A/B 테스트하는 방법캠페인 이메일을 A/B 테스트하는 방법
- 캠페인 > 캠페인 만들기로 이동합니다.
- 사이드바에서 이메일을 선택합니다.
- 캠페인 이름을 지정하고 계속을 클릭합니다.
- 보내려는 목록 또는 세그먼트를 선택합니다.
- 다음을 클릭합니다.
- 제목을 입력하고 원하는 경우 미리 보기 텍스트, 발신자 이름 및 발신자 이메일 주소를 편집합니다.
- 사본, 이미지 및 링크를 추가하여 이메일의 첫 번째 버전을 작성합니다.
- 제목 필드 위에서 A/B 테스트 만들기를 클릭합니다. 이렇게 하면 자동으로 동일한 두 번째 동일한 이메일의 다른 버전의 캠페인이 생성되고 캠페인 A/B 테스트 페이지로 이동합니다.
- 각 변형 이름 필드에 A/B 테스트 중인 대상을 참조하는 설명적인 변형 이름(예: "여름 출시 이메일 - 흰색 버튼")을 추가합니다.
AI로 A/B 테스트 자동화
이 기능은 유료 Klaviyo 계정에서만 사용할 수 있습니다. 계정이 해당되지 않는 경우 이 섹션을 건너뛰세요.
테스트를 수동으로 생성하는 대신 AI를 사용하여 자동으로 생성할 수도 있습니다. 이 기능은 특히 제목을 테스트하기 위한 기능입니다.
- 이전 섹션의 단계를 사용하여 이메일 캠페인을 만듭니다.
- 템플릿을 선택하고 이메일 내용을 편집합니다.
-
제목 필드 아래에서 동일한 이메일의 다른 버전을 A/B 테스트용으로 생성하기 섹션의 옵션 중 하나를 선택합니다.
옵션을 선택하면 AI가 원본 제목을 포함하여 다르지만 비슷한 제목을 사용하는 2개의 동일한 이메일의 다른 버전으로 테스트를 생성합니다. 을 사용하여 동일한 이메일의 다른 버전 A와 동일한 이메일의 다른 버전 B에 대해 선택된 프롬프트에 따라 AI가 생성한 테스트를 생성합니다.
사용 가능한 옵션은 입력한 제목에 따라 다르지만 다음과 같은 예가 있습니다:
-
개인화 대 개인화 없음
같은 이메일의 다른 버전 B는 제목에 고객사의 이름을 포함하거나 원래 포함되어 있던 고객사의 이름을 삭제합니다. -
짧은 것과 긴것
같은 이메일의 다른 버전 B는 원래 제목의 길이에 따라 제목이 더 짧거나 길어집니다. -
질문과 진술
같은 이메일의 다른 버전 B는 원래 제목을 질문으로 변환하거나 원래 질문이었던 경우 진술로 변환합니다. -
이모티콘 대 이모티콘 없음
같은 이메일의 다른 버전 B는 제목에 관련 이모티콘을 포함하거나 원래 이모티콘이 포함되어 있는 경우 이모티콘을 제거합니다.
이 글의 나머지 부분에서 A/B 테스트가 생성된 후 추가로 편집하고 전송하는 방법에 대한 단계를 확인하세요.
콘텐츠 테스트콘텐츠 테스트
메시지 콘텐츠를 테스트하여 잠재고객이 보고 싶어 하는 내용을 파악할 수 있습니다. 페이지 상단에서 콘텐츠 테스트를 클릭합니다.
A/B 테스트의 변형 중 하나를 편집합니다. A/B 테스트에서는 한 번에 하나의 요소를 비교하는 것이 중요하므로 제목을 수정하는 경우 다른 요소는 변경하지 마세요.
변형 복제
원하는 경우 특정 변형에 대한 카드의 복제 버튼을 클릭하여 더 많은 변형을 추가할 수 있지만, 2개만 추가하는 것을 권장합니다.
테스트 전송 시간테스트 전송 시간
또한 전송 시간을 테스트하여 잠재고객이 언제 연락을 받고 싶어하는지 확인할 수 있습니다. 페이지 상단에서 전송 시간 테스트를 클릭합니다.
전송 시간을 테스트할 때는 두 가지 변형의 콘텐츠와 제목을 정확히 동일하게 유지하세요.
어디서부터 시작해야 할지 모르겠다면 저녁 시간을 추천합니다. 또는 자격이 되는 경우 스마트 전송 시간을 대신 사용할 수 있습니다.
테스트 전략 선택테스트 전략 선택
테스트 전략을 선택할 수 있는 옵션은 총 프로필 수가 40만 개 이상인 계정에서만 사용할 수 있습니다. 계정이 자격을 갖추지 못한 경우, 클라비요는 우승 변형 테스트 전략을 사용합니다.
계정이 자격을 갖춘 경우 다음 옵션 중에서 테스트 전략을 결정하세요:
- 우승한 변형(표준 A/B 테스트)
- 각 수신자를 위한 맞춤형 변형
이기는 변형과 개인화된 변형의 차이점
두 가지 테스트 전략 옵션 모두 캠페인의 총 수신자 비율로 구성된 테스트 그룹에 변형을 보내고 오픈율과 같은 선택한 지표를 기반으로 메시지 성공을 테스트합니다. 그러나 테스트 기간이 끝난 후 각 전략이 나머지 수신자에게 메시지를 보내는 방식에는 몇 가지 주요 차이점이 있습니다:
- 우승 변형 - A/B 테스트의 기본 옵션으로, 테스트 기간이 끝난 후 1개의 우승 변형을 결정하여 캠페인의 나머지 수신자에게 전송합니다.
- 개인화된 변형 - AI를 사용하여 각 변형과 상호 작용하는 테스트 대상자 사이에서 패턴을 검색합니다. 테스트 기간이 끝나면 클라비요는 각 수신자에게 더 나은 성과를 낼 수 있는 변형을 예측하여 나머지 수신자에게 선호하는 변형을 보냅니다.
각 수신자를 위한 개인화된 변형
각 수신자가 개별적으로 받을 변형을 개인화하려면 각 수신자에 대해 개인화된 변형을 선택합니다.
클라비요는 각 프로필에 대한 정보를 사용하여 해당 프로필을 변환하는 데 성공할 가능성이 가장 높은 변형을 결정합니다. 이 프로필 정보에는 다음이 포함되지만 이에 국한되지 않습니다:
- 과거 참여율
- 고객 생애 가치(CLV)
- 위치
예를 들어, 오픈율을 우승 지표로 선택하고 테스트 그룹에서 CLV가 100 이상인 오픈 변형 A의 프로필은 더 자주, CLV가 100 미만인 오픈 변형 B의 프로필은 더 자주 선택한 경우, 캠페인의 나머지 수신자에게는 CLV에 따라 오픈 가능성이 가장 높은 변형에 기반한 이메일이 수신됩니다. 클라비요는 개인화된 변형을 결정하기 위해 많은 데이터 포인트를 사용하므로 이는 단순화된 예시입니다.
A/B 테스트 설정 구성A/B 테스트 설정 구성
콘텐츠를 만든 후 테스트 풀의 크기와 테스트 기간을 결정합니다.
먼저, 개선하고자 하는 주요 지표인 우승 지표를 선택합니다. 선택하세요:
-
오픈율
제목, 미리보기 텍스트 또는 발신자 이름/이메일 주소를 테스트할 때 권장됩니다. -
클릭률
버튼 크기나 색상과 같은 이메일 콘텐츠를 테스트할 때 권장됩니다. -
주문 완료율
주문 완료 메트릭이 있는 계정에서만 사용할 수 있으며 개인화된 변형에는 사용할 수 없습니다. 베스트셀러 또는 새 항목을 표시하는 것이 더 많은 전환으로 이어지는지 등 이메일 콘텐츠를 테스트할 때 이 방법을 권장합니다.
iOS15, macOS 몬트레이, iPadOS 15, WatchOS 8 또는 최신 릴리스를 사용하는 Apple 디바이스의 경우, Apple 메일 개인정보 보호(MPP)에서 추적 픽셀을 미리 가져와서 이메일의 열람률 데이터를 수신하는 방식이 변경되었습니다. 이러한 변경 사항으로 인해 오픈율이 부풀려진다는 점을 이해하는 것이 중요합니다.
A/B 테스트와 관련하여, 저희 도구는 이러한 부풀려진 오픈율을 고려해야 하지만 통계적 유의성에 도달하려면 더 높은 임계값이 필요할 수 있습니다. 정기적으로 A/B 테스트를 수행하면서 Apple Mail의 열람률이 45% 이상인 경우 MPP 속성을 포함하는 사용자 지정 보고서를 작성하는 것이 좋습니다. 개별 구독자 세그먼트에서도 이러한 오픈을 식별할 수 있습니다.
MPP 개방에 대한 자세한 내용은 iOS 15: Apple의 변경 사항에 대해 알아야 할 모든 것 가이드를 참조하세요.
목록 크기에 따른 테스트 크기와 A/B 테스트 지표(예: 열기, 클릭 또는 주문)에 따른 테스트 기간을 권장합니다. 원하는 경우 슬라이더 막대를 사용하여 테스트 크기를 변경합니다. 테스트 크기가 100% 미만인 경우 테스트 기간을 조정할 수 있는 옵션도 있습니다.
아래 예시에서 캠페인 수신자의 20%는 배리언트 A를, 나머지 20%는 배리언트 B를 받게 됩니다. 이 중 얼마나 많은 수신자가 열거나 클릭하거나 주문했는지에 따라(선택한 당첨 지표에 따라) 6시간 후에 당첨자가 선정되고 나머지 수신자는 당첨된 배리언트를 받게 됩니다.
테스트 설정을 조정한 후 계속을 클릭하여 검토합니다.
콘텐츠를 A/B 테스트하는 경우 각 수신자의 시간대를 기준으로 메시지를 보내려고 합니다:
- 테스트 크기를 100%로 설정합니다.
- 그런 다음 캠페인을 예약할 때 수신자의 현지 시간대를 전송 시간대로 선택할 수 있는 옵션이 제공됩니다.
A/B 테스트 대상
한 번에 하나의 변수만 테스트해야 합니다. 여러 변수를 동시에 테스트하면 어떤 변수가 성능 향상에 기여하는지 파악하기 어렵거나 불가능할 수 있습니다. 무엇을 테스트해야 할지 잘 모르시겠어요? 아래 섹션을 클릭하면 시작 지점을 확인할 수 있습니다.
주문율 향상을 위한 테스트주문율 향상을 위한 테스트
수신자가 주문을 하도록 유도하는 요인을 확인하려면 메시지에서 다음 중 하나를 테스트해 보세요:
- 사회적 증거(예: 메시지에 긍정적인 리뷰 또는 고객 소셜 미디어 게시물 포함)
- 시간, 요일 또는 주말과 주중을 비교하여 보내기
- 클릭 유도 문안(CTA) 배치(예: 이메일 상단 또는 하단)
클릭률 향상을 위한 테스트클릭률 향상을 위한 테스트
수신자가 메시지의 링크를 클릭하도록 유도하는 요인을 확인하려면 다음 중 하나를 테스트해 보세요:
- CTA 모양(예: 버튼 또는 텍스트의 글꼴, 색상 또는 크기)
- CTA 텍스트(예: "지금 구매하기" 대 "확인해보세요!")
- 템플릿 구성(예: 메시지의 이미지 및 텍스트 배열 방법)
- 이미지와 GIF
오픈율 향상을 위한 테스트오픈율 향상을 위한 테스트
구독자가 이메일을 열도록 유도하는 메시지를 확인하려면 다음 중 하나를 테스트해 보세요:
- 제목 줄 테스트:
- 진술 대 질문(예: "최근 하락을 보셔야 합니다" 대 "최근 하락을 보시겠습니까?")
- 제목 줄 길이
- 제목 줄 개인화(예: {{ first_name|default:’Friend’ }} 태그를 사용하여 제목 줄에 받는 사람의 이름 포함)
- 제목 줄의 이모티콘
- 텍스트 미리보기(예: 미리보기 텍스트 포함 및 미포함)
- 이름(예: 회사 이름과 '클라비요의 엘리스'와 같은 보다 개인적인 이름 비교)
- 시간, 요일 또는 주말과 주중을 비교하여 보내기
A/B 테스트 결과 검토 및 우승자 선정(선택 사항)
테스트 중인 캠페인으로 이동하여 진행 상황을 확인하고 어떤 버전이 더 나은 성과를 냈는지 확인하세요. 진행 중인 A/B 테스트를 종료하려는 경우:
- 진행 중인 캠페인의 A/B 테스트 결과 탭으로 이동합니다.
- 선택하려는 버전 옆에 있는 추가 옵션 메뉴를 클릭합니다.
- 수상자로 선택을 클릭합니다.
당첨자를 수동으로 선택하면 아직 캠페인을 받지 못한 모든 사람에게 당첨된 변형이 즉시 전송됩니다. A/B 테스트 규모가 수신자의 100%인 경우, 메시지의 전환 기간 동안 계속해서 데이터를 수집하므로 새로운 데이터가 들어오는 대로 당첨자가 변경될 수 있습니다. 자세한 내용은 캠페인에 대한 이메일 A/B 테스트 결과를 검토하는 방법을 참조하세요.
추가 리소스
추가 리소스