가입 양식을 A/B 테스트하는 방법

학습 내용

A/B 테스트를 사용해 가입 양식의 다양한 요소 성과를 평가하는 방법을 알아보세요. 결과를 효과적으로 분석하면 폼이 사이트 방문자에게 공감대를 형성하고 리스트 성장에 기여하도록 할 수 있어요.

A/B 테스트 준비하기

A/B 테스트를 만들기 전에 다음과 같은 일반 가이드라인을 고려해 주세요.

• 한 번에 변수 1개(예: 쿠폰 제공)를 테스트하세요.
  • 쿠폰과 같은 단일 변수(요소)를 한 번에 하나씩 변경해 영향을 명확하게 평가하세요.
• 테스트를 같은 이메일의 다른 버전 몇 가지로 작게 시작하세요.
  • 변수(예: 쿠폰 제공)를 테스트할 때는 효과를 측정하기 위해 같은 이메일의 다른 버전을 1~2개로 시작해 주세요. 더 많은 데이터를 수집하면서 이후 테스트에서 복잡도를 높일 수 있지만, 4개를 초과해서 사용하지는 마세요.
• 테스트 중간에 변경하지 마세요.
  • 라이브 상태일 때는 테스트 설정을 변경하지 마세요. 테스트가 라이브 상태가 되면 같은 이메일의 다른 버전 자체는 편집할 수 없으며, 이런 유형의 변경을 하려면 테스트를 종료해야 하므로 사전에 모든 구성을 확인해 주세요.
• 충분한 테스트 기간을 허용하세요
  • 통계적으로 유의미한 결과가 나올 때까지 기다리거나, 테스트를 종료할 수 있을 만큼 충분한 시청자 표본 크기가 확보될 때까지 기다려 주세요. 기억해 주세요. 같은 이메일의 다른 버전이 많을수록 신뢰할 수 있는 결과를 얻기 위해 더 많은 트래픽이 필요해요.
• 통계적 유의성을 이해하세요
  • 통계적 유의성이 A/B 테스트 결과에 어떤 영향을 미치는지를 확인해 보세요.

A/B 테스트 방법

A/B 테스트 생성

테스트 만들기

가입 양식에 대한 A/B 테스트를 만드는 방법은 2가지가 있어요:

• 가입 양식 탭에서 테스트하려는 양식 옆의 3개 점 드롭다운 메뉴를 클릭하고 A/B 테스트 생성을 선택해 주세요.
• 테스트하려는 가입 양식의 양식 편집기를 열고 상단 모서리에서 A/B 테스트 만들기를 선택하세요.

어디에서 들어오든 상관없이:

1. 시작하려면 A/B 테스트 만들기를 선택해 주세요.
   

2. 다음으로, 테스트에 설명할 수 있는 이름을 지정하세요. 뉴스레터 팝업의 버튼 색상을 테스트하는 경우 테스트 이름을 뉴스레터 - 제출 버튼 색상으로 지정할 수 있어요.
3. A/B 테스트 이름을 지정한 후, 구분할 수 있도록 가입 양식 같은 이메일의 다른 버전에 서로 다른 이름을 지정하세요.
   • 기본적으로 양식 이름의 복사본 #이라는 이름으로 제공됩니다. 앞에서 본 다른 색상의 제출 버튼 예시처럼, 양식 이름을 Newsletter - Blue 및 Newsletter - Gray로 지정할 수 있어요.
   • 여기에서 복사 버튼을 선택해 같은 이메일의 다른 버전을 더 추가할 수도 있습니다. A/B 테스트에 같은 이메일의 다른 버전을 최대 7개까지 추가할 수 있어요. 유의하세요. 같은 이메일의 다른 버전을 더 추가할수록 테스트를 더 오래 실행해야 합니다. 이상적인 A/B 테스트에는 2~4개의 같은 이메일의 다른 버전이 있어요. 아래 예시에는 3개의 같은 이메일의 다른 버전이 있어요. 원래 양식과 추가 테스트 2개입니다.
4. 테스트를 구성한 후 테스트 생성을 선택하세요.
   

같은 이메일의 다른 버전 구성

테스트를 만든 후 가입 양식 편집기로 다시 이동해요. 양식 이름을 선택해 양식의 같은 이메일의 다른 버전 간에 전환할 수 있어요. 이 메뉴에서 같은 이메일의 다른 버전의 이름을 변경하거나, 추가 같은 이메일의 다른 버전을 만들거나, 같은 이메일의 다른 버전을 삭제할 수도 있어요.

아이디어를 얻으려면 A/B 테스트 대상 섹션을 확인해 보세요.

양식 구성을 완료하면 테스트 설정으로 계속을 선택하세요.

A/B 테스트 설정 구성

테스트 설정 페이지에서 테스트의 맞춤 설정이 여기에 표시돼요. 맞춤 설정을 고려해 보세요:

• 버전 이름
• 트래픽 선택(가중치)
• 최종 선택 버전 선정
• 참고

가입 양식 목록 보기 페이지에서 양식을 선택한 다음 A/B 테스트 결과 > 테스트 편집으로 이동해도 테스트 설정 페이지에 접근할 수 있어요.

트래픽 선택

이 섹션에서 양식의 같은 이메일의 다른 버전으로 얼마나 많은 트래픽이 가는지 확인할 수 있어요. 기본적으로 각 양식은 동일한 수의 조회자에게 표시돼요. 테스트가 실행되는 동안 같은 이메일의 다른 버전 중 하나가 나머지보다 더 좋은 성과를 보이면, Klaviyo가 테스트가 아직 진행 중인 상태에서도 더 성과가 좋은 폼으로 트래픽을 유도해요.

가중치 - 수동을 선택하도록 토글하면 양식의 각 같은 이메일의 다른 버전에 보낼 트래픽을 지정할 수 있어요. 금액의 합계는 100%가 되어야 해요.

최종 선택 버전 선정

트래픽 선택 섹션과 마찬가지로 테스트의 승자를 선택하는 방법을 결정하는 옵션이 2가지 있습니다. 테스트를 자동 또는 수동으로 종료할 수 있습니다.

• 자동으로
  테스트를 자동으로 종료하면 통계적으로 유의미한 수준에서 다른 버전(들)보다 성과가 더 좋은 같은 이메일의 다른 버전 1개가 있을 때 또는 특정 날짜에 도달했을 때 종료돼요. 두 상자를 모두 선택할 수도 있으며, 조건 중 1개가 충족되면 테스트가 종료돼요. 예를 들어, 두 조건을 모두 선택했고 양식이 한 달 동안만 실행되도록 설정되어 있는 경우, 일주일 후에 양식에서 통계적으로 유의미한 결과가 나오면 테스트가 종료돼요.
  • 결과가 통계적으로 유의미해진 시점에 테스트를 종료하면, Klaviyo의 데이터 과학 모델이 계산을 수행하고 승자를 선택해 드려요.
  • 특정 날짜에 테스트를 전송하도록 선택하면 테스트는 협정 세계시(UTC) 자정에 종료돼요.
• 수동으로
  테스트를 수동으로 종료하기로 선택하면(두 확인란 모두 선택 해제), 우승 항목과 테스트 종료 날짜를 모두 선택하게 돼요.

어떤 자동 선택을 고르든 테스트가 끝나면, 승리한 폼이 사이트에 라이브로 게시돼요.

테스트 설정 편집을 마쳤으면 A/B 테스트 게시 를 선택하세요. 테스트가 시작되기 전에 Klaviyo에서 사이트에 폼을 게시하는 데 문제가 없는지, 그리고 폼에 필요한 모든 콘텐츠(예: 동의 문구, CTA, 제출 필드 등)가 포함되어 있는지 확인해요.

A/B 테스트 결과 검토

테스트가 실행 중이거나 A/B 테스트를 완료한 후에 계정에서 데이터를 모니터링할 수 있어요. 가입 양식으로 이동한 다음, 양식을 선택해 주세요. Overview 탭에서 양식의 전반적인 성과를 확인할 수 있어요. A/B test results 탭을 선택해 A/B 테스트의 분석 데이터를 자세히 살펴보세요.

여기에서 A/B 테스트 설정도 편집할 수 있습니다. 그렇게 하려면 A/B 테스트 결과 탭 오른쪽 상단에서 A/B 테스트 편집 을 선택합니다. 여기에서 테스트 설정(예: 이름, 같은 이메일의 다른 버전 가중치, 우승자 선택 설정)을 편집할 수 있습니다.

시험이 진행되는 동안에는 시험 양식의 콘텐츠를 변경할 수 없습니다. 콘텐츠를 편집하려면 콘텐츠 편집을 클릭하여 테스트를 종료하고 편집할 새 테스트를 복제한 다음 다시 시작합니다.

테스트 개요

개요에서 테스트가 어떻게 진행되고 있는지 한눈에 확인할 수 있어요. 왼쪽 상단의 드롭다운을 사용해 A/B 테스트의 같은 이메일의 다른 버전을 전환할 수 있어요. 개요에 표시되는 지표는 다음과 같아요:

• 승리 확률
  승리 확률은 왼쪽 상단 카드에 표시돼요. 이 비율은 현재 승리 중인 같은 이메일의 다른 버전이 통계적으로 유의미한 최종 승자가 될 가능성을 나타내요. 테스트에 참여하는 시청자가 늘고 더 오래 라이브 상태로 유지될수록 이 숫자가 증가하는 것을 확인할 수 있어요. 승리 확률 아래의 라벨을 통해 테스트 결과가 통계적으로 유의미해지는 시점을 알 수 있어요. 완료된 테스트를 보고 있다면 테스트가 종료된 이유(예: 승자를 선택하여 수동으로 종료됨)도 함께 표시돼요.
• 시작 날짜 및 종료 날짜
  테스트의 시작 날짜와 종료 날짜는 오른쪽 상단 카드에 표시됩니다. 종료 날짜를 설정하지 않았다면, 이 값은 비어 있게 돼요. 테스트가 완료되면 우승자가 선택된 날짜가 표시돼요.

이 카드 아래에는 테스트에서 각 양식 같은 이메일의 다른 버전의 원시 데이터가 표시돼요. 각 같은 이메일의 다른 버전 옆에서, 같은 이메일의 다른 버전별로 다음 지표의 세부 내역을 확인할 수 있어요:

• 현재 가중치
  이 지표는 각 양식으로 유도되는 트래픽의 현재 가중치를 반영해요. 각 양식에 얼마나 많은 트래픽이 가도록 할지 수동으로 선택했다면, 이 숫자는 테스트를 시작할 때 선택한 설정과 일치해요. Klaviyo의 데이터 과학 모델을 사용하고 있다면, 시간이 지나면서 트래픽 가중치가 변하는 것을 확인할 수 있어요. 성과가 더 좋은 양식에 더 많은 트래픽이 배분되므로, 테스트를 진행하는 동안 더 많은 구독자를 확보할 수 있어요.
• 주문
  이 양식에 기인한 접수된 주문 수예요.
• 평균 주문 금액 (AOV)
  이 양식과 관련된 스토어 수익을 양식과 관련된 주문 수로 나눈 값입니다.
• 수익
  조회 기간 내 양식 제출 이후에 발생한 주문 완료 금액($)의 합계예요.
  

• 고유 조회수
  가입 양식 버전을 조회한 고유 사용자의 수입니다(예: 사이트 방문자 1명이 양식을 두 번 조회해도 조회수 1회로 계산됩니다).
• 고유 제출 수
  가입 양식의 같은 이메일의 다른 버전을 제출하거나 “URL로 이동” 버튼을 클릭한 고유 사용자 수예요(예: 사이트 방문자 1명이 양식을 2번 제출해도 제출 1회로 계산돼요). 양식에 제출 버튼과 “URL로 이동” 버튼이 모두 있으면 누군가 양식을 제출할 때만 이벤트가 계산돼요.
• 제출률
  고유 제출 양식 값을 고유 조회수로 나눈 값입니다. 이 비율은 고유 지표를 사용하므로, 합계를 사용하는 개요 탭의 제출률 과는 다르게 표시됩니다.

양식 제출률 그래프

원시 데이터 아래에는 A/B 테스트 기간 동안 같은 이메일의 다른 버전별 양식 제출률을 보여주는 같은 이메일의 다른 버전 플롯이 있어요. 특정 날짜가 궁금하다면 데이터 포인트 위에 마우스를 올려 자세한 정보를 확인하세요.

참여율

여러 단계로 구성된 양식에서 A/B 테스트를 실행하는 경우, 같은 이메일의 다른 버전별로 양식의 각 단계에 대한 참여 유도율이 세부적으로 제공되므로 사이트 방문자가 어디에서 양식을 이탈하는지 파악할 수 있어요. 여기에서 다음 항목을 분석할 수 있습니다:

• 1단계 참여 유도율
  이 지표는 가입 양식 같은 이메일의 다른 버전의 첫 번째 단계에 참여도가 높은 사용자의 비율을 반영해요.
• 모든 단계를 완료한 사용자
  이 지표는 가입 양식 같은 이메일의 다른 버전의 모든 단계에 참여한 사용자의 비율을 반영합니다.

이 데이터 아래에는 같은 이메일의 다른 버전별 단계 완료율 차트가 있어 각 단계별 참여 유도율을 시각화하고 A/B 테스트에서 양식의 같은 이메일의 다른 버전 간 비율을 비교할 수 있어요.

자주 묻는 질문

시간 지연 A/B 테스트가 있는 양식에서 양식 제출률을 다르게 계산하고 있다는 알림이 있어요. 왜 그런가요?

양식에서 시간 지연을 테스트하는 경우, 양식 제출률은 양식의 총 조회 수가 아니라 양식을 볼 수 있는 자격이 있는 순 사용자(Eligible unique views)의 전환을 기준으로 계산돼요.

예를 들어 A/B 테스트가 동일한 가중치로 설정되어 있고 “탐색하는 데 도움이 필요하신가요?”라는 메시지가 있다고 해 볼게요. 테스트에서 한 양식은 사이트 방문 즉시 표시되고, 다른 양식은 1분 후에 로드돼요. 두 양식을 볼 대상자의 수는 같지만, 즉시 표시되는 양식을 더 많은 사람이 보게 돼요. 지연이 있는 양식을 보는 사람은 그렇게 많지 않겠지만, 혼란스러워하는 쇼핑객에게 도움을 제공하므로 여전히 양식 제출률이 더 높을 수 있어요. 양식 지연이 제출률을 높이거나 낮추는지 테스트하려면 양식 제출률은 조회 수 대비 제출 수의 비율이 아니라, 양식을 볼 수 있었던 사람 수 대비 제출 수의 비율이 돼요.

A/B 테스트의 당첨자 선정 부분에서 두 상자를 모두 선택했어요. 두 조건이 모두 충족될 때 테스트가 종료되나요, 아니면 둘 중 하나만 충족되어도 종료되나요?

이 체크박스는 OR 조건으로 작동하므로, 조건 중 하나만 충족되어도 테스트가 중지됩니다. 테스트가 중지되려면 두 조건을 모두 충족할 필요는 없어요.

이미 실행 중인 양식 A/B 테스트의 테스트 설정을 수정할 수 있나요?

네, 폼에서 A/B 테스트로 들어간 다음 A/B 테스트 편집을 선택해 설정을 변경하세요. 하지만 현재 테스트를 종료하고 새 테스트를 시작하지 않으면 폼 콘텐츠는 변경할 수 없습니다.

A/B 테스트의 일부인 양식을 참여하지 않은 경우, 해당 양식이 두 번째로 표시될 때 다른 버전의 양식을 보게 되나요?

아니요. 가입 양식을 처음 볼 때 쿠키가 생성되며, 쿠키를 삭제하거나 익명 브라우저로 탐색하지 않는 한 해당 같은 이메일의 다른 버전만 보게 돼요.

양식에 대한 A/B 테스트를 만들면 양식이 초안 모드로 전환되나요?

양식은 테스트를 만들기 전에 양식이 있던 상태로 유지돼요. 라이브 모드였다가 A/B 테스트를 만들면 현재 버전이 라이브로 표시돼요. 초안 상태였다면 양식은 초안 모드로 유지돼요.

양식 A/B 테스트에 오타가 있어서 새 버전을 게시했어요. 오타가 있는 테스트를 영구적으로 삭제하려면 어떻게 해야 하나요?

삭제하려는 테스트의 결과로 이동하려면 양식에서 해당 항목을 선택하고 A/B 테스트 설정으로 이동한 다음 테스트 삭제를 선택하세요.

양식 A/B 테스트를 라이브로 설정한 다음, 나중에 오타가 있었다는 걸 알았어요. 테스트를 중지하고 다시 빌드한 다음 다시 라이브로 설정하고 싶지 않아요. 어떻게 해야 하나요?

테스트가 실행 중인 동안 양식 분석에서 A/B 테스트 편집을 클릭해 A/B 테스트 설정 페이지로 이동한 다음 콘텐츠 편집을 클릭하세요. 그러면 새 초안 A/B 테스트가 생성되며, 필요에 따라 편집한 다음 A/B 테스트 게시를 클릭해 라이브로 설정할 수 있어요.

폼 변형 중 하나가 성과가 매우 저조해서 폼으로 유입되는 트래픽 비율을 업데이트하고 싶어요. 그렇게 할 수 있나요?

네. 양식을 클릭한 다음 해당 양식의 A/B 테스트 설정으로 이동해 주세요. A/B 테스트 편집을 선택한 다음 가중치를 변경하거나, 모델이 성과를 고려하도록 자동 가중치로 전환해 주세요.

전환 가능성이 더 높은 제안이 다른지 테스트해 보고 싶어요. 각 양식과 연관된 다른 환영 이메일 시리즈를 제공하려면 어떻게 해야 하나요?

각 같은 이메일의 다른 버전에 대해 사용자가 제출하는 목록을 조정 할 수 있어요. 각 같은 이메일의 다른 버전이 서로 다른 목록으로 이동하게 하려면, 양식에서 CTA 버튼을 클릭하고 버튼 클릭 작업 섹션 아래의 제출할 목록을 변경하세요. 그다음 각 같은 이메일의 다른 버전의 목록에 누군가가 가입하는 것을 기준으로 환영 이메일 시리즈 플로우를 트리거 하고, 해당 오퍼로 후속 조치를 진행하세요.

A/B 테스트의 각 같은 이메일의 다른 버전을 누가 보는지 추적하고 싶어요. 어떻게 하면 되나요?

그렇게 하는 방법은 2가지가 있어요. 사람이 제출할 목록을 조정 할 수도 있고, 누군가 양식에서 클릭해 진행할 때 제출되는 숨겨진 필드를 추가할 수도 있어요. 같은 이메일의 다른 버전이 서로 다른 리스트로 이동하게 하려면 버튼을 선택한 다음, Button Click Action 섹션 아래에서 List to Submit 설정을 변경해 주세요. 숨겨진 필드를 통해 제출하려면 Submit Hidden Fields 섹션 아래에 속성을 추가하면 돼요. 그런 다음, 각 속성을 기준으로 세그먼트를 만드세요.