가입 양식을 A/B 테스트하는 방법

학습 내용

학습 내용

A/B 테스트를 사용하여 가입 양식의 다양한 요소의 성능을 평가하는 방법을 알아보세요. 결과를 효과적으로 분석하여 사이트 방문자의 공감을 이끌어내고 리스트 성장에 기여할 수 있는 양식을 만들 수 있습니다. 

A/B 테스트 준비

A/B 테스트 준비

A/B 테스트를 만들기 전에 다음과 같은 일반적인 가이드라인을 고려하세요:

• 한 번에 하나의 변수만 테스트(예: 쿠폰 제공)
  • 쿠폰과 같이 한 번에 단일 변수(요소)를 변경하는 데 집중하여 그 영향을 명확하게 평가하세요.
• 테스트와 같은 이메일의 다른 버전으로 작게 시작하기
  • 변수(예: 쿠폰 제공)를 테스트할 때는 한두 개의 동일한 이메일의 다른 버전으로 시작하여 효과를 측정합니다. 이후 테스트에서 더 많은 데이터를 수집하면서 복잡도를 높일 수 있지만 4개 이상은 사용하지 마세요.
• 시험 중간 변경 방지
  • 라이브 상태에서는 테스트 설정을 변경하지 마세요. 테스트가 실행되면 양식과 같은 이메일의 다른 버전 자체를 편집할 수 없으며, 이러한 유형의 변경을 하려면 테스트를 종료해야 하므로 모든 구성을 미리 확인해야 합니다. 
• 상당한 테스트 기간 허용
  • 통계적으로 유의미한 결과가 나올 때까지 또는 충분한 수의 시청자 표본이 확보될 때까지 기다렸다가 테스트를 종료하세요. 동일한 이메일의 다른 버전이 많을수록 안정적인 결과를 얻으려면 더 많은 트래픽이 필요하다는 점을 기억하세요. 
• 통계적 유의성 이해
  • 통계적 유의성이 A/B 테스트 결과에 어떤 영향을 미치는지 숙지하세요.

A/B 테스트 대상

A/B 테스트 대상

사용 사례	목표	설정
티저로 팝업 테스트하기	팝업 양식에서 티저의 효과를 측정하세요.	티저가 있는 양식과 티저가 없는 양식으로 동일한 이메일의 다른 버전을 두 개 만들어 결과를 비교합니다. 티저에 대해 자세히 알아보세요.
디스플레이 타이밍 테스트	웹사이트에 양식을 표시할 최적의 타이밍을 결정합니다.	동일한 이메일의 다른 버전을 다른 타이밍 설정으로 테스트합니다(예: 하나는 방문자가 일정량 스크롤한 후 표시되고 다른 하나는 종료 의도가 있을 때 표시됨). 타이밍은 양식 편집기의 타겟팅 & 동작 탭에서 구성합니다. 표시 타이밍에 대해 자세히 알아보세요.
쿠폰 오퍼로 양식 테스트	양식에서 프로모션 할인을 제공하면 제출이 늘어나는지 평가합니다.	동일한 이메일의 다른 버전 2개를 생성하여 하나는 쿠폰을 제공하고 다른 하나는 쿠폰을 제공하지 않습니다. 당첨자가 결정되면 추가 테스트 유형의 쿠폰 혜택(예: 10% 할인 대 무료 배송)을 제공합니다. 양식 쿠폰에 대해 자세히 알아보세요.
양식의 콘텐츠 테스트	테스트를 통해 어떤 양식 카피, 이미지 또는 레이아웃이 사이트 방문자의 공감을 얻고 제출률을 높이는지 알아보세요.	다음과 같이 동일한 이메일의 다른 버전에서 한 번에 하나의 콘텐츠 요소를 테스트합니다: 색상 또는 브랜딩 복사(헤더, 본문 또는 행동 촉구 텍스트) 브랜드 목소리 비주얼(다른 이미지 또는 이미지 없음) 게임화 요소 사용(카운터 블록 또는 카운트다운 타이머) 레이아웃 조정  양식 콘텐츠에 대해 자세히 알아보세요.

A/B 테스트 만들기

A/B 테스트 만들기

테스트 만들기

테스트 만들기

가입 양식에 대한 A/B 테스트를 만드는 방법에는 두 가지가 있습니다:

• 가입 양식 탭에서 테스트하려는 양식 옆의 점 3개 드롭다운 메뉴를 클릭하고 A/B 테스트 만들기를 선택합니다.
• 테스트하려는 가입 양식의 양식 편집기를 열고 상단 모서리에서 A/B 테스트 만들기를 선택합니다. 

어디서 입력하든 상관없습니다:

1. 시작하려면 A/B 테스트 만들기를 선택합니다.
   
2. 다음으로, 테스트의 이름을 설명할 수 있는 이름으로 지정합니다. 뉴스레터 팝업의 버튼 색상을 테스트하는 경우 테스트 뉴스레터 - 제출 버튼 색상이라는 이름을 지정할 수 있습니다.
3. A/B 테스트 이름을 지정한 후, 가입 양식 같은 이메일의 다른 버전을 서로 다른 이름으로 지정하여 구분할 수 있도록 합니다.
   • 기본적으로 양식 이름 사본 #이라는 이름이 함께 제공됩니다. 이전과 다른 색상의 제출 버튼 예시를 사용하면 양식의 이름이 뉴스레터 - 파란색 및 뉴스레터 - 회색으로 지정될 수 있습니다.
   • 여기서도 동일한 이메일의 다른 버전을 추가할 수 있습니다. 이를 위해 복사 버튼을 선택하시면 됩니다. A/B 테스트에 동일한 이메일의 다른 버전 최대 7개를 추가할 수 있습니다. 참고로, 동일한 이메일의 다른 버전을 추가할수록 테스트를 실행하는 데 더 많은 시간이 소요됩니다. 이상적인 A/B 테스트에는 2개에서 4개 사이의 동일한 이메일의 다른 버전이 포함되어야 합니다. 아래 예시에서는 동일한 이메일의 다른 버전 세 개가 있습니다: 원본 형식과 추가로 진행된 2개의 테스트 버전입니다.
4. 테스트를 구성한 후 '테스트 생성'을 선택합니다.
   

변형 구성

변형 구성

테스트를 생성한 후에는 가입 양식 편집기로 다시 이동합니다. 양식의 이름을 선택하여 양식의 다양한 변형 사이를 전환할 수 있습니다. 이 메뉴에서 변형 이름을 변경하거나, 추가 변형을 만들거나, 변형을 삭제할 수도 있습니다.

영감을 얻으려면 A/B 테스트 대상 섹션을 참조하세요.

양식 구성을 완료했으면 설정 테스트 계속을 선택합니다.

A/B 테스트 설정 구성

A/B 테스트 설정 구성

테스트 설정 페이지에서 테스트의 사용자 정의 설정 항목이 여기에 표시됩니다. 맞춤 설정을 고려해 보세요:

• • 변형 이름
  • 트래픽 선택(무게)
  • 수상자 선정
  • 참고

참고로, 가입 양식 목록 보기 페이지에서 해당 양식을 선택한 후 A/B 테스트 결과 > 테스트 편집으로이동하여 테스트 설정 페이지에 접근할 수 있습니다.

트래픽 선택

이 섹션에서 양식의 변형으로 이동하는 트래픽의 양을 확인할 수 있습니다. 기본적으로 각 양식은 동일한 수의 뷰어에게 표시됩니다. 테스트가 실행되는 동안 변형 중 하나가 다른 변형보다 성능이 우수한 경우, 클라비요는 테스트가 실행되는 동안 더 성능이 우수한 형태로 트래픽을 유도합니다.

가중치 - 수동으로 전환하여 선택하면 양식의 각 변형에 얼마나 많은 트래픽을 보낼지 지정할 수 있습니다. 금액은 100%를 더해야 합니다.

수상자 선정

트래픽 선택 섹션과 마찬가지로 테스트의 우승자를 선택하는 방법에는 두 가지 옵션이 있습니다. 테스트를 자동 또는 수동으로 종료할 수 있습니다.

• 자동으로
  테스트를 자동으로 종료하는 경우, 통계적으로 유의미한 수준에서 다른 변수를 능가하는 변수가 1개가 있거나 특정 날짜에 도달하면 테스트가 종료됩니다. 두 상자를 모두 선택할 수도 있으며 조건 중 하나가 충족되면 테스트가 종료됩니다. 예를 들어 두 조건을 모두 선택하고 양식을 한 달 동안만 실행하는 경우 일주일 후 양식에 통계적으로 유의미한 결과가 있는 경우 테스트가 종료됩니다.
  • 결과만 통계적으로 유의미할 때 테스트를 종료하면 클라비요의 데이터 과학 모델이 자동으로 계산을 수행하여 우승자를 선정합니다.
  • 특정 날짜에 시험을 보내도록 선택하면 시험은 협정 세계시(UTC)로 자정에 종료됩니다.
• 수동으로
  테스트를 수동으로 종료하도록 선택하면(두 상자를 모두 선택 취소), 우승자와 테스트 종료 날짜를 모두 선택할 수 있습니다. 

어떤 자동 선택 항목을 선택하든 테스트가 완료되면 이긴 양식은 사이트에 게시됩니다.

테스트 설정 편집을 완료한 후 A/B 테스트 게시를 선택합니다. 테스트가 진행되기 전에 클라비요는 사이트에 양식을 게시하는 데 문제가 없는지, 양식에 필요한 모든 콘텐츠(예: 동의 언어, CTA, 제출 필드 등)가 포함되어 있는지 확인합니다.

A/B 테스트 결과 검토

A/B 테스트 결과 검토

테스트가 실행되는 동안 또는 A/B 테스트를 완료한 후에는 계정에서 데이터를 모니터링할 수 있습니다. 가입 양식으로 이동한 다음 양식을 선택합니다. 개요 탭에서 양식의 전반적인 실적을 확인할 수 있습니다. A/B 테스트 결과 탭을 선택하여 A/B 테스트의 분석 내용을 구체적으로 살펴보세요.

여기에서 A/B 테스트의 설정을 편집할 수도 있습니다. 이렇게 하려면 A/B 테스트 결과 탭의 오른쪽 상단 모서리에서 A/B 테스트 편집을 선택합니다. 여기에서 테스트 설정(예: 이름, 변형 가중치, 우승자 선택 설정)을 편집할 수 있습니다.

시험이 진행되는 동안에는 시험 양식의 콘텐츠를 변경할 수 없습니다. 콘텐츠를 편집하려면 콘텐츠 편집을 클릭하여 테스트를 종료하고 편집할 새 테스트를 복제한 다음 다시 시작합니다. 

테스트 개요

테스트 개요

개요 아래에서 테스트의 성능에 대한 스냅샷을 확인할 수 있습니다. 왼쪽 상단의 드롭다운을 사용하여 A/B 테스트의 다양한 변형을 전환할 수 있습니다. 개요에 표시되는 메트릭에는 다음이 포함됩니다: 

• 승리 확률
  승리 확률은 왼쪽 상단 카드에 표시됩니다. 이 비율은 현재 승리하고 있는 변형이 통계적으로 유의미한 승자가 될 가능성을 나타냅니다. 테스트의 시청자 수가 늘어나고 라이브 기간이 길어질수록 이 숫자가 증가하는 것을 볼 수 있습니다. 테스트 결과가 통계적으로 유의미해지면 당첨 확률 아래의 레이블을 통해 알 수 있습니다. 완료된 테스트를 보는 경우 테스트가 종료된 이유(예: 우승자를 선택하여 수동으로 종료됨)도 표시됩니다.
• 시작 날짜 및 종료 날짜
  시험 시작 날짜와 종료 날짜는 오른쪽 상단 카드에 나열되어 있습니다. 종료 날짜를 설정하지 않은 경우 이 입력란은 비워둡니다. 테스트가 완료되면 당첨자가 선정된 날짜가 표시됩니다.

  언제든지 테스트를 수동으로 중지하고 우승자를 선택하려면 우승자 선택을선택합니다. 언제든지 이 버튼을 선택하면 테스트를 종료하고 우승 양식 변형을 라이브 또는 초안 모드로 설정할 수 있는 옵션이 제공됩니다.

이러한 카드 아래에는 테스트의 각 양식 변형에 대한 원시 데이터가 표시됩니다. 각 변형 옆에서 다음 메트릭을 변형별로 분석할 수 있습니다:

• 현재 가중치
  이 지표는 각 양식으로 전달되는 트래픽의 현재 가중치를 반영합니다. 각 양식으로 이동하는 트래픽 양을 수동으로 선택한 경우 이 수치는 테스트를 시작할 때 선택한 설정과 일치합니다. 클라비요의 데이터 과학 모델을 사용하는 경우, 시간이 지남에 따라 트래픽의 비중이 변화하는 것을 볼 수 있으며, 테스트를 실행할수록 더 많은 트래픽이 승리하는 양식에 할당되고 더 많은 구독자를 확보할 수 있습니다.
• 주문
  이 양식에 귀속된 주문 수입니다.
• 평균 주문 금액(AOV)
  이 양식과 연결된 스토어 수익을 양식과 연결된 주문 수로 나눈 값입니다.
• 수익
  룩백 창에서 양식을 제출한 후 발생한 주문 합계($)입니다.
  

  수익이 가입 양식에 연결되는 방식에 대해 자세히 알아보려면 양식의 수익 지표 이해를 참조하세요.

• 고유 조회수
  가입 양식 변형을 본 순 사용자 수입니다(예: 사이트 방문자 1명이 양식을 두 번 본 경우 1회의 조회 수로 계산).
• 고유 제출
  가입 양식과 같은 이메일의 다른 버전을 제출하거나 "URL로 이동" 버튼을 클릭한 순 사용자 수입니다(예: 사이트 방문자 1명이 양식을 두 번 제출하면 1회의 제출로 계산). 양식에 제출 버튼과 'URL로 이동' 버튼이 모두 있는 경우, 누군가 양식을 제출할 때만 이벤트가 카운트됩니다.
• 제출 비율
  제출된 고유 양식 값을 고유 조회 수로 나눈 값입니다. 이 비율은 고유한 지표를 사용하므로 총계를 사용하는 개요 탭의 제출 비율과는 다릅니다. 

양식 제출률 그래프

양식 제출률 그래프

원시 데이터 아래에는 A/B 테스트 기간 동안의 변동에 따른 양식 제출률을 보여주는 변동 플롯이 있습니다. 특정 날짜에 관심이 있는 경우 데이터 포인트 위로 마우스를 가져가면 자세한 정보를 확인할 수 있습니다.

참여율

참여율

다단계 양식에서 A/B 테스트를 실행하는 경우, 양식의 각 단계별 참여율을 변형별로 분석하여 사이트 방문자가 양식을 포기하는 지점을 파악할 수 있습니다. 여기에서 분석할 수 있습니다:

• 1단계 참여율
  이 지표는 가입 양식 변형의 첫 번째 단계에 참여한 사용자의 비율을 반영합니다.
• 모든 단계를 완료한 사용자
  이 지표는 가입 양식 변형의 모든 단계에 참여한 사용자의 비율을 반영합니다. 

이 데이터 아래에는 변형별 단계 완료율 차트가 있어 단계별 참여율을 시각화하고, A/B 테스트에서 양식 변형 간의 참여율을 비교할 수 있습니다.

자주 묻는 질문

자주 묻는 질문

시간 지연 A/B 테스트가 있는 양식의 양식 제출률이 다르게 계산된다는 알림이 있습니다. 왜 그럴까요?

양식에서 시간 지연을 테스트하는 경우 양식 제출률은 양식의 총 조회수가 아니라 양식을 볼 수 있는 고유 사용자의 전환 수(적격 고유 조회수)를 확인하여 계산됩니다.

예를 들어, A/B 테스트에 가중치가 균등하게 적용되고 "탐색에 도움이 필요하십니까?"라는 메시지가 있다고 가정해 보겠습니다. 테스트에서는 누군가 사이트를 방문하면 한 양식은 즉시 표시되고 다른 양식은 1분 후에 로드됩니다. 같은 수의 사람들이 두 양식을 보기 위해 대기열에 대기하지만, 더 많은 사람들이 즉시 표시되는 양식을 보게 됩니다. 지연된 양식을 보는 사람은 많지 않지만 혼란스러워하는 쇼핑객에게 도움을 주므로 양식 제출률이 높아질 수 있습니다. 양식 지연으로 인해 제출률이 높아지거나 낮아지는지 테스트하기 위해 양식 제출률은 조회 수 대비 제출 건수가 아니라 양식을 볼 수 있었던 사람 수 대비 제출 건수를 백분율로 표시합니다.

A/B 테스트의 승자 선택 부분에서 두 상자를 모두 선택했습니다. 두 조건 중 하나 또는 둘 중 하나가 충족되면 테스트가 종료되나요?

이러한 확인란은 OR 조건으로 작동하므로 조건 중 하나가 충족되면 테스트가 중지됩니다. 테스트가 중지되려면 두 조건이 모두 충족될 필요는 없습니다.

양식 A/B 테스트가 이미 실행된 후에 테스트 설정을 편집할 수 있나요?

예, 양식에서 A/B 테스트를 클릭하고 A/B 테스트 편집을 선택하여 설정을 변경합니다. 그러나 현재 시험을 종료하고 새 시험을 시작하지 않으면 양식의 내용을 변경할 수 없습니다.

누군가 A/B 테스트의 일부인 양식에 참여하지 않는 경우, 양식이 두 번째로 표시될 때 다른 버전의 양식이 표시되나요?

아니요, 양식을 처음 볼 때 쿠키가 설정되며 쿠키를 지우거나 익명 브라우저에서 검색하지 않는 한 해당 변형만 볼 수 있습니다.

양식에 대한 A/B 테스트를 만들면 양식이 초안 모드로 전환되나요?

양식은 테스트를 만들기 전에 양식이 어떤 상태였는지 그대로 유지됩니다. 라이브 모드에서 A/B 테스트를 만들면 현재 버전이 라이브 상태가 됩니다. 양식이 초안인 경우 초안 모드가 됩니다.

양식 A/B 테스트에 오타가 있어서 새로 작성하여 게시했습니다. 오타가 있는 시험을 영구적으로 삭제하려면 어떻게 해야 하나요?

양식을 선택하고 A/B 테스트 설정으로 이동하여 제거하려는 테스트의 결과로 이동한 다음 테스트 삭제를 선택합니다.

양식 A/B 테스트를 라이브로 설정했는데 나중에 오타가 있다는 것을 깨달았습니다. 테스트를 중단하고 다시 빌드한 다음 다시 라이브로 설정하고 싶지 않습니다. 어떻게 해야 하나요?

양식 분석에서 A/B 테스트 편집을 클릭하여 테스트가 실행되는 동안 A/B 테스트 설정 페이지로 이동하고 콘텐츠 편집을 클릭합니다. 그러면 새 A/B 테스트 초안이 생성되며, 필요에 따라 편집한 다음 A/B 테스트 게시를 클릭하여 라이브로 설정할 수 있습니다.

양식 변형 중 하나의 실적이 매우 저조하여 양식으로 이동하는 트래픽의 양을 업데이트하고 싶습니다. 그렇게 해도 되나요?

예. 양식을 클릭하고 특정 양식에 대한 A/B 테스트 설정으로 이동합니다. A/B 테스트 편집을 선택하고 가중치를 변경하거나 모델이 성능을 고려하는 자동 가중치로 전환합니다.

다른 오퍼가 전환 가능성이 더 높은지 테스트하고 싶습니다. 각 양식에 따라 서로 다른 환영 시리즈를 제공하려면 어떻게 해야 하나요?

각 변형에 대해 한 사람이 제출하는 목록을 조정할 수 있습니다. 각 변형이 다른 목록으로 이동하도록 하려면 양식에서 CTA 버튼을 클릭하고 버튼 클릭 동작 섹션에서 목록을 제출로 변경합니다. 여기에서 각 변형의 목록에 가입하는 사람을 기준으로 환영 시리즈 흐름을 트리거하고 관련 오퍼로 후속 조치를 취하세요.

A/B 테스트의 각 양식 변형을 누가 보는지 추적하고 싶습니다. 어떻게 하면 되나요?

이를 수행하는 방법에는 두 가지가 있습니다. 사람이 제출하는 목록을 조정하거나 누군가 양식을 클릭할 때 제출되는 숨겨진 필드를 추가할 수 있습니다. 다른 변형이 다른 목록으로 이동하도록 하려면 버튼을 선택하고 버튼 클릭 동작 섹션에서 제출할 목록 설정을 변경합니다. 숨겨진 필드를 통해 제출하려면 숨겨진 필드 제출 섹션에서 속성을 추가하면 됩니다. 그런 다음 각 속성을 기반으로 세그먼트를 만듭니다.

추가 리소스

추가 리소스

• A/B 테스트 참조 모범 사례
• 코스: 가입 양식을 사용하여 효과적인 고객 확보 전략 생성
• 가입 양식으로 시작하기
• 교육 과정: A/B 테스트로 마케팅 강화하기