학습 내용

실험 섹션을 사용해 A/B 테스트 성공 여부를 분석하는 방법을 알아보세요. 실험 섹션에서는 캠페인 및 플로우 A/B 테스트를 한곳에 모아, 테스트한 요소, 사용된 마케팅 채널, 성공률 및 기타 데이터에 대한 인사이트를 제공해요.

실험 섹션으로 이동

소유자, 관리자, 매니저, 분석가는 실험 섹션에 액세스할 수 있어요.

분석 > 실험으로 이동합니다. 페이지에 탭이 표시되면 A/B 테스트를 선택합니다.

기본적으로 캠페인 보기로 열려요. 플로우 A/B 테스트를 검토하려면 플로우를 선택하고, 캠페인 A/B 테스트로 돌아가려면 캠페인을 선택하세요.

검색 및 설정 옵션 사용

캠페인 또는 플로우 보기 상단에는 A/B 테스트 보기의 표시 방식을 사용자 지정할 수 있는 옵션과 특정 테스트를 검색할 수 있는 기능이 있어요.

settings and search menu.jpg
settings and search menu.jpg

테스트를 검색하는 중

검색 필드에 캠페인 이름 또는 플로우 테스트 이름, 또는 해당 이름에 포함된 키워드를 입력해 주세요(예: “블랙프라이데이와 사이버먼데이(BFCM) 웰컴 테스트” 또는 “웰컴”). 입력하는 대로 결과가 업데이트돼요.

검색 기능은 Campaigns 보기와 플로우 보기에서 각각 독립적으로 적용돼요. 즉, 검색 결과는 각 보기 내 결과로만 제한돼요.

설정 옵션 조정

각 보기 상단의 필터를 사용해 A/B 테스트 결과를 좁혀 보세요. 필터가 표시되지 않으면, 필터 아이콘을 클릭해 추가 필터를 여세요.

설정 변경 사항은 Campaigns 보기와 플로우 보기 각각에 별도로 적용돼요. 즉, 이 드롭다운에서 선택한 내용은 각 보기의 결과에만 제한돼요.

기간 설정
기간 아래의 드롭다운에서 다음 기간의 A/B 테스트 결과를 검토하도록 선택할 수 있어요:

  • 오늘
    여기에는 UTC를 기준으로 시작일이 오늘인 테스트가 포함돼요.
  • 지난 7일
    여기에는 지난 7일 이내에 시작일이 있는 모든 테스트가 포함돼요.
  • 지난 30일
    여기에는 지난 30일 이내에 시작 날짜가 있는 모든 테스트가 포함돼요.
  • 지난 90일
    지난 90일 내 시작 날짜가 있는 테스트가 여기에 포함돼요.
  • 올해
    여기에는 현재 달력 연도 시작일부터 오늘까지 시작 날짜가 있는 모든 테스트가 포함돼요.
  • 작년
    이전 달력 연도에 시작일이 있었던 모든 테스트가 여기에 포함돼요. 예를 들어 현재가 2023년이라면, 시작일이 2022년인 모든 테스트가 여기에 해당돼요.
  • 전체 기간
    여기에는 실행되었거나 현재 실행 중인 모든 테스트가 포함돼요.

날짜 범위에는 진행 중이거나 완료된 테스트뿐만 아니라 취소된 캠페인 테스트도 포함할 수 있어요.

마케팅 채널 설정
채널 아래의 드롭다운에서 다음 중에서 결과 범위를 좁히도록 선택할 수 있어요:

  • 이메일
    이 옵션은 이메일 A/B 테스트만 표시해요.
  • 문자 메시지
    이 옵션은 SMS A/B 테스트만 표시해요.

플로우 보기에서 채널 필터에 푸시 알림 또는 WhatsApp이 포함되어 있다면, 해당 채널의 테스트를 보려면 하나를 선택해 주세요.

채널 전체에서 테스트를 보려면 채널 필터를 해제해 주세요.

지표 설정
우승 지표 아래의 드롭다운에서 다음을 포함해 특정 우승 지표가 포함된 결과로만 결과 범위를 좁히도록 선택할 수 있어요:

  • 이메일 열람률
    이메일 열람률을 승리 지표로 사용하는 A/B 테스트만 확인하세요.
  • 전환율
    전환율을 우승 지표로 사용하는 A/B 테스트만 확인할 수 있어요.
  • 주문 완료 주문율
    캠페인 보기에서는 주문 완료 주문율을 승리 지표로 사용하는 A/B 테스트만 확인할 수 있어요.

우승 지표와 관계없이 테스트를 보려면 우승 지표 필터를 지우세요.

특정 테스트 요구사항에 사용할 승리 지표를 포함하여 이메일, SMS 또는 플로우 에 대한 A/B 테스트 구성 방법을 자세히 알아보세요.

기타 필터 설정
이 필터를 사용해 결과 범위를 더 좁혀 보세요:

  • 테스트 유형 (캠페인 보기에서만 가능)
    메시지 콘텐츠 또는 이메일 요소(예: 다른 미리보기 텍스트 및 제목)의 A/B 테스트에는 콘텐츠 테스트를 선택하고, 메시지 전송 시간 테스트에는 전송 시간 테스트를 선택하세요. 두 가지 유형을 모두 보려면 이 필터를 해제하세요.
  • 상태
    현재 진행 중인 A/B 테스트를 보려면 진행 중을 선택하고, 완료된 테스트를 보려면 완료됨을 선택해 주세요.
  • 통계적 유의성
    테스트가 통계적 유의성에 도달했는지 여부로 필터링하려면 통계적으로 유의함 또는 통계적으로 유의하지 않음을(를) 선택해 주세요.

현재 보기에서 검색 및 필터를 재설정하려면 지우기를 클릭하세요. 이렇게 하면 초기 기간 선택도 복원돼요. 해당 기간에 테스트가 없었다면 지난 90일 또는 전체 기간으로 돌아가요.

clear option.jpg
clear option.jpg

수집한 A/B 테스트 결과 검토하기

두 보기 모두 처음에는 지난 90일을 사용해요. 해당 기간에 테스트가 없으면 보기가 전체 기간으로 전환돼요. 이전 테스트를 찾으려면 전체 기간을 선택해요. 결과에는 필터와 일치하는 진행 중 및 완료된 테스트와 취소된 캠페인 테스트가 포함돼요. 초안 테스트와 스마트 전송 시간 테스트는 포함되지 않아요.

표에는 개별 같은 이메일의 다른 버전이 아니라 A/B 테스트가 나열돼요. 플로우에는 여러 개의 테스트가 있을 수 있어요. 캠페인 또는 테스트 이름을 클릭하면 같은 이메일의 다른 버전을 더 자세히 볼 수 있어요.

이 표에는 다음과 같은 열이 포함되어 있어요:

  • 캠페인 이름 또는 테스트 이름
    캠페인 보기에는 캠페인 이름이 표시돼요. 캠페인 메시지의 이름이 다르면 캠페인 이름 뒤에 표시돼요. 플로우 보기에는 테스트 이름이 표시돼요. 두 보기 모두 이름 아래에 우승 지표가 표시돼요.
    이름을 클릭하면 A/B 테스트 결과가 열리고 같은 이메일의 다른 버전, 데이터, 그리고 승리 결과를 검토할 수 있어요.
  • 채널
    테스트 중인 마케팅 채널로, 예를 들어 문자 메시지(말풍선 아이콘으로 표시됨) 또는 이메일(봉투 아이콘으로 표시됨) 등이 있어요.
  • 테스트 유형 (캠페인 보기에서만 가능)
    연필 아이콘으로 표시되는 콘텐츠 테스트 인지, 시계 아이콘으로 표시되는 전송 시간 테스트 인지 확인할 수 있어요.
  • 시작 날짜
    A/B 테스트가 처음 시작된 날짜예요.
  • 종료일 (플로우 보기에서만)
    테스트가 종료된 시점이에요. 아직 종료되지 않았다면 대시(–)가 표시돼요.
  • 테스트 크기
    모든 같은 이메일의 다른 버전에서 A/B 테스트에 포함된 프로필 수입니다.
  • 승리 확률
    선택한 승리 지표에서 같은 이메일의 다른 버전이 다른 같은 이메일의 다른 버전보다 더 나은 성과를 낼 가능성이 얼마나 되는지예요.
    승리 확률만으로는 통계적 유의성을 확립할 수 없어요. 캠페인의 경우, 각 같은 이메일의 다른 버전에는 50명 이상의 수신자가 있어야 하며, 같은 이메일의 다른 버전의 승리 확률은 90%를 초과해야 해요. 플로우 테스트의 경우, Klaviyo는 샘플 크기 외에도 참여 유도와 같은 이메일의 다른 버전 결과가 얼마나 명확하게 다른지도 확인해요. 전체 기준은 플로우의 통계적 유의성 및 캠페인의 통계적 유의성에서 확인하세요.
  • 상태
    완료된 테스트는 완료, 실행 중인 테스트는 진행 중, 또는 취소된 캠페인 테스트는 취소됨으로 표시돼요.

기본적으로 이 표는 가장 최근에 시작된 테스트를 기준으로 정렬돼요. 오름차순 또는 내림차순으로 정렬하려면 Campaign name 또는 Test name, 채널, Start date, Test size, Win probability 또는 Status 옆의 화살표를 사용하세요. 또한 Campaigns 보기에서는 Test type으로, 플로우 보기에서는 End date 로도 정렬할 수 있어요.

추가 자료

  • 이메일 캠페인을 A/B 테스트하는 방법

    캠페인에 대한 A/B 테스트를 설정하고 실행하는 방법, 테스트 결과를 읽는 방법, 그리고 캠페인 A/B 테스트의 몇 가지 사용 사례를 알아보세요. Klaviyo의 캠페인 A/B 테스트 기능을 사용하면 다양한 제목, 메시지 콘텐츠, 전송 시간을 쉽게 테스트할 수 있어 잠재고객에게 가장 효과적인 요소가 무엇인지 더 잘 이해할 수 있어요.

  • 플로우 이메일 A/B 테스트 방법

    Klaviyo의 A/B 테스트 환경을 사용해 플로우에서 개별 이메일을 테스트하는 방법을 알아보세요. 예를 들어 제목, 할인, 이메일 콘텐츠 등을 테스트할 수 있어요. A/B 테스트를 사용해 일반 텍스트 이메일이 이미지가 많은 HTML 이메일보다 더 좋은 성과를 내는지 확인할 수도 있어요.

  • SMS 캠페인을 A/B 테스트하는 방법

    이 문서에서는 SMS 캠페인을 A/B 테스트하는 방법과 테스트할 측면을 알아보세요.

  • Klaviyo 캠페인에서 통계적 유의성 이해하기

    A/B 테스트가 통계적으로 유의미한지 여부를 판단하는 방법을 알아보세요. 예를 들어, 캠페인 같은 이메일의 다른 버전 A의 이메일 열람률이 15%이고 같은 이메일의 다른 버전 B의 이메일 열람률이 14%라면, 어떤 같은 이메일의 다른 버전(A 또는 B)이 더 좋은 성과를 냈는지 어떻게 확실히 알 수 있을까요?

  • 플로우에서 통계적 유의성 이해하기

    Klaviyo 플로우에서 A/B 테스트 결과가 통계적으로 유의미한 것으로 간주되는 시점을 알아보세요. 이 문서에서는 플로우의 통계적 유의미성 및 이를 결정하는 시점을 설명해요.

이 도움말 문서가 유용했나요?
이 형식은 도움말 문서 피드백 용도로만 사용하세요. 지원 팀에 문의하는 방법.

Klaviyo에서 자세히 살펴보기

커뮤니티
동료, 파트너, Klaviyo 전문가와 연결되어 영감을 받고 인사이트를 공유하며, 모든 궁금한 사항에 대해 답을 얻으세요.
파트너
특정 작업을 도와주거나 지속적인 마케팅 관리를 위해 Klaviyo 인증 전문가를 고용하세요.
지원

계정을 통해 지원에 액세스하세요.

이메일 지원 (무료 체험 및 유료 계정) 연중무휴 24시간 사용 가능

채팅/가상 비서
사용 가능 여부는 위치 및 요금제 유형에 따라 다름