학습 내용

글로벌 홀드아웃 그룹을 사용해 마케팅의 영향과 효과를 파악하는 방법을 알아보세요. 글로벌 홀드아웃 그룹은 일부 프로필을 메시지 발송에서 제외해 마케팅 프로그램의 점진적 성과를 확인할 수 있는 방법을 제공해요. 이러한 홀드아웃 그룹을 통해 마케팅 프로그램의 기본 가치를 비교하고 분석할 수 있으며, 이러한 전략을 지속적으로 최적화하는 방법도 확인할 수 있어요.

시작하기 전에 알아야 할 것

홀드아웃 그룹을 사용하려면 최소 400,000개의 프로필(이 수치는 전체 프로필 수임)에 해당해야 해요. 이를 통해 Klaviyo가 홀드아웃 그룹을 마케팅을 받는 다른 프로필과 비교할 수 있을 만큼 충분한 프로필 데이터를 확보할 수 있어요. 또한 충분한 데이터를 수집하기 위해 홀드아웃 그룹을 3개월 동안 실행하는 것을 권장해요.

홀드아웃 그룹을 사용해야 하는 경우와 사용하지 말아야 하는 경우에 대해 자세히 알아보세요.

홀드아웃 그룹을 적절하게 사용하기

홀드아웃 그룹 사용 방법

홀드아웃 그룹은 마케팅 프로그램의 효과를 테스트하고, 이러한 전략에 적용할 수 있는 변경 사항까지 잠재적으로 평가하고 싶을 때 사용해야 해요. 홀드아웃 그룹은 커뮤니케이션을 전혀 받지 않기 때문에, 마케팅 전략이 만들어내는 영향을 명확하게 비교해 볼 수 있다는 점에서 유용해요.

예를 들어, 다음을 설정하려는 경우 홀드아웃 그룹 사용을 고려해 보세요:

  • 비용 대비 전반적인 마케팅 프로그램의 명확한 가치와 영향.
  • 마케팅 프로그램을 변경할 때(예: 새 채널 추가) 이러한 점진적 변경과 연관된 값이에요.
  • 특정 마케팅 활동이 실제로는 해롭고 부정적인 결과를 내고 있어 조정이 필요한지(예: 고객에게 잘못된 시점에 플로우가 너무 많이 발송되는 경우).

홀드아웃 그룹에서 고려해야 할 추가 요인

홀드아웃 그룹을 언제 어떻게 사용할지에 대한 타이밍과 적용 방식을 고려하는 것이 중요해요.

홀드아웃 그룹에 포함된 사용자는 캠페인 또는 플로우를 통해 전송되는 이메일, SMS, 푸시 알림을 어떤 것도 받지 않으므로, 다음 요인을 고려해 보세요:

  • 마케팅 프로그램과 비교하는 데 사용할 수 있는 활성 홀드아웃 그룹은 한 번에 하나만 가질 수 있어요.
  • 홀드아웃 그룹은 캠페인이나 플로우에서 사용하는 모든 채널에 적용되며, 특정 채널에만 켜고 다른 채널에는 끄는 방식으로 설정할 수 없어요.
  • 홀드아웃 그룹은 다른 중요한 계절성 전자상거래 이벤트나 시기(예: 블랙프라이데이 사이버 먼데이)를 방해하지 않아요.
  • 홀드아웃 그룹에 속한 사람을 포함해, 항상 수신해야 하는 메시지입니다. 메시지 재정의에 대해 자세히 알아보세요.

홀드아웃 그룹 vs. A/B 테스트

홀드아웃 그룹은 A/B 테스트와 성격이 다르므로, 두 기능을 혼동하면 안 돼요. 홀드아웃 그룹을 사용하면 특정 그룹의 사람들에게 아무것도 보내지 않음으로써 마케팅 커뮤니케이션의 영향을 파악할 수 있어요. 반면 A/B 테스트를 사용하면 마케팅 커뮤니케이션의 2개 이상 버전을 비교할 수 있어요. 예를 들어 이메일 캠페인의 2가지 버전을 비교할 수 있어요.

홀드아웃 그룹 만들기

  1. 홀드아웃 그룹을 만들려면 애널리틱스 > 실험으로 이동한 다음 전역 실험 탭을 클릭하세요.

참고: 이 페이지에 액세스할 수 없다면, 자격을 충족하는 데 필요한 400K+ 프로필이 없다는 뜻이에요. 또한 홀드아웃 그룹은 소유자, 관리자, 매니저만 만들 수 있어요.

2. 테스트 생성을 클릭하세요.

create test.jpg
create test.jpg

그런 다음 홀드아웃 그룹을 설정하고 사용자 지정하기 위한 일련의 단계를 진행하게 돼요.

3. 왼쪽의 필드를 사용해 홀드아웃 그룹에 포함할 마케팅 가능 프로필의 비율을 나타내는 숫자를 추가하세요. 필드에서 비율을 업데이트하면 숫자 값이 오른쪽의 총 개수도 업데이트해요. 이 필드에는 숫자만(소수점 둘째 자리까지) 입력하세요.

전체 시장성 있는 프로필의 약 5%를 사용하여 홀드아웃 그룹을 만드는 것이 좋습니다. 홀드아웃 그룹 비율을 선택한 후에는 이 설정 프로세스를 완료하고 활성화된 후에는 수정할 수 없습니다. 그러나 회사 및 구독자 목록이 성장함에 따라 홀드아웃 그룹은 원래 설정한 비율과의 일관성을 유지하기 위해 증가한다는 점에 유의해야 합니다.

4. 비율이 만족스러우면 계속을 클릭합니다.

holdout_size.png
holdout_size.png

5. 기본적으로 홀드아웃 그룹은 오늘 날짜로 시작하지만, 종료 날짜를 선택할 수 있어요. 날짜 선택 필드를 클릭해 캘린더 위젯을 표시해 주세요. 여기에서 캘린더에서 날짜를 클릭해 종료 날짜를 선택해 주세요.

충분한 데이터를 수집하려면 3개월 동안 홀드아웃 그룹을 운영하는 것이 권장돼요.

start and end date.jpg
start and end date.jpg

또한 필요하다고 판단되는 특정 플로우는 홀드아웃 그룹의 프로필에서도 계속 수신되도록 할 수 있어요. 이를 위해 특정 플로우에 대해 홀드아웃 그룹 규칙을 재정의할 거예요. 예를 들어, 많은 환영 이메일 플로우는 중요하므로 홀드아웃 고객도 계속 받아야 하며, 따라서 재정의되어야 할 수 있어요.

다음 단계는 선택 사항이며, 특정 플로우를 오버라이드하는 데 필수는 아니에요. 하지만 어떤 메시지가 브랜드에 대한 오디언스의 경험에서 중요한지 고려하고, 적절한 경우 오버라이드를 사용하는 것이 좋습니다. 참고로 트랜잭션 메시지(예: 주문 확인)는 항상 적용 및 오버라이드되므로 홀드아웃 그룹도 이를 받게 됩니다.
또한 이 설정 마법사 외부의 추가 단계를 통해 특정 캠페인을 건너뛰거나, 나중에 플로우를 건너뛰도록 선택할 수도 있어요. 아래의 다음 단계를 완료해 설정을 마친 다음, 자세한 내용은 이 가이드의 캠페인 오버라이드 또는 플로우 섹션을 확인하세요.
또한 홀드아웃 그룹이 특정 메시지를 받도록 오버라이드하면 홀드아웃 그룹 분석에 영향을 미칩니다. 홀드아웃 그룹이 여전히 일부 메시지를 받기 때문에 전체 마케팅 상승 효과가 감소하는 것을 볼 수 있어요.

6. 프로필이 특정 플로우를 계속 받는지 확인하려면 왼쪽의 플로우 검색 필드에서 플로우 이름으로 검색해 보세요. 또한 태그 선택 드롭다운을 열고 드롭다운에서 특정 태그를 선택해 특정 플로우로 검색 범위를 좁힐 수 있어요.

field and tags flow lookup.jpg
field and tags flow lookup.jpg

또한 모두 드롭다운을 열고 환영 이메일 시리즈 또는 탐색 이탈을 선택해 특정 플로우에 대한 검색 범위를 더 좁힐 수 있어요. 이 옵션 중 하나를 선택하면 아래에 이러한 유형의 플로우만 표시돼요.

welcomes series dropdown.jpg
welcomes series dropdown.jpg

마지막으로 상태(Live, Manual, Draft)를 기준으로 플로우를 찾도록 선택할 수 있어요. 모든 상태 메뉴를 열고 옵션 중 하나를 선택해 주세요. 그러면 아래 목록이 좁혀져요.

status dropdown.jpg
status dropdown.jpg

7. 재정의하려는 플로우(즉, 프로필이 이 플로우를 받게 됨)를 찾으면, 해당되는 각 항목 옆의 체크박스 를 선택하고 검토를 클릭하세요.

selected flow override.jpg
selected flow override.jpg

재정의할 항목을 선택하지 않으려면 건너뛰기를 클릭하세요.

8. 세부 정보 탭에서 시작일 및 종료일, 홀드아웃 그룹의 마케팅 수신 가능 프로필 비율을 포함한 설정을 검토해 주세요.

review test, details tab.jpg
review test, details tab.jpg

9. 아래 예시와 같이 재정의된 플로우 탭을 클릭하여 홀드아웃 그룹 프로필로 계속 전송될 플로우가 있는지 검토하세요.

overriden flows.jpg
overriden flows.jpg

10. 변경할 내용이 있으면 뒤로를 클릭하세요. 그렇지 않으면 홀드아웃 그룹을 활성 상태가 될 준비가 되었을 때 테스트 시작을 클릭하세요.

홀드아웃 그룹 편집 또는 종료하기

홀드아웃 그룹을 설정했고 특정 설정(예: 이름 또는 종료일)을 수정하거나 그룹 테스트를 일찍 종료하려면 분석 > 실험 > 전역 실험으로 이동하세요.

여기에서 글로벌 홀드아웃 카드를 확인할 수 있어요(기록 카드 위에 데이터가 있는 카드예요).

Holdout group_experiment_klaviyo.png
Holdout group_experiment_klaviyo.png

활성 홀드아웃 그룹 편집

  1. 홀드아웃 그룹 이름이나 종료 날짜를 수정하려면 카드 오른쪽 상단의 3점 메뉴를 클릭해 주세요.
three dot menu.jpg
three dot menu.jpg

2. 메뉴에서 세부 정보 편집을 선택하세요.

3. 여기에서 테스트 이름 편집 필드에서 홀드아웃 그룹 이름을 편집할 수 있어요. 또한 테스트 종료일 변경 필드를 클릭하고 캘린더 위젯에서 새 날짜를 선택해 종료일을 조정할 수 있어요.

edit account holdout details.jpg
edit account holdout details.jpg

4. 편집이 완료되면 저장을 클릭하세요.

활성 홀드아웃 그룹 테스트 종료

테스트를 조기에 종료하고 싶다면 이 카드를 통해 종료할 수도 있어요.

테스트를 조기에 종료하면 데이터가 충분하지 않거나 편향될 수 있으니 유의해 주세요.

  1. 카드 오른쪽 상단에 있는 점 3개 메뉴를 클릭하세요.
three dot menu.jpg
three dot menu.jpg

2. 메뉴에서 테스트 종료를 선택합니다.

3. 그런 다음 테스트를 종료하고 홀드아웃 그룹이 다시 모든 마케팅 메시지를 받기 시작하도록 할지 확인하는 모달이 표시됩니다. 확인하려면 테스트 종료를 클릭하세요. 그렇지 않으면 이 작업이 완료되지 않도록 취소를 클릭하세요.

end test modal.jpg
end test modal.jpg

재정의된 플로우 검토 중

  1. 홀드아웃 그룹에 대해 어떤 플로우를 재정의했는지 검토하려면 이 카드 오른쪽 상단에 있는 점 3개 메뉴를 클릭하세요.
three dot menu.jpg
three dot menu.jpg

2. 메뉴에서 활성 재정의를 선택하세요.

3. 해당되는 경우 이 특정 홀드아웃 그룹에 대해 선택한 플로우 오버라이드(들)를 검토하세요.

추가로 재정의된 플로우를 추가하려면 이를 수동으로 추가해야 해요.

holdout group exaple settings.jpg
holdout group exaple settings.jpg

추가 플로우 재정의

초기 홀드아웃 그룹 설정을 완료한 후에는 재정의된 플로우를 더 추가하고 싶을 수도 있어요. 즉, 홀드아웃 그룹이 수신하도록 할 다른 플로우가 있을 수도 있어요.

재정의는 메인 플로우 수준에서 설정되며, 프로필은 평소와 동일하게 이 플로우의 모든 요소를 받게 돼요. A/B 테스트가 있는 플로우를 실행 중이라면, 이제 모든 같은 이메일의 다른 버전이 홀드아웃 그룹의 적절한 프로필에 도달해요.

  1. 더 많은 재정의된 플로우를 추가하려면 플로우로 이동하세요. 목록에서 기존 플로우를 찾아 클릭하거나 플로우 만들기를 클릭해 홀드아웃 그룹을 재정의하세요.
  2. 플로우에 들어간 다음, 플로우의 트리거를 생성하거나 클릭하세요.

선택한 트리거(예: 목록)에 따라, 왼쪽에 기존 글로벌 홀드아웃 그룹을 재정의하는 옵션이 있는 트리거 설정 패널이 여기 표시돼요. 아래 예시에서는 목록 트리거에서 글로벌 홀드아웃 그룹을 재정의하는 옵션이 표시돼요.

3. 트리거 설정 패널에서 글로벌 홀드아웃 그룹 재정의 그룹 링크를 클릭하세요.

trigger setup.jpg
trigger setup.jpg

4. 이 특정 플로우에서 글로벌 홀드아웃 그룹에 있는 대상에게 메시지를 보내려면 를 선택하세요. 그렇지 않으면 아니요를 선택하고 재정의 프로세스를 종료하세요.

trigger setup confirm.jpg
trigger setup confirm.jpg

5.변경 사항을 저장하려면 트리거 설정 패널 하단에서 저장 을 클릭하세요. 업데이트를 저장하지 않으려면 취소를 클릭하세요.

개별 캠페인(이메일, SMS 또는 푸시) 재정의

특정 캠페인이 홀드아웃 그룹에 도달하도록 허용해야 할 수도 있어요. 예를 들어, 글로벌 홀드아웃 그룹이 브랜드에서 개별 환영 이메일을 받도록 설정하고 싶을 수 있어요. 이 경우 글로벌 홀드아웃 그룹이 이 특정 메시지 또는 캠페인을 받을 수 있도록 해당 캠페인을 재정의해야 해요.

  1. 캠페인으로 이동하세요.
  2. 필드에서 검색하거나 아래 목록에서 적절한 초안 캠페인을 찾으세요. 새 캠페인을 생성하는 경우 설정 중에 동시에 재정의를 직접 추가할 수도 있어요.

전송된 캠페인은 편집할 수 없어요.

3. 첫 번째 캠페인 설정 단계에서 수신자 섹션의 옵션 구성 을 클릭하세요.

campaign toggle option.jpg
campaign toggle option.jpg

4. 이 특정 캠페인을 글로벌 홀드아웃 그룹에 있는 사람들에게 전송하려면 를 선택하세요. 그렇지 않으면 아니요를 선택하고 재정의 프로세스를 종료하세요.

campaign confirmation message.jpg
campaign confirmation message.jpg

5. 변경 사항을 확인하려면 저장을 클릭하세요. 업데이트를 저장하지 않으려면 취소를 클릭하세요.

6. 캠페인의 나머지 설정을 계속 진행하세요. 완료되면 저장 및 계속 콘텐츠로를 클릭하세요.

그런 다음 전송할 준비가 됐나요? 화면에서 현재 활성 글로벌 계정 그룹은 이 캠페인을 받지 않는다는 점을 확인하고 표시해요.

나중에 새 마케팅 채널 추가

기존 캠페인에 새 채널(예: SMS)을 추가하면 글로벌 홀드아웃 그룹을 오버라이드하도록 선택한 경우를 포함해 초기 캠페인 설정의 설정이 그대로 적용됩니다.

add sms remix.jpg
add sms remix.jpg

이를 조정하려면 위의 설정 안내를 따르고, 대신 재정의 옵션을 끄세요.

프로필이 홀드아웃 그룹에 속해 있는지 또는 속해 있었는지 검토하기

특정 프로필이 현재 글로벌 홀드아웃 그룹에 속해 있는지, 또는 과거 어느 시점에 글로벌 홀드아웃 그룹에 속했는지 확인할 수 있어요.

단일 프로필 내에서

  1. 오디언스 > 프로필로 이동하세요.
  2. 위의 필드에서 검색하거나 아래 목록에서 프로필을 선택하세요. 아래 예시와 같은 배너를 통해 프로필이 글로벌 홀드아웃 그룹에 속해 있는지 확인할 수 있어요.
participant banner profile.jpg
participant banner profile.jpg

프로필이 이전에 홀드아웃 그룹에 포함되었는지, 그리고 그 시점이 언제였는지도 확인할 수 있어요. 홀드아웃 그룹에서 제거되었다는 것은 테스트가 종료되어 프로필이 해당 그룹에서 제거되었음을 의미해요.

profile events log.jpg
profile events log.jpg

프로필이 병합된 경우, 이후 발송에서는 병합된 프로필의 보류 그룹 상태가 적용돼요.

플로우 내에서

  1. 플로우로 이동하세요.
  2. 위의 검색 필드를 사용하거나 아래 목록에서 플로우를 찾으세요.
  3. 건너뛴 플로우의 메시지를 클릭해 주세요.
  4. 특정 플로우 메시지의 왼쪽 패널에서 애널리틱스(지난 30일) 섹션을 확인해 주세요. 여기에서 건너뛴 활동에 대한 한 줄을 확인할 수 있어요.
skipped reason in flow.jpg
skipped reason in flow.jpg

5. Skipped를 클릭하면 이메일의 Recipient Activity 탭과 Skipped 섹션으로 자동으로 이동해요. 이 섹션에서는 글로벌 홀드아웃 그룹에 포함되어 있었는지 여부를 포함해, 특정 플로우 메시지가 전송 시간에 개인에게 건너뛰어진 이유를 보여줘요.

global holdouts suppresed view.jpg
global holdouts suppresed view.jpg

캠페인 내에서

  1. 캠페인으로 이동하세요.
  2. 필드에서 검색하거나 아래 목록에서 적절한 발송된 캠페인을 찾으세요.
  3. 건너뛴 활동 탭을 클릭하세요. 이 섹션에서는 글로벌 홀드아웃 그룹에 포함되었는지 여부를 포함하여, 이 특정 플로우 메시지의 전송 시간에 개인이 건너뛰어진 이유를 보여줘요.
global holdouts suppresed view.jpg
global holdouts suppresed view.jpg

홀드아웃 그룹의 애널리틱스를 검토하기

글로벌 활성 홀드아웃 그룹 카드

애널리틱스 섹션 상단의 글로벌 홀드아웃 카드에는 현재 활성 상태인 모든 홀드아웃 그룹에 대한 모든 정보와 데이터가 자세히 표시돼요. 이 카드는 마케팅 전략의 성공 여부와 그에 따른 매출, 전환, 상승 효과를 명확하게 검토할 수 있는 방법을 제공하므로 특히 유용해요.

Holdout group_experiment_klaviyo_coimpleted.png
Holdout group_experiment_klaviyo_coimpleted.png

아래에 표시된 것처럼 카드 상단에 전체 마케팅 상승률(%)이 표시됩니다. 이는 메시지를 받지 않은 홀드아웃 그룹과 비교했을 때 마케팅 프로그램의 상승을 나타냅니다. 이 지표는 마케팅 프로그램의 전반적인 영향을 이해하는 데 매우 중요합니다.

marketing lift.png
marketing lift.png

마케팅 성과 향상 아래에는 다음에 대한 데이터가 포함돼요:

  • 홀드아웃 비율
    어떤 마케팅 메시지도 받지 않은, 마케팅 수신 가능 프로필 전체에서의 비율이에요. 이는 초기 홀드아웃 그룹 설정에서 파생됩니다.
  • 승률
    마케팅 프로그램이 홀드아웃 그룹에 비해 의미 있는 개선 효과를 제공할 확률이에요.

처리군과 홀드아웃을 합친 샘플이 10개 이하인 경우에는 아직 승률 확률이 표시되지 않아요.

  • 처리 그룹
    모든 마케팅을 받는 주요 그룹이에요.
  • 홀드아웃 그룹
    캠페인 및 플로우를 통해 전송된 이메일, SMS 및 푸시 알림을 받지 않도록 제외되는 그룹이에요.
  • 마케팅 가능 프로필
    Klaviyo를 통해 이메일을 보낼 수 있는 모든 프로필은 마케팅 가능 이메일 프로필로 간주돼요. 활성 프로필에는 2가지 주요 카테고리가 있어요:
    • 구독자
      구독자는 가입 양식을 작성했거나 그 밖의 방식으로 이메일 마케팅 수신에 명시적으로 동의한 사람들입니다.
    • 일반적인 참여 유도로 추가된 프로필
      누군가는 지속적인 이메일 마케팅에 명시적으로 동의하지 않았더라도 이메일 주소를 공유할 수 있어요. 예를 들어, 사이트에서 주문을 하거나 결제를 포기한 사람이 결제 과정에서 이메일 주소를 추가했지만 명시적으로는 수신 동의하지 않았을 수 있습니다.

마지막 두 열은 계정에서 사용 중인 전환 지표를 나타내며, 먼저 총 원시 수로 표시되고 그다음 전체에서 차지하는 비율로 표시됩니다. 이는 귀하의 프로필이 만든 총 전환이며, 기여 전환은 아니라는 점에 유의해 주세요.

기록 카드

기록 요약 카드에는 모든 홀드아웃 그룹의 데이터가 제공돼요. 이 카드는 마케팅 프로그램에 적용했을 수 있는 증분 변경 사항과 이러한 변경이 전환 및 상승에 어떤 영향을 미쳤는지 확인하는 데 특히 유용해요. 여기에서 이러한 변경 사항이나 시점을 추적해 프로그램에서 무엇이 성공적이었는지 파악할 수 있어요.

history card-updated.jpg
history card-updated.jpg

열은 다음을 나타내요:

  • 이름
    설정한 글로벌 홀드아웃 그룹의 이름.
  • 시작 날짜
    글로벌 홀드아웃 그룹이 설정되어 처음으로 활성화된 시점이에요.
  • 종료일
    글로벌 홀드아웃 그룹이 종료되고 프로필이 해당 그룹에서 제거된 시점이에요.
  • 홀드아웃 크기
    홀드아웃 그룹에 포함된 프로필이 전체 시장성 있는 프로필에서 차지하는 비율입니다. 이는 초기 홀드아웃 그룹 설정에서 파생됩니다.
  • Marketing lift
    계정에서 선택한 전환 지표를 사용해 홀드아웃 그룹에 속한 사람들과 비교했을 때 마케팅 프로그램의 상승률(%)이에요. 이는 전체 또는 대부분의 마케팅을 받지 않는 사람들과 비교했을 때 마케팅 전략의 전반적인 성공을 보여줘요.
  • 승리 확률
    마케팅 프로그램이 홀드아웃 그룹에 비해 의미 있는 개선 효과를 제공할 확률입니다.

이 열 중 어떤 열 옆의 화살표를 클릭해도 이름, 날짜, 홀드아웃 크기, 마케팅 리프트, 승률을 기준으로 오름차순 또는 내림차순으로 정렬할 수 있어요.

글로벌 홀드아웃 이름 중 하나를 클릭하면, 마케팅 프로그램과 비교한 이 특정 그룹의 데이터가 포함된 개별 분석 카드로 이동해요.

이 도움말 문서가 유용했나요?
이 형식은 도움말 문서 피드백 용도로만 사용하세요. 지원 팀에 문의하는 방법.

Klaviyo에서 자세히 살펴보기

커뮤니티
동료, 파트너, Klaviyo 전문가와 연결되어 영감을 받고 인사이트를 공유하며, 모든 궁금한 사항에 대해 답을 얻으세요.
파트너
특정 작업을 도와주거나 지속적인 마케팅 관리를 위해 Klaviyo 인증 전문가를 고용하세요.
지원

계정을 통해 지원에 액세스하세요.

이메일 지원 (무료 체험 및 유료 계정) 연중무휴 24시간 사용 가능

채팅/가상 비서
사용 가능 여부는 위치 및 요금제 유형에 따라 다름