플로우 SMS 메시지를 A/B 테스트하는 방법
SMS 기능을 사용하려면 계정에서 SMS를 설정 해야 해요.
플로우에서 SMS 메시지를 A/B 테스트하는 방법을 알아보고, 무엇을 테스트할지에 대한 영감을 얻어 보세요.
SMS 메시지를 테스트하는 방법
SMS 플로우 메시지를 테스트하는 가장 좋은 방법은 무엇을 테스트하려는지에 따라 달라요.
테스트하려는 항목을 클릭하면 수행 방법에 대한 자세한 내용을 확인할 수 있어요.
- 테스트 메시지 콘텐츠
- MMS와 SMS 비교
- 이모티콘
- 할인
- CTA
- 개인화
- 메시지 타이밍 또는 메시지 수
- 메시지 채널
- 이메일과 SMS 비교
- SMS와 푸시 비교
SMS A/B 테스트 모범 사례
이메일과 마찬가지로 SMS A/B 테스트에도 몇 가지 모범 사례가 있어요.
- 한 번에 1가지 측면만 테스트하세요.
- 링크를 포함하고 Klaviyo 링크 단축기를 사용하세요.
- 이미지 또는 GIF는 600KB 미만으로 유지하세요.
- 다양한 유형의 SMS 캠페인을 테스트하기
- CTA와 메시지 텍스트를 최적화하세요.
장바구니 이탈 및 환영과 같은 다양한 유형의 SMS 플로우 메시지도 테스트해 보세요. 한 유형의 메시지에서 성과가 좋은 것이 다른 유형에서는 성과가 좋지 않을 수 있어요. 또한 플로우는 캠페인 메시지와 다른 결과를 낼 수 있으므로, A/B 테스트 결과를 보내는 모든 메시지에 적용하지 마세요.
테스트 메시지 콘텐츠
- SMS A/B 테스트를 진행할 플로우로 이동해 주세요.
- 아직 하지 않았다면, 플로우에 SMS를 드래그해 넣어 주세요.
- 왼쪽 사이드바에서 콘텐츠 구성 또는 편집을 클릭해 주세요.
- 새 콘텐츠를 작성하거나 기존 문구를 수정해 주세요(A/B 테스트를 사용하려면 메시지 상자에 무언가를 입력해 두어야 해요).
- A/B 테스트 생성을 클릭하세요.
- 메시지 B 상자에서 메시지 편집을 클릭하세요.
- 메시지 편집기 상자의 콘텐츠를 변경하세요.
모범 사례로, 한 번에 메시지의 요소 1개만 테스트하세요. 예를 들어 CTA를 다르게 하거나, 이미지를 추가하거나, 이모지를 포함할 수는 있지만 하나의 메시지에서 3가지를 모두 하지는 마세요. - 선택 사항: 더 많은 같은 이메일의 다른 버전을 추가하려면 기존 같은 이메일의 다른 버전 중 하나 옆의 복제 버튼을 클릭하세요. 그런 다음 새 같은 이메일의 다른 버전을 클릭해 편집하세요.
같은 이메일의 다른 버전은 최대 25개까지 만들 수 있어요. - 저장 및 종료를 클릭하세요.
- 선택 사항: 다음과 같이 A/B 테스트 설정을 조정해 보세요.
- 발송 분배 변경(예: 같은 이메일의 다른 버전 A를 받을 사람의 비율과 같은 이메일의 다른 버전 B를 받을 사람의 비율)
- 최종 선택 버전 설정 구성하기
- A/B 테스트에 대한 메모 추가(예: 무엇을 테스트하는지 설명)
당첨자 선택 설정의 경우, 플로우 SMS 메시지의 당첨 지표로는 전환율만 사용할 수 있어요.
- 테스트 게시를 클릭하세요.
A/B 테스트 편집 참고 사항
테스트를 편집하려면(예: 같은 이메일의 다른 버전을 더 추가하거나 같은 이메일의 다른 버전의 메시지를 업데이트), 다음 중 하나를 결정해야 해요.
- 기존 테스트로 계속 진행
하거나 - 현재 테스트를 종료하고 새 테스트를 시작하세요.
같은 이메일의 다른 버전 중 1개 정도의 작은 변경사항을 변경하려는 경우 첫 번째 버전을 권장하며, 결과에 영향을 미치지 않을 것이라고 생각합니다. 예를 들어, 오타를 수정하거나 몇 글자를 삭제하는 것만으로 테스트를 계속 진행할 수 있습니다.
변경 사항이 크다면 현재 테스트를 종료하고 새 테스트를 시작하는 것이 좋습니다. 예를 들어 CTA를 변경하거나 SMS를 MMS로(또는 그 반대로) 바꾸는 경우에는 이렇게 해야 합니다.
실제로 편집을 시작하기 전에 이에 대해 결정해야 한다는 점에 유의하세요.
같은 이메일의 다른 버전을 생성하거나 편집할 때 라이브 메시지에 영향을 주나요?
아니요. 원하는 만큼 같은 이메일의 다른 버전을 생성하거나 편집할 수 있으며, 테스트를 게시할 때까지는 구독자가 받는 메시지에 영향을 주지 않아요.
테스트를 게시한 후에만 구독자가 A/B 테스트에서 만든 메시지를 받기 시작해요.
현재 라이브 상태인 메시지를 확인하려면 SMS 콘텐츠 탭으로 이동하세요.
또한 이 탭에서 메시지를 편집해도 A/B 테스트용 같은 이메일의 다른 버전에는 영향을 주지 않는다는 점에 유의하세요.
메시지의 타이밍 또는 개수 테스트
플로우에서 메시지의 타이밍 또는 개수를 테스트하려면 다음 단계를 따르세요:
- 플로우로 이동하세요.
- 조건부 분할을 드래그해 테스트하려는 위치에 놓으세요.
- 왼쪽 사이드바에서 조건 선택 드롭다운 메뉴를 클릭하세요.
- 무작위 샘플을 선택합니다.
- 비율을 선택하세요.
비율은 YES 경로로 이동해야 하는 사람이 얼마나 되는지를 나타냅니다. 10%를 선택하면 10%만 YES 경로로 이동하고, 90%는 NO 경로로 이동해요.
- 각 경로에 메시지와 시간 지연을 드래그해 놓으세요.
- 분할에 다시 참여하세요.
메시지의 타이밍을 테스트할 때는 각 경로에서 콘텐츠가 정확히 동일한지 확인해 주세요.
메시지 수를 테스트하는 경우 메시지의 타이밍과 콘텐츠를 가능한 한 비슷하게 유지해 주세요. 이는 결과에 영향을 줄 수 있는 변수의 수를 제한하기 위한 거예요.
테스트 메시지 채널
다음 단계를 따라 메시지 채널(예: 이메일 또는 SMS)을 테스트해 보세요:
- 플로우로 이동하세요.
- 조건부 분할을 드래그해 테스트하려는 위치에 놓으세요.
- 왼쪽 사이드바에서 조건 선택 드롭다운 메뉴를 클릭하세요.
- SMS를 이메일과 비교하려면 SMS 마케팅 수신 가능을 선택하세요.
- 조건을 사용자가 SMS 마케팅 수신 가능으로 그대로 두세요.
- 저장을 클릭합니다.
- NO 경로에 이메일을 추가해 주세요.
- 예(YES) 경로에 조건부 분할을 추가하세요.
- 왼쪽 사이드바에서 조건 선택 드롭다운 메뉴를 클릭하세요.
- 무작위 샘플을 선택합니다.
- 비율을 선택하세요.
비율은 YES 경로로 이동해야 하는 사람이 얼마나 되는지를 나타냅니다. 10%를 선택하면 10%만 YES 경로로 이동하고, 90%는 NO 경로로 이동해요.
- YES 경로에 SMS를 배치하고 메시지를 구성하세요.
- 첫 번째 NO 경로에 있는 이메일을 복사한 다음 무작위 샘플 아래의 NO 경로로 끌어다 놓으세요.
- 분할 경로에 다시 참여하세요.
분할을 사용할 때 승자를 결정하기
조건부 분할을 사용해 승자를 결정할 때는 각 경로의 성과를 수동으로 확인해야 해요. 구독자 수에 따라 통계적으로 유의미한 결과를 얻는 데 시간이 걸릴 수 있어요.
메시지 수를 테스트할 때 유의미성을 판단하려면, 예를 들어 해당 경로의 첫 번째 메시지만 비교하는 대신 각 경로의 모든 메시지에 대한 수치를 합산하세요.