A/B 테스트 참조 모범 사례
학습 내용
고객과의 커뮤니케이션을 최적화하는 데 도움이 되도록 Klaviyo의 A/B 테스트 기능을 사용하는 모범 사례를 알아보세요.
A/B 테스트를 사용하면 대상 고객의 일부 그룹을 대상으로 다양한 카피라이팅과 크리에이티브 작업을 비교해 보면서, 고객이 양식이나 이메일의 행동 촉구(CTA)를 완료할 가능성을 높이는 요인이 무엇인지 파악할 수 있어요. 이 6가지 모범 사례를 사용해 테스트를 계획하고 결과를 해석해 보세요.
가설을 수립하세요
테스트를 만들기 전에, 무엇을 개선하고 싶은지와 그 이유를 먼저 적어 보세요. 예를 들어, 더 구체적인 CTA 문구가 방문자가 무엇에 가입하는지 알 수 있게 해주기 때문에 폼 제출 수가 늘어날 거라고 예측할 수 있어요.
가설을 개발하는 방법은 미시적 규모와 거시적 규모, 두 가지 관점에서 생각해 볼 수 있어요. 마케팅 전략이 잘 진행되고 있다 고 느끼고 고객과의 커뮤니케이션을 더 세밀하게 조정하고 싶다면, 다음 중 일부를 변경하는 것을 고려해 볼 수 있어요:
- CTA 색상
- CTA의 문구
- 제목 줄
- 발신자 이름
- 제안 금액
- 이미지
마케팅을 대대적으로 전환하는 것을 고려 중이라면, A/B 테스트를 사용해 새로운 아이디어가 더 큰 범위에서 고객에게 공감대를 얻는지 확인할 수 있어요. 예시는 다음과 같아요:
- 다른 브랜드 색상
- 새 레이아웃
- 브랜드 보이스 변경
- 새 브랜드 커뮤니티 참여
한 번에 변수 1개씩 테스트해 보세요
테스트해 보고 싶은 아이디어가 몇 가지 있더라도, 한 번에 1개의 변수만 테스트하는 것이 가장 좋아요. 예를 들어 CTA의 색상을 수정하면서 동시에 CTA에 있는 문구도 바꾼 뒤 양식 제출률이 급증하는 것을 확인했다면, 그 증가가 색상 변경 때문인지 CTA 문구 때문인지 알 수 없어요. 변수를 한 번에 1개씩 테스트하면 결과의 차이를 본인이 변경한 내용과 연결해 파악하는 데 도움이 돼요.
충분히 큰 오디언스를 확보하세요.
폼에 대한 좋은 아이디어가 떠올라서 A/B 테스트를 진행한다고 상상해 보세요. 그리고 첫날, 폼을 본 처음 10명이 클릭해 구매까지 했어요. 그 다음 일주일 동안은 다음 2,000명이 폼을 보자마자 바로 나가버렸어요. 첫날 이후에 테스트를 끝냈다면, 더 큰 고객층에서는 결과가 달랐는데도 폼이 정말 잘 된다고 생각했을 거예요. 더 큰 고객층에서 결과를 수집할 수 있도록 충분한 시간을 확보한 다음, 폼의 A/B 테스트 결과가 통계적으로 유의미한지 확인해 보세요. 표본이 크다고 해서 1개의 같은 이메일의 다른 버전이 더 낫다는 것이 자동으로 입증되지는 않아요.
같은 이메일의 다른 버전은 4개를 넘기지 마세요.
같은 맥락에서, 한 번에 1개 변수만 테스트하더라도, 같은 이메일의 다른 버전을 더 많이 추가할수록 신뢰할 수 있는 결과를 얻기 위해 더 큰 대상자가 필요해요. 더 많은 테스트를 수행할 수 있도록 적시에 결과를 얻으려면, 테스트당 1개 변수에 대해 같은 이메일의 다른 버전을 4개 이내로 사용해 주세요.
실행 중인 테스트는 편집하지 마세요
테스트를 구성하는 어려운 작업을 끝냈다면, 결과에 영향을 줄 수 있는 테스트 조정은 피하세요. 콘텐츠를 변경해야 한다면, 변경 전후의 결과가 섞이지 않도록 새 테스트를 시작하세요.
- 가입 양식의 경우 테스트가 라이브 상태일 때 테스트 설정은 변경할 수 있지만, 라이브 상태인 같은 이메일의 다른 버전 콘텐츠는 변경할 수 없어요. 콘텐츠를 편집하면 새 초안 테스트가 생성돼요. 새 테스트를 게시할 때까지 현재 테스트는 라이브 상태로 유지돼요.
- 플로우 이메일의 경우, 라이브 테스트를 편집한 후 표시되는 안내에 따라 테스트 종료 후 새 테스트 게시를 선택한 다음 계속을 선택해 주세요. 현재 테스트를 계속 진행하면 결과가 왜곡될 수 있어요.
- 이미 발송 중인 캠페인에서 콘텐츠를 변경해야 한다면, 남은 발송을 취소 해 주세요. 취소해도 이미 전달된 이메일은 회수되지 않아요. 취소한 캠페인을 복제하거나 새 캠페인을 만든 다음 수신자를 검토하고 새 테스트를 설정해 주세요.
피드백 요청
마케팅에 큰 변화를 줄 계획이라면 A/B 테스트는 고객이 새로운 아이디어에 잘 반응하는지 확인하기에 좋은 방법이에요. 고객에게 직접 피드백을 요청하는 것은 A/B 테스트와 함께 병행해 활용하기 좋은 전략이에요. 이메일 테스트의 경우 수신자가 CTA를 클릭할 때 프로필 속성을 추가할 수 있어요. 해당 속성을 사용해 세그먼트를 만들고 피드백을 요청할 대상을 식별하세요.
가입 양식의 경우, 양식을 통해 가입한 구독자 세그먼트를 만들어 피드백을 요청할 대상을 파악하세요.
이 구독자들을 확인한 후에는, 피드백을 요청하는 일반 텍스트 이메일로 후속 연락을 할 수 있어요. 양식이나 이메일과 상호작용한 사람들로부터만 정보를 수집하게 되므로, 브랜드에 참여도가 높은 고객도 함께 가져오는 게 좋아요. 피드백은 커뮤니티의 참여를 이끌고, 이들이 브랜드의 지지자가 되도록 만드는 좋은 방법이에요.