고객 에이전트를 테스트하는 방법
학습 내용
테스트 사이드바에서 고객 에이전트를 테스트하고, 예상하지 못한 응답을 디버그하며, 쇼핑객이 보기 전에 스킬을 검증하는 방법을 안내해요.
시작하기 전에 알아야 할 것
필요한 항목:
- 고객 에이전트 활성화됨
- 일부 콘텐츠, Guidance, 및 설정된 스킬(반복해 개선할 수 있지만, 아무 설정 없이 테스트하면 많은 걸 알 수 없어요)
테스트가 중요한 이유
고객 에이전트의 동작은 콘텐츠, 가이던스, 스킬, 도구 등 신호 스택에서 비롯돼요. 이 중 어떤 것이라도(브랜드 요약 다시 쓰기, 커뮤니케이션 스타일 규칙 추가, 새 도구 연결) 조금만 바뀌어도 예상치 못한 응답으로 이어질 수 있어요.
발송을 시작하기 전에 테스트하고, 의미 있는 변경을 할 때마다 다시 테스트해 주세요. 대부분의 브랜드는 라이브로 전환하기 전에 철저히 테스트한 다음, 30일마다 또는 세일, 새 제품 라인, 정책 변경으로 콘텐츠를 업데이트할 때마다 점검해요.
설정하기
1. 테스트 사이드바 열기
고객 에이전트 안의 어느 위치에서든 테스트 사이드바를 여세요. 이 사이드바는 실제 대화를 시뮬레이션합니다. 고객 에이전트는 실제 쇼퍼와 대화할 때와 동일한 스킬, 도구, 콘텐츠 및 가이던스를 사용해요.
다음을 조정할 수 있어요:
- 페이지 컨텍스트 — 쇼핑객이 특정 페이지(PDP, 컬렉션, 장바구니 등)에 있는 상황을 시뮬레이션해요.
- 채널 ― 웹 채팅, SMS 또는 이메일에서 응답이 어떻게 렌더링되는지 테스트하세요.
- 프로필 ― 고객 에이전트가 주문 내역, 구독, 기타 컨텍스트를 활용할 수 있도록 Klaviyo 프로필을 선택해 주세요
2. 샘플 질문 보내기
쇼핑객 스타일 메시지를 실행해 보세요. 시작용 세트:
- “어떻게 관리하면 되나요?” (제품 질문 처리 테스트)
- “이 제품은 어떤 소재로 만들어졌나요?” (카탈로그에서 제품 관련 지식을 테스트)
- “내 주문은 어디에 있나요?” (주문 트래킹 스킬을 테스트합니다)
- “반품 정책은 어떻게 되나요?” (테스트 콘텐츠 검색)
- “사람과 대화할 수 있나요?” (핸드오프 테스트)
브랜드에 특화된 질문도 섞어 주세요. 실제 쇼핑객이라면 물어볼 법한 질문이면 무엇이든 좋아요.
3. 내부에서 어떤 일이 일어났는지 검토하기
각 응답 후 고객 에이전트가 수행한 작업을 확인할 수 있어요:
- 고객 에이전트가 선택한 스킬
- 어떤 도구가 실행되었고 어떤 결과가 반환되었나요?
- 어떤 콘텐츠가 검색되었나요
- 최종 응답 및 일치한 모든 에스컬레이션 규칙
고객 에이전트가 왜 그런 방식으로 응답했는지 추적하는 데 사용할 수 있어요. 대부분의 문제는 이 4가지 신호 중 하나에서 비롯돼요.
기술 테스트
완전히 커스텀 스킬을 구축했다면, 테스트는 다음 세 가지에 집중해 주세요:
- 라우터 동작 — 스킬의 “이 스킬을 사용해야 하는 경우”와 일치해야 하는 메시지를 전송하세요. 스킬이 실제로 선택되었는지 확인해 주세요.
- 응답 방식 ― 스킬의 “응답 방법”에서 각 섹션을 살펴보세요. 각 섹션에서 정의한 동작이 모두 실행되도록 확인해 주세요(도구 사용 및 모든 핸드오프 작업 포함).
- 도구 사용 — 스킬에서 도구를 사용한다면, 올바른 단계에서 올바른 파라미터로 실행되는지 확인해 주세요.
라우터가 이 스킬을 잘못 선택한다면 “When to use this skill”을 반복적으로 조정하고, 동작이 기대와 다르다면 “How to respond”를 반복적으로 조정해 보세요.
좋지 않은 응답 디버깅
고객 에이전트가 제대로 된 것 같지 않은 응답을 제공하면 다음 순서대로 확인해 보세요:
- 올바른 스킬이 선택되었나요? 아니라면 문제는 스킬의 “이 스킬을 사용해야 하는 경우”에 있어요.
- 올바른 콘텐츠가 검색되었나요? 고객 에이전트가 오래되었거나 잘못된 콘텐츠를 사용했다면 소스를 수정하세요. 콘텐츠를 추가하고 관리하는 방법을 참고하세요.
- 도구가 올바르게 실행되었나요? 도구 호출에 누락된 매개변수나 예상치 못한 반환이 있는지 확인해 주세요.
- Guidance가 응답을 올바르게 구성했나요? 톤, 커뮤니케이션 스타일 규칙, 에스컬레이션 규칙은 모두 스킬 출력 위에 추가로 적용돼요.
다운스트림에서 임시로 처리하기보다 소스에서 해결하세요.
문제 해결
증상: 고객 에이전트가 잘못된 스킬을 선택해요.
가능성이 높은 원인: 스킬 설명이 겹치거나, 완전 맞춤 스킬에서 “이 스킬을 사용해야 하는 경우”가 너무 광범위하거나 너무 좁아요.
해결 방법: 스킬의 “이 스킬을 사용해야 하는 경우” 콘텐츠를 더 구체화하세요. 같은 의도를 다양한 문구로 여러 번 테스트해 보세요.
증상: 고객 에이전트가 예상한 도구를 사용하지 않아요.
가능성이 높은 원인: 도구가 스킬에 연결되어 있지 않거나 “응답 방법”에서 올바른 단계에서 해당 도구를 참조하지 않아요.
해결 방법: 도구가 연결되어 있는지 확인해 주세요. “응답 방법”에서 도구를 실행해야 하는 단계에 인라인으로 도구를 삽입해 주세요.
증상: 고객 에이전트가 잘못된 콘텐츠를 사용합니다.
가능성이 높은 원인: 소스가 서로 충돌하거나, 같은 주제를 다루는 더 품질이 높은 콘텐츠가 예상했던 소스보다 높은 순위에 표시됩니다.
해결 방법: 충돌하는 콘텐츠를 감사하고 통합해 주세요. 최근에 편집한 소스를 다시 동기화해 주세요.
증상: 응답 톤 또는 스타일이 어색해요.
가능성이 높은 원인: 톤 오브 보이스 또는 커뮤니케이션 스타일 규칙을 조정해야 해요.
해결 방법: Guidance 설정을 검토해 주세요. 톤을 반복해서 조정하거나 구체적인 커뮤니케이션 스타일 규칙을 추가해 보세요.
곧 출시 예정: 시뮬레이션
시뮬레이션은 고객 에이전트를 쇼핑객 스타일의 입력 배치에 대해 실행하고, 대규모로 응답을 채점할 수 있는 곧 출시될 기능이에요. 시뮬레이션이 제공되기 전까지는 테스트 사이드바가 주요 테스트 도구예요.