A/Bテストのセクションを理解する
このページで学べること
experimentsセクションを使用して、A/Bテストの成果を分析する方法をご案内します。experimentsセクションでは、キャンペーンとフローのA/Bテストをまとめ、テストした要素、使用したマーケティングチャネル、成功率、その他のデータに関するインサイトを提供します。
A/Bテストセクションに移動する
オーナー、管理者、マネージャー、アナリストは、実験のセクションにアクセスできます。
[分析] > [実験]に移動します。ページにタブが表示されている場合は、[A/Bテスト]を選択してください。
キャンペーンビューがデフォルトで開きます。フローのA/Bテストを確認するにはフローを選択し、キャンペーンのA/Bテストに戻るにはキャンペーンを選択してください。
検索および設定オプションを使用する
Campaignsまたはフロー画面の上部には、A/Bテスト画面をカスタマイズするためのオプションと、特定のテストを検索する機能があります。
テストを検索しています
検索フィールドに、キャンペーン名またはフローのテスト名、またはその名前に含まれるキーワード（例：「Testing BFCM welcome」または「welcome」）を入力します。入力に応じて結果が更新されます。
検索機能は、キャンペーンビューとフロービューで個別に利用されます。つまり、検索は各ビュー内の結果に限定されます。
設定オプションの調整
各ビューの上部にあるフィルターを使用して、A/Bテスト結果を絞り込みます。フィルターが表示されていない場合は、フィルターアイコンをクリックして追加のフィルターを開きます。
設定の変更は、Campaignsビューとフロービューに対し個別に適用されます。つまり、これらのドロップダウンで選択した内容は、各ビュー内の結果に限定されます。
期間の設定
期間の下にあるドロップダウンで、次の期間のA/Bテスト結果を確認できます。
- 今日
これには、UTCを使用し、開始日が今日のテストが含まれます。 - 過去7日間
これには、開始日が過去7日以内のすべてのテストが含まれます。 - 過去30日間
これには、開始日が過去30日以内のすべてのテストが含まれます。 - 過去90日間
これには、開始日が過去90日以内のテストが含まれます。 - 今年
これには、現在の暦年の年初から今日までの期間内に開始日があるすべてのテストが含まれます。 - 昨年
これには、前年の暦年内に開始日があるすべてのテストが含まれます。たとえば、現在が2023年の場合、これは開始日が2022 年のすべてのテストとなります。 - 全期間
これには、実行済みのテストと現在実行中のすべてのテストが含まれます。
日付範囲には、実行中および完了したテストに加え、キャンペーンテストのキャンセルも含めることができます。
マーケティングチャネルの設定
チャネルの下にあるドロップダウンで、次の項目から結果を絞り込むことができます。
- メール
このオプションでは、メールのA/Bテストのみが表示されます。 - テキストメッセージ
このオプションでは、SMSのA/Bテストのみが表示されます。
フロービューのチャネルフィルターにプッシュ通知またはWhatsAppが含まれている場合は、いずれかを選択して、そのチャネルのテストを表示してください。
チャネル全体のテストを表示するには、チャネルフィルターをクリアしてください。
メトリック設定
勝利の決定に使うメトリックの下のドロップダウンでは、特定の勝利メトリックを含む結果のみに絞り込むことができます。たとえば、次のとおりです。
- 開封率
開封率を勝利メトリックとして使用するA/Bテストのみを表示します。 - クリック率
クリック率 を勝利メトリックとして使用しているA/Bテストのみを表示します。 - 注文率
キャンペーンビューで、勝利メトリックとして注文率を使用するA/Bテストのみを表示します。
勝利メトリックに関係なくテストを表示するには、勝利メトリックフィルターをクリアしてください。
その他のフィルター設定
これらのフィルターを使用して、結果をさらに絞り込みます。
- テストタイプ（キャンペーンビューでのみ）
メッセージコンテンツやメールの要素（例：異なるプレビューテキストや件名）のA/Bテストにはコンテンツテストを選択し、メッセージの送信時間のテストには送信時間テストを選択してください。このフィルターをクリアすると、両方のタイプを確認できます。 - ステータス
進行中を選択すると現在実行中のA/Bテストが表示され、完了を選択すると完了したテストが表示されます。 - 統計的有意性
統計的に有意または統計的に有意ではないを選択して、テストが統計的有意性に達したかどうかでフィルタリングします。
クリアをクリックして、現在のビューの検索とフィルターをリセットしてください。これにより、初期の期間の選択（その期間にテストがない場合は過去90日間または全期間）も復元されます。
収集した A/B テスト結果を確認する
どちらのビューも最初は過去90日間が使用されます。その期間にテストが見つからない場合、ビューは全期間に切り替わります。過去のテストを探すには、全期間を選択してください。結果には、フィルターに一致する実行中および完了したテストと、キャンセルされたキャンペーンテストが含まれます。下書きテストとスマート送信時間テストは含まれません。
表には、個別のバリエーションではなくA/Bテストが一覧表示されます。1つのフローに複数のテストを設定できます。キャンペーンまたはテスト名をクリックして、バリエーションの詳細を確認してください。
これらのテーブルには次の列が含まれます：
- キャンペーン名またはテスト名
キャンペーンビューにはキャンペーン名が表示されます。キャンペーンメッセージの名前が異なる場合は、キャンペーン名の後に表示されます。フロービューにはテスト名が表示されます。どちらのビューでも、名前の下に勝利メトリックが表示されます。
名前をクリックしてA/Bテスト結果を開き、バリエーション、データ、勝利結果を確認します。 - チャネル
テスト対象のマーケティングチャネルです。テキストメッセージ（吹き出しアイコンで表示）またはメール（封筒アイコンで表示）などがあります。 - テストタイプ（キャンペーンビューのみ）
これにより、テストがコンテンツテスト（鉛筆アイコンで表示）か、送信時間テスト（時計アイコンで表示）かが表示されます。 - 開始日
A/B テストが最初に開始された日。 - 終了日（フロービューのみ）
テストが終了した日時です。終了していない場合はダッシュが表示されます。 - テストサイズ
すべてのバリエーションにわたる A/B テストに含まれたプロファイルの数。 - 勝率
選択した勝利メトリックにおいて、あるバリエーションが他のバリエーションを上回る可能性の高さ。
勝率だけでは統計的有意性は確立されません。キャンペーンの場合、各バリエーションには50人を超える受信者が必要で、かつバリエーションの勝率は90％を超える必要があります。フローのテストでは、Klaviyoはサンプルサイズに加えて、エンゲージメントと、バリエーションの結果の差がどの程度明確かも確認します。完全な判定基準については、フローにおける統計的有意性とキャンペーンにおける統計的有意性をご覧ください。 - ステータス
完了はテストが終了した場合、進行中はテストが実行中の場合、キャンセルはキャンペーンテストがキャンセルされた場合です。
デフォルトでは、この表は最も最近開始されたテストで並べ替えられます。昇順または降順で並べ替えるには、キャンペーン名またはテスト名、チャネル、開始日、テストサイズ、勝率、またはステータスの横にある矢印を使用します。また、キャンペーンビューではテストタイプで、フロービューでは終了日で並べ替えることもできます。
その他のリソース
- メールキャンペーンを A/B テストする方法
キャンペーンの A/B テストを設定して実行する方法、テスト結果の読み取り方法、キャンペーンの A/B テストのいくつかのユースケースをご確認ください。Klaviyo のキャンペーン向け A/B テスト機能では、件名、メッセージコンテンツ、送信時間の違いを簡単にテストできるため、オーディエンスにとって何が最も効果的かをより深く理解できます。
- フロー メールを A/B テストする方法
Klaviyo の A/B テスト エクスペリエンスを使用して、フロー内の個別のメール（件名、割引、メールコンテンツなど）をテストする方法を学びます。A/B テストを使用して、プレーンテキストのメールが画像の多い HTML メールよりも高い成果を上げるかどうかを判断することもできます。
- SMS キャンペーンを A/B テストする方法
この記事では、SMS キャンペーンを A/B テストする方法と、テストすべき要素について学べます。
- Klaviyo キャンペーンにおける統計的有意性を理解する
A/B テストが統計的に有意と見なされるかどうかを判断する方法を確認します。たとえば、キャンペーンのバリエーション A の開封率が 15％で、バリエーション B の開封率が 14％の場合、バリエーション A と B のどちらのパフォーマンスが高かったかを確実に判断するにはどうすればよいでしょうか？
- フローにおける統計的有意性の理解
Klaviyo のフローで A/B テストの結果が統計的に有意と見なされるタイミングについて説明します。この記事では、フローにおける統計的有意性と、それがいつ判定されるかを説明します。