実験セクションについて理解する
このページで学べること
実験セクションを使用して、A/B テストの成功を簡単に分析する方法をご確認ください。実験セクションでは、キャンペーンとフローで実施されたすべての A/B テストをまとめ、テストした要素、使用したマーケティングチャネル、成功率、その他のデータに関するインサイトを提供します。
実験タブに移動する
[分析] > [実験] > [A/B テスト] に移動します。
Experiments セクションに移動すると、デフォルトで Campaigns タブが表示されます。ただし、Campaigns タブまたは Flows タブをクリックして切り替えると、これら各チャネルに固有の A/B テストを確認できます。実験セクションにアクセスできるのは、オーナー、管理者、マネージャー、アナリストのみです。
オーナー、管理者、マネージャー、アナリストのみが、実験セクションにアクセスできます。
検索および設定オプションを使用する
Campaigns または フロー タブの上部には、A/B テストのビューをカスタマイズするためのオプションと、特定のテストを検索する機能があります。
テストを検索しています
左上の検索フィールドに、テストの名前またはテストに関連するキーワード（例：「BFCM ウェルカムのテスト」または「ウェルカム」）を入力します。検索語句を入力して Enter キーを押すと、表示は条件に一致する結果の一覧に絞り込まれます。
検索機能は、キャンペーンタブとフロータブでそれぞれ個別に利用できます。つまり、検索は各タブ内の結果に制限されます。
設定オプションの調整
各タブの上部にあるドロップダウン メニューを使用すると、キャンペーンまたはフローのいずれかについて、表示する A/B テスト結果をさらに絞り込み、カスタマイズできます。
設定の変更は、「キャンペーン」 タブと 「フロー」 タブにそれぞれ個別に適用されます。つまり、これらのドロップダウンで選択した内容は、各タブ内の結果に限定されます。
期間の設定
期間 の下にあるドロップダウンで、次の期間の A/B テスト結果を確認できます:
- 今日
これには、過去 1 日以内に開始日があるすべてのテストが含まれます。 - 過去 7 日間
これには、開始日が過去 7 日以内のすべてのテストが含まれます。 - 過去 30 日間
これには、開始日が過去 30 日以内のすべてのテストが含まれます。 - 過去 90 日間
これには、過去 90 日間に実行された、または現在実行中のすべてのテストが含まれます。 - 今年
これには、現在の暦年の年初から今日までの期間内に開始日があるすべてのテストが含まれます。 - 昨年
これには、前年の暦年内に開始日があるすべてのテストが含まれます。たとえば、現在が 2023 年の場合、これは開始日が 2022 年のすべてのテストとなります。 - 全期間
これには、実行済みのテストと現在実行中のすべてのテストが含まれます。
上記の定義における「All tests」には、現在実行中、終了済み、またはキャンセル済みのテストが含まれます。
マーケティング チャネル設定
チャネル の下にあるドロップダウンで、次の項目から結果を絞り込むことができます：
- すべて
このオプションでは、メールと SMS の A/B テストの両方が表示されます。 - メール
このオプションでは、メールの A/B テストのみが表示されます。 - SMS
このオプションでは、SMS の A/B テストのみが表示されます。
メトリック設定
勝利メトリック の下のドロップダウンでは、特定の勝利メトリックを含む結果のみに絞り込むことができます。たとえば、次のとおりです。
- 開封率
開封率 を勝利メトリックとして使用する A/B テストのみを表示します。 - クリック率
クリック率 を勝利メトリックとして使用している A/B テストのみを表示します。 - 注文率
注文率を勝利メトリックとして使用する A/B テストのみを表示します。 - すべて
すべての勝利メトリックのオプション（開封率、クリック率、注文の確定）をまとめて表示します。
フィルター設定
その他のフィルター の下にあるドロップダウンでは、次のように、特定のテストタイプにさらに絞り込むためのオプションを選択できます：
- テスト タイプ（キャンペーンタブのみ）
このセカンダリ ドロップダウンで、すべてを選択すると、すべての種類のテストを確認できます。それ以外の場合は、メールのコンテンツや要素に関連する A/B テストには コンテンツ テスト（例: 異なるプレビュー テキストや件名を使用するテスト）を、最適な送信時間をテストするメールには 送信時間テストを選択してください。 - Status
この 2 つ目のドロップダウンで、実行中の A/B テストのみを表示するには In progress を、完了したテストを表示するには Completed を選択します。
調整した検索結果または設定をクリアする場合は、[クリア] をクリックします。
収集した A/B テスト結果を確認する
デフォルトでは、キャンペーン タブと フロー タブの両方に、完了済み、実行中、またはキャンセル済みのすべての A/B テストが表示されます。
このテーブルには、メール、SMS、またはフローの A/B テストの特定のバリエーションごとの個別の一覧は表示されません。代わりに、各メインのキャンペーンまたはフローのデータが一覧表示されます。テーブル内のテスト名自体をクリックすると、バリエーションをより詳しく確認できます。
これらのテーブルには、次の列が含まれます。
- テスト名
キャンペーンの実際の名前です。フローの場合、代わりにテスト名になります。この列には、キャンペーンとフローの両方について、テストで使用された勝利メトリックも含まれます。
テスト名をクリックすると A/B テストの結果ページに移動し、特定のバリエーション、データ、勝利結果の詳細を確認できます。 - チャネル
テスト対象のマーケティング チャネルです。吹き出しアイコンで示される SMS、または封筒アイコンで示されるメールのいずれかです。
プッシュ通知は現在 A/B テストできないことにご注意ください。 - テストタイプ （
キャンペーン タブのみ） これにより、テストが [コンテンツテスト]（鉛筆アイコンで示されます）か、[送信時間テスト]（時計アイコンで示されます）かが表示されます。 - 開始日
A/B テストが最初に開始された日。 - テストサイズ
すべてのバリエーションにわたる A/B テストに含まれたプロファイルの数。 - 勝率
他のバリエーションよりも優れている度合いに基づいて、そのバリエーションがより良い結果をもたらす可能性がどの程度あるかを示します。この割合は、そうしたバリエーションの 1 つを表しています。
フロー メッセージのバリエーションは、各バリエーションを少なくとも 500 人の受信者が受け取り、かつバリエーションの勝率が 90％以上である場合に、統計的に有意であると見なされます。一方、キャンペーンは、各バリエーションを少なくとも 50 人の受信者が受け取り、かつバリエーションの勝率が 90％以上である場合に、統計的に有意であると見なされます。 - ステータス
テストが完了したことを示す緑色のステータス、または進行中であることを示すグレーのステータスです。
デフォルトでは、この表は最も最近開始されたテスト順に並べ替えられます。ただし、テスト名、チャネル、テストタイプ、開始日、または ステータス の横にある矢印を使用すると、これらの各列を昇順または降順で並べ替えできます。
その他のリソース
- How to A/B test an email campaign
Learn how to set up and run an A/B test for a campaign, how to read the test results, and a few use cases for A/B testing campaigns. Klaviyo's A/B testing feature for campaigns allows you to easily test different subject lines, message content, and send times so you can better understand what works best for your audience.
- How to A/B test a flow email
Learn how to use Klaviyo’s A/B testing experience to test individual emails in a flow, including things like subject line, discounts, and email content, etc. You can even use A/B tests to determine if plain-text emails perform better than image-heavy HTML emails.
- How to A/B test SMS campaigns
Learn how to A/B test SMS campaigns and what aspects to test in this article.
- Understanding statistical significance in Klaviyo campaigns
Learn how to tell whether or not an A/B test is considered statically significant or not. For instance, if a campaign variation A has an open rate of 15% and variation B has an open rate of 14%, how do you know for sure if variation A or B performed better?
- Understanding statistical significance in flows
Learn when an A/B test’s results are considered to be statistically significant in Klaviyo flows. This article will explain statistical significance for flows and when it is decided.