キャンペーンの A/B テスト結果を確認する方法

このページで学べること

A/Bテスト結果ページで確認できるデータと、各指標の意味を確認しましょう。このガイドの情報は、メールキャンペーンでのA/BテストとSMSキャンペーンでのA/Bテストの両方に適用されます。

A/Bテストキャンペーンは、送信戦略にどのような変更を加えるべきかを簡単に判断できるため、オーディエンスに関する貴重なインサイトを得るのに役立ちます。A/Bテストの勝ちバリエーションを把握できるだけでなく、勝利確率や勝利メトリックの詳細など、その他の重要な要素も確認できます。

A/B テスト結果

A/B テストの結果を確認するには：

1. テストしているキャンペーンに移動します。
2. メインのキャンペーンレポートの [A/B テスト結果] タブを選択します。
   

テスト概要

標準のA/Bテストでは、テストの概要セクションに次の内容が表示されます：

• 勝利バリエーション
  テストが完了すると、表示している結果において勝利メトリックが最も高いバリエーションが選ばれます。
• ステータス
  A/B テストが進行中（つまり、分析情報を収集している）か、完了しているかを示します。
• 勝つ確率
  ランダムな偶然を考慮したうえで、勝者のバリエーションが開封率、クリック率、または注文率において本当に最も高かった可能性がどれくらいあるか、またこの確率が統計的に有意と見なされるかどうか。
• リフト
  勝者のバリエーションが他のバリエーションよりどの程度優れていたかを示します。勝利メトリック（つまり、開封率、クリック率、または注文率）に基づいて算出されます。バリエーションが 3 つ以上あるテストでは、2 番目にパフォーマンスが良いテストが比較に使用されます。
• 勝利メトリック
  テストに使用されたメトリックにおける、勝利バリエーションの結果。たとえば、開封率が勝利メトリックとして選択された場合、開封率のパーセンテージが表示されます。

これらの結果の下で、メールの各バリエーションの開封率とクリック率、またはSMSのクリック率を確認できます。このテーブルには、コンバージョンメトリックが利用可能な場合にコンバージョン結果も表示されます；ただし、常に注文の確定であるとは限りません。

完了した標準A/Bテストで、テストグループが全オーディエンスより小さい場合は、テストの概要のタブを使用して次を比較します：

• テスト期間の結果には、テストグループの受信者によるテスト期間中のやり取りが表示されます。
• 継続的な結果には、同じテストグループからの後続のインタラクションが含まれます。より多くの結果が入ってくるにつれて、先行するバリエーションが変わる場合があります。

テスト期間終了後に残りの受信者に送信された勝利バリエーションとのインタラクションについては、以下の勝利送信サマリーをご確認ください。

リフトの算出方法

リフトの割合は、勝者のバリエーションに表示される割合とは異なります。これは、各バリエーションの横に表示される割合はメッセージに反応した人（開封、クリック、注文の確定）の割合である一方、リフトは勝者が他のバリエーションに対してどれだけ改善したかを示す割合であるためです。

たとえば、クリック率を勝者のメトリックとして使用しており、バリエーションAでは受信者100人中5人（5％）がクリックし、バリエーションBでは受信者100人中4人（4％）がクリックした場合、差は1パーセントポイントです。リフトは、その差をバリエーションBのクリック率と比較します：（5％ − 4％）/4％×100 = 25％。したがって、バリエーションAのクリック率は5％で、バリエーションBに対するリフトは25％です。

パーソナライズされたバリエーションの結果

受信者ごとのパーソナライズされたバリエーションを選択した場合、テスト完了後にテスト期間の結果を選択すると、次のメトリックを確認できます：

• A/Bテストの合計リフト
  勝利メトリック（開封率またはクリック率）に基づき、標準A/Bテストで2番目に優れたバリエーションと比べた、パーソナライズされたバリエーションによる推定改善度です。
• パーソナライゼーションのリフト
  標準のA/Bテストで勝利バリエーションを全員に送信する場合と比較した、パーソナライズされたバリエーションによる推定改善率です。
• パーソナライゼーション開封率またはパーソナライゼーションクリック率
  Klaviyoが受信者の好みに合うと予測したバリエーションを受信したテスト受信者に基づく、パーソナライズされたバリエーションの推定開封率またはクリック率です。表示されるメトリックは、選択した勝利メトリックによって異なります。
• Klaviyo AIによって導き出されたプロファイルの特性
  特定のバリエーションにエンゲージしやすい受信者に関連付けられた特性です。各バリエーションを展開して、特性を確認してください。特性はバリエーションごとに異なる場合があります。

テスト期間終了後に送信されたパーソナライズされたバリエーションとのインタラクションについて、パーソナライズ送信の概要を確認してください。

勝率と統計的有意性を理解する

たとえば、件名に絵文字を追加するとメールリストの開封率に影響があるかどうかを確認したいとします。テストを 2 人の購読者にしか送っておらず、絵文字のほうが開封率が高い場合でも、メールリストの他の人も同じように感じると断定することはできません。一方で、メールリストの 100 人でテストし、絵文字の開封率が大幅に高いことがわかった場合、件名に絵文字を使用するほうがオーディエンスに適しているという確信がより強まります。

勝率の下で、完了した標準A/Bテストに統計的有意性ラベルが表示される場合があります。結果は、勝率が90％を上回り、かつ各バリエーションのメール配信成功数が50件を超える、またはSMS配信の試行回数が50件を超える場合に、統計的に有意となります。テスト結果は、有望、判断不能、または統計的に有意ではない場合もあります。結果が有望な場合は、テストを繰り返して所見を確認してください。判断不能な結果には、有意性ラベルは表示されません。Klaviyoにおける統計的有意性の詳細をご覧ください。

その他のリソース