キャンペーンの A/B テスト結果を確認する方法
このページで学べること
A/B テスト結果ページで確認できるデータと、これらの各指標の意味をご確認ください。このガイドの情報は、メールキャンペーンでの A/B テストと、SMS キャンペーンでの A/B テストの両方に適用されます。
キャンペーンの A/B テストでは、送信戦略に加える変更を簡単に判断できるため、オーディエンスに関する貴重なインサイトを得られます。A/B テストの勝ちバリエーションがわかるだけでなく、勝率信頼度の割合や勝ちメトリックの詳細など、ほかの重要な要素も把握できます。
A/B テスト結果
A/B テストの結果を確認するには：
- テストしているキャンペーンに移動します。
- メインのキャンペーンレポートの [A/B テスト結果] タブを選択します。
テスト概要
「テスト結果」セクションには、以下を含むスナップショットが表示されます：
- 勝利したバリエーション
テストが完了すると、勝ったバリエーションです。 - ステータス
A/B テストが進行中（つまり、分析情報を収集している）か、完了しているかを示します。 - 勝つ確率
ランダムな偶然を考慮したうえで、勝者のバリエーションが開封率、クリック率、または注文率において本当に最も高かった可能性がどれくらいあるか、またこの確率が統計的に有意と見なされるかどうか。 - リフト
勝者のバリエーションが他のバリエーションよりどの程度優れていたかを示します。勝利メトリック（つまり、開封率、クリック率、または注文率）に基づいて算出されます。バリエーションが 3 つ以上あるテストでは、2 番目にパフォーマンスが良いテストが比較に使用されます。 - 勝利メトリック
テストに使用されたメトリックにおける、勝利バリエーションの結果。たとえば、開封率が勝利メトリックとして選択された場合、開封率のパーセンテージが表示されます。
これらの結果の下で、テスト内のすべてのバリエーションの開封率、クリック率、注文率を確認できます。
リフトの算出方法
リフトの割合は、勝者のバリエーションに表示される割合とは異なります。これは、各バリエーションの横に表示される割合はメールに反応した人（開封、クリック、注文の確定）の割合である一方、リフトは勝者が他のバリエーションに対してどれだけ改善したかを示す割合であるためです。
たとえば、勝利メトリックとしてクリック率を使用していて、バリエーション A は 5/100（5％）の受信者がクリックし、バリエーション B は 4/100（4％）の受信者がクリックした場合、バリエーション間の差は 1 クリックです。つまり、リフトは 1/5（20％）でした。つまり、バリエーション A のクリック率が 5％、バリエーション B のクリック率が 4％で、リフトは 20％でした。
パーソナライズされたバリエーションの結果
テスト戦略を選択するオプションは、プロファイルの総数が 400,000 を超えるアカウントでのみ利用できます。アカウントが条件を満たさない場合、Klaviyo は勝者のバリエーション テスト戦略を使用します。
各受信者向けにバリエーションをパーソナライズするオプションを選択した場合、テスト結果ページには次のような、わずかに異なるメトリックが表示されます。
- A/B テストの合計リフト
最も良いバリエーションが 2 番目に良いバリエーションよりどの程度良い成果を出したか。勝利メトリック（つまり、開封率またはクリック率）に基づいて計算されます。 - パーソナライズの向上率
パーソナライズされたテストが、標準の A/B テストよりどれだけ成功したかの割合。 - パーソナライズのクリック率
希望するバリエーションを受け取ったプロファイルの、すべてのバリエーションにおける平均クリック率。 - Klaviyo AI によって導出されたプロファイル特性
特定のバリエーションを好んだプロファイル間のパターンを AI が判断するために使用したデータの一覧。つまり、どの要因が、ある人が一方のバリエーションを他方より好む原因になった可能性が高いか。各バリエーションをクリックして使用されたデータを確認します。バリエーションごとに異なります。
ウィン信頼度と統計的有意性について理解する
たとえば、件名に絵文字を追加するとメールリストの開封率に影響があるかどうかを確認したいとします。テストを 2 人の購読者にしか送っておらず、絵文字のほうが開封率が高い場合でも、メールリストの他の人も同じように感じると断定することはできません。一方で、メールリストの 100 人でテストし、絵文字の開封率が大幅に高いことがわかった場合、件名に絵文字を使用するほうがオーディエンスに適しているという確信がより強まります。
Win probability の下に、表示されているバリエーションが統計的に有意かどうかが表示されます。有意と判断された場合、そのバリエーションの勝利確率が高い（つまり、90％以上）ことを意味します。テストは、有望、結論が出ない、または統計的に有意ではない可能性もあります。Klaviyo における統計的有意性について詳しく確認します。
その他のリソース
- Best practices for A/B testing reference
Learn best practices for using Klaviyo's A/B testing features to help optimize your communication with customers.
- How to A/B test a sign-up form
Learn how to use A/B testing to evaluate the performance of various elements of your sign-up forms. By effectively analyzing the results, you can ensure that your forms resonate with site visitors and contribute to list growth.
- How to A/B test a flow email
Learn how to use Klaviyo’s A/B testing experience to test individual emails in a flow, including things like subject line, discounts, and email content, etc. You can even use A/B tests to determine if plain-text emails perform better than image-heavy HTML emails.
- How to A/B test an email campaign
Learn how to set up and run an A/B test for a campaign, how to read the test results, and a few use cases for A/B testing campaigns. Klaviyo's A/B testing feature for campaigns allows you to easily test different subject lines, message content, and send times so you can better understand what works best for your audience.