Klaviyo キャンペーンにおける統計的有意性を理解する

このページで学べること

A/B テストが統計的に有意と見なされるかどうかを判断する方法を確認します。たとえば、キャンペーンのバリエーション A の開封率が 15％で、バリエーション B の開封率が 14％の場合、バリエーション A と B のどちらのパフォーマンスが高かったかを確実に判断するにはどうすればよいでしょうか？

Apple Mail Privacy Protection に関する注記

iOS 15、macOS Monterey、iPadOS 15、watchOS 8 のリリースに伴い、Apple Mail Privacy Protection（MPP）によりトラッキングピクセルがプリフェッチされるようになり、この変更にともない Klaviyo が受け取るメール開封率データが変わりました。この変更によって、開封率の上昇が予想される点に注意してください。

A/B テストに関しては、ツール側でこれらの水増しされた開封率を考慮する必要があると想定しています。ただし、統計的有意性に到達するには、より高いしきい値が必要になる場合があります。定期的に A/B テストを実施していて、かつ Apple Mail での開封が全体の約 45％を超える場合は、MPP プロパティを含む [カスタムレポート] を作成することをおすすめします。個別の [購読者セグメント] でも、これらの開封を特定できます。

iOS 15 で Apple MPP による変更に備える方法について詳しくはこちら。

統計的有意性のカテゴリ

統計的有意性とは、バリエーションによってパフォーマンスが向上するかどうかをKlaviyo が数学的に判断できる状態を指します。キャンペーンでは、Klaviyo はメッセージを受信した人数と勝率の両方を観測します。勝率とは、他のバリエーションと比べてどの程度上回っているかに基づき、あるバリエーションがより良い結果を生む可能性がどの程度あるかを示すものです。

A/B テストを行う場合は、オーディエンスに大きな影響を与える可能性がある要因を避ける必要があります。たとえば、祝日を含む週末の近くでは再テストしないでください。その時期は、オーディエンスがメールを探す可能性がはるかに高くなります。

キャンペーンの A/B テストにおいては、統計的有意性には 4 つのカテゴリがあります：

• 統計的に有意
• 有望
• 統計的に有意ではない
• 判定不能

次のいくつかのセクションでは、テストがこれら各カテゴリに分類されるケースについて説明します。

統計的に有意

A/B テストで統計的に有意のタグが表示されている場合は、テストの特定のバリエーションが、他の選択肢よりも勝つ可能性が非常に高いことを意味します。また、結果を再現でき、学んだことを今後の送信に適用できることも示します。

Klaviyo のキャンペーンでは、A/B テストの結果が統計的に有意であると見なされるのは、次の場合です：

• 各バリエーションを 50 人が受信しました。
• 成約確率は 90％以上です。

これにより、十分なサンプルサイズの受信者が A/B テストを確認し、選択した勝利メトリック（キャンペーンの場合は開封率、クリック率、または注文定率）の観点で、勝利したバリエーションが他のバリエーションを大きく上回ったことを確実にできます。

例えば、件名に絵文字を入れるかどうかが開封率に影響するかをテストしているとします。テスト結果では、絵文字があるバリエーションが勝者であり、緑色の統計的有意性タグが付いていることが示されています。この場合、絵文字を含む件名は含まない件名よりも一貫して良いパフォーマンスを示すと確信できるため、再テストは不要です。

ただし、テスト結果に基づいて対応する際は、常に最善の判断を行ってください。たとえば、より真面目または厳粛なメッセージを送信する場合、絵文字は適切ではないことがあります。

有望

結果が有望で、一方のバリエーションのほうが他よりもパフォーマンスが良いように見えても、テストだけでは根拠が十分に強くない場合があります。テストが有望と判断された場合でも、それを示すタグは表示されません。ただし、テストを再実行すべきことを示すアラートが表示されます。

見込みのあるテスト結果が得られた場合は、確信を高めるために別の A/B テストを実施してください。たとえば、上の絵文字の例に戻ると、結果が見込みのあるものであれば、このテストをもう一度実施してください。複数回の A/B テストを行っても絵文字のほうが見込みのある結果が続く場合は、絵文字がオーディエンスにわずかながらもプラスの影響を与えていると判断できるため、キャンペーンでの使用を継続してください。

キャンペーンの場合、A/B テスト結果が有望と見なされるのは、次の場合です。

• 各バリエーションを 50 人が受信しました。
• 勝率は 75％～89％です。

統計的に有意ではない

統計的に有意でない場合、テストでは一方のバリエーションが他方（または他方すべて）をわずかに上回っているだけで、追加のテストで結果を再現できない可能性があります。

この例では、絵文字ありのバリエーションが絵文字なしのバリエーションよりも上回ったことを意味する可能性がありますが、その差はごくわずかで、テスト結果を有意なものとするには不十分です。

この場合、この要素をさらに 2 回または 3 回再テストし、結果を注意深く確認することをおすすめします。

テスト結果が統計的に有意ではないと判断され続ける場合は、テストを継続しないでください。代わりに、別のトピックで A/B テストを行ってください。テストがこのカテゴリに該当する場合、A/B テスト結果ページに 統計的に有意ではない と表示されたグレーのタグが表示されます。

キャンペーンでは、次のいずれかの場合、A/B テスト結果は統計的に有意ではないと見なされます。

• 確率は 75％未満で、各バリエーションを受け取った人は少なくとも 1,800 人です。
  または
• 各バリエーションの受信者が 1,800 人未満で、先行バリエーションと 2 位のバリエーションの差が 4％以下で、勝率が 60％未満です。

判定不能

テストが結論不明の場合、統計的に有意かどうかを判断するための情報が十分ではないことを意味します。テスト結果が上記のオプションのいずれの条件にも当てはまらない場合、結論不明の区分に入ります。これは、次のセクションに表示される決定木を使用して視覚化できます。結論不明のテストでは、結果ページに統計的に有意かどうかを示すタグが表示されない点にご注意ください。

この場合、フォローアップ テストのためにオーディエンスを拡大するとよいでしょう。テストしているグループが小規模な場合は、適宜結果を解釈し、再テストして、見つかった内容が正確であることを確認してください。さらに、アンケートや投票など、他の方法で購読者について学ぶことに注力してください。

統計的有意性の意思決定ツリー

次の決定木は、A/B テストが各カテゴリに分類されるタイミングを示しています。緑の線は回答が “yes” であることを示し、赤は “no” を示します。

その他のリソース