Klaviyo キャンペーンにおける統計的有意性を理解する

このページで学べること

A/Bテストが統計的に有意かどうかを判断する方法を学びましょう。たとえば、キャンペーンのバリエーションAの開封率が15％で、バリエーションBの開封率が14％の場合、どちらのバリエーションのパフォーマンスがより良かったかをどのように判断すればよいでしょうか？

Apple Mail Privacy Protection に関する注記

iOS 15、macOS Monterey、iPadOS 15、watchOS 8 のリリースに伴い、Apple Mail Privacy Protection（MPP）によりトラッキングピクセルがプリフェッチされるようになり、この変更にともない Klaviyo が受け取るメール開封率データが変わりました。この変更によって、開封率の上昇が予想される点に注意してください。

A/Bテストで勝利メトリックに開封率を使用する場合、MPP開封が含まれます。統計的有意差は、受信者が意図的にメールを開封したことを示すものではありません。MPPによって開封率の結果が解釈しにくい場合は、クリック率を検討してください。MPPがオーディエンスにどのような影響を与えるかを把握するには、MPPプロパティを含むカスタムレポートを作成してください。これらの開封も、個別の購読者セグメントで特定できます。

iOS 15 で Apple MPP による変更に備える方法について詳しくはこちら。

統計的有意性のカテゴリ

統計的有意性は、選択した勝ちのメトリックにおいて、あるバリエーションが他のバリエーションより優れているという強い根拠を示します。キャンペーンの場合、Klaviyoはオーディエンスサイズと勝率の両方を評価します。勝率とは、テストデータに基づいて、あるバリエーションがそのメトリックで最も高い率になる推定確率を指します。

A/B テストを行う場合は、オーディエンスに大きな影響を与える可能性がある要因を避ける必要があります。たとえば、祝日を含む週末の近くでは再テストしないでください。その時期は、オーディエンスがメールを探す可能性がはるかに高くなります。

キャンペーンのA/Bテストでは、統計的有意性には4つのカテゴリがあります：

• 統計的に有意
• 有望
• 統計的に有意ではない
• 判定不能

結果を確認するには、キャンペーンレポートを開き、A/Bテスト結果を選択します。テストが完了したら、勝率の項目を確認します。テスト期間の結果と継続結果の両方が利用可能な場合は、勝者が選択される前に収集されたデータを評価するためにテスト期間の結果を選択します。継続結果には、テスト受信者の後日のアクティビティが含まれます。

統計的に有意

A/Bテストの統計的に有意ラベルは、テストデータに基づき、選択したメトリックにおいて、あるバリエーションが他の選択肢（複数可）より高い成果を出す可能性が非常に高いことを示します。学んだ内容を今後の配信の判断に活用できますが、対象となるオーディエンス、メッセージ、または送信時間が異なる場合に同じ結果になることは保証されません。

Klaviyo のキャンペーンでは、A/B テストの結果が統計的に有意であると見なされるのは、次の場合です：

• 各バリエーションの配信成功数がメールで50件超、またはSMSで受信者数が50人超であること。
• 勝率は90％を超えています。

これらの基準は、オーディエンスサイズと、選択した勝利メトリック（開封率、クリック率、または注文率）の結果に対する信頼度を組み合わせたものです。表示される勝率は四捨五入されているため、しきい値付近の値を解釈する際は、結果ラベルまたはアラートを使用してください。

たとえば、件名に絵文字を入れると開封率に影響するかどうかをテストするとします。結果を見ると、絵文字ありのバリエーションが勝ち、統計的に有意のラベルが付いています。これは、そのオーディエンスに対する同様の送信で絵文字を使用することを後押ししますが、すべてのキャンペーンで絵文字が一貫して開封率を向上させることが確立されたわけではありません。

ただし、テスト結果に基づいて対応する際は、常に最善の判断を行ってください。たとえば、より真面目または厳粛なメッセージを送信する場合、絵文字は適切ではないことがあります。

有望

結果は有望で、あるバリエーションが他のバリエーションより良いパフォーマンスを示しているように見えるものの、テスト単体では十分に強い根拠が得られていない場合です。有望な結果には、有意性ラベルが付きません。完了したテストでは、アラートでテストの再実施が推奨されます。テスト期間の結果が利用可能な場合は、このアラートについてはそちらを確認してください。別のバリエーションが継続的な結果で優勢になった場合は、代わりに勝者の変更に関するアラートが表示されます。

有望な結果が得られた場合は、同様のA/Bテストをもう一度実施し、その結果が再現されるかを確認してください。絵文字の例に戻ると、有望な結果が繰り返し得られることでパターンが示唆される場合はありますが、それだけでは統計的有意性は確認できません。絵文字がすべてのキャンペーンを改善すると決めつけるのではなく、さらなるテストの指針として活用してください。

キャンペーンの場合、A/B テスト結果が有望と見なされるのは、次の場合です。

• 各バリエーションの配信成功数がメールで50件超、またはSMSで受信者数が50人超であること。
• 勝率は75％より大きく、90％以下です。

統計的に有意ではない

統計的に有意ではない結果は、先行しているバリエーションの方がより良いパフォーマンスを示すという十分に強い根拠が、このテストからは得られないことを意味します。結果に統計的有意差がない場合でも、バリエーションを勝者として選択できます。

この例では、絵文字ありのバリエーションが絵文字なしのバリエーションよりも上回ったことを意味する可能性がありますが、その差はごくわずかで、テスト結果を有意なものとするには不十分です。

この場合、この要素をさらに 2 回または 3 回再テストし、結果を注意深く確認することをおすすめします。

テスト結果が統計的に有意ではないと判断される状態が続く場合は、テストを続けないでください。代わりに、別のトピックでA/Bテストを行ってください。テストがこのカテゴリに該当する場合、A/Bテスト結果ページに統計的に有意ではありませんというラベルが表示されます。

キャンペーンの場合、結果を統計的に有意ではないと分類するには、各バリエーションでメールの配信成功数が50件を超える、またはSMSの受信者数が50人を超えている必要があります。この最小要件を満たすと、次のいずれかの条件に該当します：

• 勝率が75％以下であり、かつすべてのバリエーションでメールの配信成功数が1,800件を超える、またはSMSの受信者数が1,800人を超えています。
• 勝率が60％未満で、先行しているバリエーションと2番目のバリエーションの間で、勝ちメトリックの差が4パーセントポイント未満です。

判定不能

テストが結論不明の場合、どのバリエーションのパフォーマンスが優れているかを判断するのに十分な情報がありません。いずれかのバリエーションでメールの配信成功数が50件以下、またはSMSの受信者数が50人以下の場合、勝率にかかわらず結果は結論不明になります。他のカテゴリの条件のいずれにも該当しない結果も、結論不明になります。次のセクションにある意思決定ツリーを使用して、カテゴリを視覚的に確認できます。結論不明のテストでは、結果ページに統計的有意性のラベルは表示されません。

この場合、フォローアップのテストに向けてオーディエンスを拡大することを検討するとよいでしょう。テスト対象が少人数のグループの場合は、適切だと考える方法で結果を解釈し、見つかった内容が正確であることを確認するために再テストしてください。さらに、アンケート、投票など、別の手段を通じて購読者について学ぶことに注力してください。

統計的有意性の意思決定ツリー

次の決定木は、A/B テストが各カテゴリに分類されるタイミングを示しています。緑の線は回答が “yes” であることを示し、赤は “no” を示します。

その他のリソース