フローにおける統計的有意性の理解

Klaviyo のフローで A/B テストの結果が統計的に有意と見なされるタイミングについて説明します。この記事では、フローにおける統計的有意性と、それがいつ判定されるかを説明します。

統計的有意性とは、バリエーションによってパフォーマンスが向上するかどうかをKlaviyo が数学的に判断できる状態を指します。フローのA/B テストを設定すると、テスト結果が統計的に有意と判断された時点で、勝ちのバリエーションを自動的に選択できます。

A/B テストは、データドリブンなアプローチでエンゲージメントを高め、顧客との関係を改善するための鍵となります。テストが統計的に有意と見なせるかどうかを理解することが重要です。たとえば、フロー メールに 2 つのバリエーションがあり、バリエーション A のクリック率が 15％、バリエーション B のクリック率が 14％の場合、バリエーション A と B のどちらの成果がより良かったのかを、どのように確実に判断すればよいのでしょうか？

Klaviyo がフローにおける統計的有意性を判断する方法

フローの場合、Klaviyo は、メッセージを受信した人数と勝率（他のバリエーションより優れている度合いに基づき、そのバリエーションがより良い結果を生む可能性）を両方とも監視します。

フロー メッセージのバリエーションは、以下の場合に統計的に有意とみなされます：

• 少なくとも 500 人の受信者が各バリエーションを受け取りました。
• バリエーションの勝率が90％以上です。
• 上位のバリエーションは明確に分離されています。先頭のバリエーションと次点のバリエーションの想定されるパフォーマンス範囲がほとんど重ならない場合（信用区間の重なりが 10％ 未満）にのみ、統計的有意性を表示します。

勝率は、A/B テストの設定時に選択したメトリックに基づいて計算されます。デフォルトでは、このメトリックはテスト対象メッセージのクリック率です。Automatic Winner Selection セクションでは、設定済みメトリックに基づいてメッセージのバリエーションが勝者と判定された時点でテストを自動的に終了するオプションに加え、特定の日付に達した時点でテストを終了するオプションも選択できます。これらのオプションは、どちらか一方または両方を選択できます。両方を選択した場合、統計的有意性または指定した日付のいずれか先に到達した方に基づいてテストが終了します。

詳細については、フロー メールを A/B テストする方法に関する記事をご覧ください。

現在実行中または完了したテストの結果を表示すると、A/B テストセクションに勝率が表示されます。ここでは、テスト結果が統計的に有意かどうかと、どのバリエーションのパフォーマンスが高い可能性が高いかを確認できます。

詳細については、フローのメール A/B テスト結果を確認する方法に関する記事をご覧ください。

その他のリソース