サインアップフォームの統計的有意性を理解する

このページで学べること

Klaviyo のサインアップフォームで、A/B テストの結果が統計的に有意と見なされるタイミングについて説明します。このガイドでは、サインアップフォームにおける統計的有意性と、その判断タイミングについて説明します。

Klaviyo は、1 つのバリエーションが別のバリエーションより優れたパフォーマンスを発揮することが数学的に証明されると、A/B テストが統計的有意性に達したと判断します。A/B テストを設定して、勝者のフォーム バリエーションを自動的に選択し、テスト結果が統計的に有意と見なされた時点で終了するようにできます。

A/B テストでは、フォームのさまざまな要素のパフォーマンスを測定し、サイト訪問者の共感を得られているか、強いエンゲージメントを促進できているかを確認できます。結果を効果的に分析し、どのような改善を行うべきかを判断できるよう、テストが統計的に有意と見なせるかどうかを理解することが重要です。テスト結果が統計的に有意でない場合、特定のバリエーションが大規模に見てパフォーマンスの向上をもたらすことを確認するのはより困難になります。

Klaviyo でフォームの統計的有意性を判断する方法

統計的に有意な結果を得るには、サインアップフォームの A/B テストが次の条件を満たしている必要があります：

1. 主要バリエーションの勝率が最低でも 90％
2. バリエーションあたり最低 1,000 件のフォーム閲覧数

これらの各要素について、Klaviyo がどのように考慮するかのより詳細な説明は、以下をご覧ください。

• 主要なバリエーションの勝率
  • これは、先頭のバリエーションのフォーム送信率が他のすべてのバリエーションのフォーム送信率よりも実際に高い確率です。勝率が高い場合、ランダムな偶然ではなく、フォームがより優れているために先頭のバリエーションが勝つという強い根拠があることを意味します。
• フォームの表示回数
  • フォームでは、初期テストの異常によって結果が偏らないようにするために、十分な数の閲覧数を収集する必要があります。

統計的有意性に達した時点で A/B テストを終了する

Winner Selection 設定では、統計的に有意なレベルで他のバリエーションを上回るバリエーションが 1 つある場合、または特定の日付に達した場合に、テストが自動的に終了するように設定できます。または、2 つの条件のうち 1 つが満たされたとき（つまり、テストが統計的有意性を達成するか、終了日に達するかのいずれか）にテストを終了するように、両方のボックスを選択することもできます。

または、Winner Selectionの下にある 2 つのチェックボックスを両方ともオフにしてテストを手動で終了する場合は、結果を個別にモニタリングし、勝者と終了日を両方とも手動で選択する必要があります。

進行中のテストの結果を表示する際は、A/B test resultsタブのOverviewメニューで、勝率の確率と各バリエーションの現在のデータを確認できます。

詳細については、A/B テスト結果を確認するためのガイドをご覧ください。

その他のリソース