サインアップフォームの統計的有意性を理解する

このページで学べること

Klaviyo のサインアップフォームで、A/B テストの結果が統計的に有意と見なされるタイミングについて説明します。このガイドでは、サインアップフォームにおける統計的有意性と、その判断タイミングについて説明します。

Klaviyoでは、1つのバリエーションのフォーム送信率が他のバリエーションより高いことを示す強い統計的根拠がある場合、A/Bテストは統計的に有意であると判断します。A/Bテストを設定して、勝者のフォームバリエーションを自動的に選択し、テスト結果が統計的に有意であると判断された時点で終了するようにできます。

A/B テストでは、フォームのさまざまな要素のパフォーマンスを測定し、サイト訪問者の共感を得られているか、強いエンゲージメントを促進できているかを確認できます。結果を効果的に分析し、どのような改善を行うべきかを判断できるよう、テストが統計的に有意と見なせるかどうかを理解することが重要です。テスト結果が統計的に有意でない場合、特定のバリエーションが大規模に見てパフォーマンスの向上をもたらすことを確認するのはより困難になります。

Klaviyo でフォームの統計的有意性を判断する方法

Klaviyoでは、サインアップフォームのA/Bテストが統計的に有意かどうかを判断する際に、勝率とフォームの閲覧数に加えて追加のチェックも考慮します：

1. 先行バリエーションの勝率が90％を上回る
2. バリエーションあたり1,000件を超えるフォームビュー

これらのしきい値だけでは不十分です。Klaviyoでは、すべてのバリエーションを通じて少なくとも10件のフォーム送信が必要であり、また、主要バリエーションのフォーム送信率の推定範囲が他のバリエーションの推定範囲とほとんど重ならないことを確認します。

• 主要なバリエーションの勝率
  • これは、先頭のバリエーションのフォーム送信率が他のすべてのバリエーションのフォーム送信率よりも実際に高い確率です。勝率が高い場合、ランダムな偶然ではなく、フォームがより優れているために先頭のバリエーションが勝つという強い根拠があることを意味します。
• フォームの表示回数
  • フォームでは、初期テストの異常値の影響を減らすために、十分な数の表示回数を収集する必要があります。新しいA/Bテストではユニークビジター数をカウントするため、同じバリエーションを複数回表示した訪問者は、表示回数1としてカウントされます。表示タイミングを比較するテストでは、Klaviyoは、フォームが表示される前に離脱したユーザーも含め、各バリエーションを表示できる条件を満たす訪問者をカウントします。

A/Bテストのモニタリングと終了

A/Bテスト設定ページで、勝者の選択の下にある統計的有意性が達成されたらテストを自動的に終了、終了日を設定、またはその両方を選択します。両方を選択した場合、いずれかの条件が満たされた時点でテストが終了します。

統計的有意差に達する前に終了日が到来した場合、Klaviyoはその時点でフォーム送信率が最も高いバリエーションを選択します。どちらの自動終了オプションでも、Klaviyoは勝者となったバリエーションを公開します。自動的に選択された勝者が、必ずしも統計的に有意であるとは限りません。

または、勝者の選択の下にある両方のチェックボックスをクリアして、手動で終了するまでテストを実行し続けることもできます。テストをいつ終了するか、どのバリエーションを使用するかは任意に決められます。

進行中のテストをモニタリングするには：

1. サインアップフォームに移動し、フォームの3点メニューを開いて、アナリティクスを選択してください。
2. A/Bテスト結果を選択し、次にドロップダウンからテストを選択してください。
3. 概要セクションで、勝率と各バリエーションのデータを確認します。確率の下にあるラベルを確認してください。統計的に有意は、テストが有意性チェックを満たしていることを示します。勝率が高いだけでは、これを確認できません。

実行中のテストを手動で終了するには：

1. テストの概要セクションで、勝者を選択をクリックします。
2. 勝者のバリエーションを選択し、次にテストを終了して、選択したバリエーションを公開するまたはテストを終了して、選択したバリエーションを下書きに設定するを選択します。下書きを選択すると、フォームがサイトから削除されます。
3. テストを終了して選択内容を適用するには、勝者を選択をクリックしてください。

詳細については、A/B テスト結果を確認するためのガイドをご覧ください。

その他のリソース