メールキャンペーンを A/B テストする方法
このページで学べること
キャンペーンの A/B テストを設定して実行する方法、テスト結果の読み取り方法、キャンペーンの A/B テストのいくつかのユースケースをご確認ください。Klaviyo のキャンペーン向け A/B テスト機能では、件名、メッセージコンテンツ、送信時間の違いを簡単にテストできるため、オーディエンスにとって何が最も効果的かをより深く理解できます。
キャンペーン メールの A/B テストを作成する
- [キャンペーン] > [キャンペーン] [作成] に移動します。
- サイドバーで、キャンペーンに名前を付けてください。
- メール を選択し、[続行] をクリックしてください。
- 送信先にしたいリストまたはセグメントを選択してください。
- [次へ] をクリックします。
- 件名を入力し、必要に応じてプレビューテキスト、送信者名、送信者メールアドレスを編集します。
- コピー、画像、リンクを追加して、メールの最初のバージョンを作成します。
- 件名フィールドの上で、［A/B テストを作成］ をクリックします。
- これにより、キャンペーンの 2 つ目の同一バリエーションが自動的に作成され、キャンペーン A/B テストページに移動します。
- これにより、キャンペーンの 2 つ目の同一バリエーションが自動的に作成され、キャンペーン A/B テストページに移動します。
- 各 バリエーション名 フィールドに、A/B テストの内容を示す説明的なバリエーション名（例：「Summer launch email - white buttons.」）を追加します。
テストのバリエーションを設定
テストを作成したら次に、キャンペーンのどの要素のパフォーマンスをテストするかを決め、キャンペーンのさまざまなバリエーションを構築します。
AI を使って件名をテストする
この機能は有料の Klaviyo アカウントでのみご利用いただけます。アカウントが条件を満たさない場合は、次のオプションであるテストコンテンツに進んでください。
手動でテストを作成する代わりに、AI を使用して作成を自動化することもできます。この機能は、特に件名をテストするためのものです。
- 前のセクションの手順に従って、メールキャンペーンを作成してください。
- テンプレートを選択し、メールのコンテンツを編集します。
- 件名 フィールドの下で、A/B テスト用のバリエーションを生成セクションのいずれかのオプションを選択します。
オプションを選択すると、AI は、バリエーション A には元のタイトルを含め、バリエーション B には選択したプロンプトに基づいて AI が生成したタイトルを含めた、異なるが類似したタイトルを使用して 2 つのバリエーションのテストを作成します。
利用できるオプションは入力した件名によって異なりますが、例として次のようなものがあります：
- パーソナライズありとパーソナライズなし
バリエーション B では、件名に顧客の名を含めるか、元々含まれていた場合は名前を削除します。 - 短い件名と長い件名
バリエーション B は、元の件名の長さに応じて、件名が短くなるか長くなります。 - 質問とステートメントの比較
バリエーション B では、元の件名が質問文でない場合は質問文に、元の件名が質問文である場合はステートメントに変換されます。 - 絵文字あり vs 絵文字なし
バリエーション B では、件名に関連する絵文字を含めるか、もともと含まれていた絵文字を削除します。
作成後に A/B テストをさらに編集して送信する方法については、この記事の残りで手順をご覧ください。
コンテンツのテスト
メッセージ コンテンツをテストして、オーディエンスが見たいものを判断できます。ページ上部の [コンテンツをテスト] をクリックしてください。
A/B テスト用のバリエーションのいずれか 1 つを編集してください。A/B テストでは、一度に 1 つの要素を比較することが重要です。そのため、件名を編集する場合は、他は何も変更しないでください。必要に応じて、特定のバリエーションのカードにある [複製] ボタンをクリックしてバリエーションを追加できますが、バリエーションは 2 つのみにすることをおすすめします。
送信時間のテスト
オーディエンスがいつ連絡を受けたいかを判断するために、送信時間をテストすることもできます。ページ上部の [送信時間をテスト] をクリックします。
送信時間をテストする場合は、両方のバリエーションのコンテンツと件名を完全に同一にしてください。
どこから始めればよいかわからない場合は、夕方の時間を試すことをおすすめします。または、対象であれば、代わりに スマート送信時間 を使用できます。
テスト戦略を選択
テスト戦略を選択するオプションは、プロファイルの総数が 400,000 を超えるアカウントでのみ利用できます。アカウントが条件を満たさない場合、Klaviyo は勝者のバリエーション テスト戦略を使用します。
アカウントが条件を満たしている場合は、次のオプションからテスト戦略を選択します。
- 勝者のバリエーション（標準 A/B テスト）
- 受信者ごとにパーソナライズされたバリエーション
勝利したバリエーションとパーソナライズされたバリエーションの違い
どちらのテスト戦略オプションでも、キャンペーンの総受信者の一定割合で構成されるテスト グループにバリエーションを送信し、開封率など、選択したメトリックに基づいてテスト メッセージの成功を評価します。ただし、テスト期間終了後に残りの受信者へ各戦略がメッセージを送信する方法には、いくつか重要な違いがあります：
- 勝利バリエーション - A/B テストのデフォルト オプションです。テスト期間終了後に勝利バリエーションを 1 つ決定し、キャンペーンの残りの受信者に送信します。
- パーソナライズされたバリエーション - AI を使用して、各バリエーションとやり取りするテスト受信者の間でパターンを検索します。テスト期間が終了すると、Klaviyo は各受信者に対してどのバリエーションのパフォーマンスが高いかを予測し、残りの受信者に好みのバリエーションを送信します。
各受信者に合わせてバリエーションをパーソナライズする
各受信者が受け取るバリエーションを個別にパーソナライズする場合は、受信者ごとにパーソナライズされたバリエーション を選択してください。
Klaviyo は各プロファイルに関する情報を使用して、そのプロファイルのコンバージョンに最も成功する可能性が高いバリエーションを判断します。このプロファイル情報には、次の内容が含まれますが、これらに限定されません：
- 過去のエンゲージメント率
- 顧客生涯価値（CLV）
- ロケーション
たとえば、勝者のメトリックとして開封率を選択し、顧客生涯価値が 100 以上のテスト グループのプロファイルはバリエーション A をより頻繁に開封する一方、顧客生涯価値が 100 未満のプロファイルはバリエーション B をより頻繁に開封する場合、キャンペーンの残りの受信者には、顧客生涯価値に基づいて最も開封する可能性が高いバリエーションのメールが送信されます。これは簡単な例であり、Klaviyo はパーソナライズされたバリエーションを決定するために多数のデータ ポイントを使用します。
A/B テスト設定を構成
コンテンツを作成したら、テスト対象プールのサイズとテスト期間の長さを決定します。
まず、改善を確認したい主要なメトリックである、勝ちのメトリックを選択します。次から選択します：
- 開封率
件名、プレビューテキスト、または差出人名とメールアドレスをテストする場合に推奨されます。 - クリック率
ボタンのサイズや色などのメールコンテンツをテストする場合に推奨されます。 - 注文率
「注文の確定」メトリックがあるアカウントでのみ利用可能で、パーソナライズされたバリエーションでは利用できません。これは、ベストセラーや新着商品を表示するかどうかなど、メールコンテンツをテストする際に推奨されます。
iOS15、macOS Monterey、iPadOS 15、WatchOS 8、またはそれ以降のリリースを使用する Apple デバイスでは、Apple Mail Privacy Protection（MPP）によりトラッキングピクセルがプリフェッチされるようになり、Klaviyo が受け取るメールの開封率データの取得方法が変わりました。この変更によって、開封率の上昇が予想される点に注意してください。
A/B テストに関しては、Klaviyo ではこれらの過大な開封率が考慮されるはずですが、統計的有意性に達するにはより高いしきい値が必要になる場合があります。A/B テストを定期的に実施していて、かつ Apple Mail での開封が約 45％を超える場合は、MPP プロパティを含む カスタム レポート を作成することをおすすめします。これらの開封は、個別の 購読者セグメント でも確認できます。
MPP 開封の完全な情報については、iOS 15: Apple の変更について知っておくべきことすべて ガイドをご覧ください。
テストの規模はリストのサイズに基づき、テスト期間はA/Bテストのメトリック（例: 開封、クリック、注文の確定）に基づいて推奨します。必要に応じて、スライダーバーを使用してテストサイズを変更します。テストサイズが100％未満の場合は、テスト期間を調整するオプションもあります。
以下の例では、キャンペーン受信者の 20％がバリエーション A を受け取り、別の 20％がバリエーション B を受け取ります。これらの受信者のうち、何人が開封、クリック、または注文を行ったか（選択した勝利メトリックによって異なります）に応じて、6 時間後に勝者が選択され、残りの受信者には勝利したバリエーションが送信されます。
テストの設定を調整したら、[レビューに進む] をクリックします。
コンテンツの A/B テストを実施しており、各受信者のタイムゾーンに基づいてメッセージを送信したい場合：
- テストサイズを 100％ に設定します。
- その後、キャンペーンをスケジュールする際に、送信のタイムゾーンとして受信者のローカル タイムゾーンを選択するオプションが表示されます。
A/B テストの対象
一度にテストする変数は 1 つだけにしてください。複数の変数を同時にテストすると、パフォーマンス改善に寄与する変数を特定することが困難（または不可能）になる場合があります。何をテストすべきか分かりませんか？以下のセクションをクリックして、出発点を確認してください。
注文率を向上させるためのテスト
受信者が注文するきっかけを把握するには、メッセージで次のいずれかをテストしてみてください。
- ソーシャル プルーフ（例：メッセージに肯定的なレビューや顧客のソーシャルメディア投稿を含める）
- 送信時間、曜日、または週末と平日の比較
- 行動喚起（CTA）の配置（例: メールの上部付近、または下部）
クリック率を向上させるためのテスト
受信者がメッセージ内のリンクをクリックする要因を把握するには、次のいずれかをテストしてみてください。
- CTA の外観（例：ボタンまたはテキストのフォント、色、サイズ）
- CTA テキスト（例: "今すぐ購入" と "確認する！"）
- テンプレートの構成（例: メッセージ内での画像とテキストの配置方法）
- 画像と GIF の比較
開封率を向上させるためのテスト
購読者がメールを開封するきっかけとなる要因を把握するには、次のいずれかをテストしてみてください。
- 件名のテスト：
- ステートメントと質問（例：「最新のドロップは見逃せません」vs「最新のドロップを見たいですか？」）
- 件名の長さ
- 件名のパーソナライズ（例：{{ first_name|default:’Friend’ }} タグを使用して、件名に受信者の名を含める）
- 件名の絵文字
- プレビューテキスト（例：プレビューテキストを含める場合と含めない場合）
- 送信者名（例：会社名と、"Elise at Klaviyo" のようなより個人的な送信者名の比較）
- 送信時間、曜日、または週末と平日の比較
A/B テスト結果を確認し、勝者を選択する（任意）
テストしているキャンペーンに移動して進捗を確認し、どのバージョンのパフォーマンスがより良かったかを確認します。キャンペーンがまだ送信中で、進行中の A/B テストを終了したい場合：
- 進行中のキャンペーンの [A/B テスト結果] タブに移動します。
- 選択したいバージョンの横にある追加オプション メニューをクリックしてください。
- [勝者として選択] をクリックします。
勝者を手動で選択すると、まだキャンペーンを受信していない人は、勝者のバリエーションを直ちに受信します。A/B テストのサイズが受信者の 100％ だった場合、メッセージのコンバージョン ウィンドウ全体を通してデータ収集を継続するため、新しいデータが入ると勝者が変わる可能性があります。詳細については、キャンペーンのメール A/B テスト結果を確認する方法をご覧ください。
その他のリソース
- How to A/B test a flow email
Learn how to use Klaviyo’s A/B testing experience to test individual emails in a flow, including things like subject line, discounts, and email content, etc. You can even use A/B tests to determine if plain-text emails perform better than image-heavy HTML emails.
- How to A/B test SMS campaigns
Learn how to A/B test SMS campaigns and what aspects to test in this article.
- Mastering Email A/B Testing: Klaviyo’s Proven Tips & Tricks to Boost Revenue