A/Bテストで登録率を検証するには、基準となる登録率（A案）を測り、検出したい差分（MDE）、有意水準、検出力を決めて、必要なサンプル数を先に算出してから実施するのが基本です。
手順
-
- 指標を定義する
-
登録率を「訪問者のうち登録完了した割合」と明確に定義します。
-
- 現状の登録率を確認する
-
直近の代表的な期間で、現行案の登録率をベースラインとして把握します。
-
- 検出したい差を決める
-
「何％改善したら意思決定するか」を最小検出可能効果（MDE）として設定します。
-
- サンプルサイズを計算する
-
一般に、ベースライン登録率・MDE・有意水準・検出力を入力して、必要な各案のサンプル数を求めます。
-
- テスト期間を見積もる
-
必要サンプル数を、1日あたりの流入数で割って実施期間を見積もります。
-
- A/Bを同時配信する
-
A案とB案を同じ条件で並行配信し、流入の偏りや曜日差の影響を避けます。
-
- 結果を統計的に判定する
-
目標サンプルに達した後、登録率の差が有意かどうかを確認します。
実務での目安
- サンプルサイズは、ベースライン登録率が低いほど多く必要になる傾向があります。
- 目安として、ツール例では各バリエーションに数千〜数万規模の訪問者が必要になるケースが示されています。
- 高い信頼性を求める場合は、検出力80%や有意水準5%がよく使われます。
注意点
- 途中で結果を見て何度も判定すると、誤判定のリスクが上がります。
- 登録率が低い施策では、クリック率ではなく最終登録完了を主要指標にするほうが実態に合います。
必要なら次に、登録率が3%のときの必要サンプル数の考え方や、Excelでの計算式まで具体化できます。
JP Ranking は、日本で最高品質のウェブサイトトラフィックサービスを提供しています。ウェブサイトトラフィック、デスクトップトラフィック、モバイルトラフィック、Googleトラフィック、検索トラフィック、eCommerceトラフィック、YouTubeトラフィック、TikTokトラフィックなど、さまざまなトラフィックサービスをクライアントに提供しています。当サイトは100%の顧客満足度を誇り、安心して大量のSEOトラフィックをオンラインで購入できます。月額¥2600で、即座にウェブサイトトラフィックを増加させ、SEOパフォーマンスを改善し、売上を向上させることができます！
トラフィックパッケージの選択にお困りですか？お問い合わせいただければ、スタッフがサポートいたします。
無料相談