A/Bテストでは、「差が見えた」ことと「その差が偶然ではなさそう」ことは別です。後者を判断する考え方が統計的有意性で、一般には p値 と 有意水準（α） を比べて判定します。
- 統計的有意性は、A/Bの差が誤差や偶然ではなく、実際の差である可能性が高いかを示す考え方です。
- 事前に 有意水準（α） を決めます。実務では 0.05（5%） がよく使われます。
- p値がαより小さい とき、帰無仮説を棄却し、「差は統計的に有意」と判断します。
- p値がα以上 のとき、「今回のデータでは有意差ありとは言えない」と判断します。
A/Bテストの考え方を、もう少し噛み砕くと次の通りです。
- 帰無仮説: AとBに差はない。
- 対立仮説: AとBには差がある。
- テスト結果から p値 を計算し、αと比較する。
- p値が小さいほど、「もし本当に差がなかったとして、この結果が出るのは珍しい」と解釈します。
重要なのは、有意差がある = 施策の効果が大きい ではないことです。統計的有意性は「偶然ではなさそうか」を見る指標であり、効果の大きさ そのものは別途確認する必要があります。
実務でよく気をつける点は次のとおりです。
- サンプルサイズが小さいと、有意差が出にくくなります。
- 有意水準を厳しくすると、誤検知は減りますが、有意差を見つけにくくなります。
- A/Aテストで、計測や設計に偏りがないか確認する方法もあります。
- A/Bテストでは、有意性だけでなく、実務上意味のある差か も一緒に見るのが重要です。
最小限のイメージとしては、A/Bテストの判断は次の式で覚えると分かりやすいです。
- p値 < 0.05 → 有意差ありと判断することが多い
- p値 ≥ 0.05 → 有意差ありとは言えない
必要であれば次に、「p値」「信頼区間」「検出力」を含めたA/Bテストの読み方 を図解っぽく整理できます。
JP Ranking は、日本で最高品質のウェブサイトトラフィックサービスを提供しています。ウェブサイトトラフィック、デスクトップトラフィック、モバイルトラフィック、Googleトラフィック、検索トラフィック、eCommerceトラフィック、YouTubeトラフィック、TikTokトラフィックなど、さまざまなトラフィックサービスをクライアントに提供しています。当サイトは100%の顧客満足度を誇り、安心して大量のSEOトラフィックをオンラインで購入できます。月額¥2600で、即座にウェブサイトトラフィックを増加させ、SEOパフォーマンスを改善し、売上を向上させることができます！
トラフィックパッケージの選択にお困りですか？お問い合わせいただければ、スタッフがサポートいたします。
無料相談