A群の成約率が9.09%、B群が0%。3倍とか5倍ではなく、片方はゼロです。
この2つは、まったく同じ設定でした。 ターゲティングも、予算も、遷移先も、配信面も。1つも違いません。
にもかかわらず、この差が出ます。これがA/Bテストの現場で起きていることです。
結論を先に書きます
差が本物かどうかを見分けるには、2つの方法があります。
① 同じ条件の群をもう1本走らせる
これがいちばん確実です。まったく同じ設定を2本用意すると、「偶然でどれだけ差がつくか」が実測で分かります。 その幅より小さい差は、差ではありません。
② 必要件数を先に計算する
統計の計算で、「この差を見分けるには何件必要か」が出せます。その件数に届くまでは、判定しないと決めておきます。
どちらも、テストを始める前にやることです。 走らせてから数字を見ると、判断が数字に引きずられます。
実測でどうなったか
冒頭の例を詳しく書きます。ある健康食品ECの広告テストです。
| 群 | 到達数 | 受注 | 成約率 |
|---|---|---|---|
| A群 | 22 | 2 | 9.09% |
| B群 | 14 | 0 | 0% |
設定は完全に同一でした。APIで全項目を突き合わせて、差分がゼロであることを確認しています。
この9.09ポイントの差は、全部ばらつきです。
同じテストの他の群も並べます。
| 群 | 到達数 | 受注 | 成約率 |
|---|---|---|---|
| 群1 | 27 | 0 | 0% |
| 群2 | 22 | 2 | 9.09% |
| 群3 | 16 | 1 | 6.25% |
| 群4 | 16 | 1 | 6.25% |
| 群5 | 14 | 0 | 0% |
| 群6 | 13 | 1 | 7.69% |
全体では108到達・5受注で、4.63%です。
この6群すべて、統計的には「同じ実力」で説明がつきます。 到達数が13から27しかないと、0件でも3件でも普通に起きます。
何件たまれば見分けられるのか
上の例で、全体の成約率4.63%を基準に計算するとこうなります。
| 見分けたい差 | 必要な到達数（1群あたり） |
|---|---|
| 1.5倍 | 約1,600 |
| 2倍 | 約470 |
| 3倍 | 約150 |
いま1群あたり18です。3倍の差を見るだけでも、8倍の到達数が要ります。
ここで大事なのは、「1.5倍の差を見たい」ほど、必要な件数が跳ね上がることです。3倍と1.5倍で、必要数は10倍違います。
小さい差を見たいなら、その分だけ長く走らせるしかありません。
群を増やすほど、判定できなくなります
これがよくある失敗です。
同じ予算で、群を2つに割るか6つに割るかを考えます。総額は同じです。
| 設計 | 群数 | 1群あたりの到達数 | 見分けられる差 |
|---|---|---|---|
| 6群に割る | 6 | 53 | 約5倍 |
| 3群に割る | 3 | 105 | 約3.6倍 |
| 2群に割る | 2 | 158 | 約3倍 |
同じ総額でも、2群にすれば1群あたりの到達数が3倍になります。
多くの条件を一度に試したくなりますが、割るほど何も見えなくなります。 知りたいことを1つに絞ってください。
必要件数の出し方
計算式は決まっています。表計算ソフトでも出せます。
必要件数（1群あたり）
= (1.96 + 0.84)^2 × (p1×(1-p1) + p2×(1-p2)) ÷ (p2 - p1)^2
p1 = いまの成約率
p2 = 見分けたい成約率（例：p1の1.2倍）
1.96 = 有意水準5%（両側）
0.84 = 検出力80%これは仮の数字を入れる式です。 御社の現在の成約率をp1に入れて、見分けたい差をp2にしてください。
たとえば現在1.5%で、20%の改善（1.8%）を見分けたいなら、1群あたり約7,000件です。1日の到達数で割れば、必要な日数が出ます。
期間の目安
日数は、1日あたりの到達数で決まります。
必要日数 = 必要件数 × 2群 ÷ 1日の到達数この計算を、テストを始める前にやってください。 「30日走らせて判定します」と決めるのではなく、「必要件数に届いたら判定します」と決めます。
途中で結果を見て止めると、まぐれを実力と読み違えます。 差が大きく出た瞬間に止めれば、どんなテストでも「勝った」結果が作れてしまいます。
途中経過をどう扱うか
見るなとは言いません。異常の検知には見る必要があります。
分けるとよいのは、この2つです。
- 監視 — 配信が止まっていないか、極端な結果が出ていないか。毎日見る
- 判定 — どちらが勝ったか。必要件数に届くまでやらない
社内の報告では、進捗率を出すことを勧めます。 「A群3.9%、B群2.1%」ではなく、「必要件数の17%まで到達。まだ判定できません」と書きます。
数字を出すと、必ず誰かが解釈します。判定できないことを明示しないと、途中の数字が独り歩きします。
よくある質問
成約率が2倍違えば、さすがに本物ではないですか
件数によります。上の例では、3倍の差を見分けるのに1群150件が必要でした。18件しかない状態では、2倍でも3倍でも判定できません。
同じ設定の群を2本走らせるのは、予算の無駄ではないですか
無駄になる場合があります。到達数が十分にあり、ばらつきの理論値が信頼できるなら、計算で代用できます。
同じ設定を2本走らせる価値があるのは、配信先が自動で決まる場合です。群ごとに違う面に配信されるので、理論値より実際のばらつきが大きい可能性があります。それを確かめる意味があります。
必要件数に届く前に、明らかに悪い群を止めてもいいですか
判定と停止は別の話です。「1件も出ないまま使ってよい上限額」を先に決めておけば、判定を待たずに止められます。
この上限は、許容できる獲得単価から計算できます。判定は「どちらが良いか」の話で、停止は「これ以上使うべきでないか」の話です。混ぜないでください。
検定の種類はどれを使えばいいですか
成約率の比較なら、2標本の比率の検定で足ります。難しい手法は要りません。 大事なのは手法の選択ではなく、必要件数を先に決めて、そこまで判定しないことです。
A/Bテストの分母は何にすべきですか
測れるもので構いません。到達数が測れないなら、クリック数を分母にしても判定はできます。必要件数は変わりますが、勝敗は出ます。
ただし分母をクリックにすると、「なぜ勝ったか」が分からなくなります。 到達率で勝ったのか、到達後の成約率で勝ったのかが分けられません。
社内でどう説明すればいいですか
「同じ設定の2群で9%と0%になった」という例が使いやすいと思います。 設定が同じなら差はゼロのはずです。それでもこれだけ動く、という事実が、必要件数の話を通しやすくします。
この記事で扱わなかったこと
- 媒体の数字と受注のズレ →媒体のCVと受注のズレ
- 予算を増やしたときの単価の変化 →予算を増やすとCPAはどうなるか
- どの動画から売れたかを引く方法 →クリエイティブ別の成果
★ 断定していないこと
私は、御社のテストで同じばらつきが出ると断定していません。 上の数値は、ある1社の1回のテストでの実測です。
私は、6群の結果が「同じ実力」であると証明したわけではありません。 「ばらつきで説明がつく」というだけです。本当に差が無いことを示したのではありません。 差があっても、この件数では見えません。
私は、必要件数の計算式が唯一の方法だと言っていません。 ここに書いたのは、成約率の比較で一般に使われる形です。他の設計もあります。
私は、同一設定の群を2本走らせる方法が、常に必要だと言っていません。 配信先が自動で決まる場合に価値があると考えていますが、比較検証はしていません。
相談先
A/Bテストを回しているが、結果の読み方に自信がない。あるいは、群を分けすぎて何も見えていない。そうした段階でご相談ください。
弊社は単品リピート通販・D2C向けに、ECシステム、CRM、運営代行、新規顧客獲得、物流までを扱っています。テストの設計もその一部です。
まず、いまのテストで何件たまっているかを確認するところから始めます。
出典・注記
- 本文中の実測値（同一設定2群の9.09%と0%、6群の到達数と受注、全体4.63%）は、国内の健康食品EC1社における2026年8月の広告テストの実測です。事業者名・商品名・媒体名は伏せています
- 必要件数の計算は、2標本の比率の検定（有意水準5%・両側、検出力80%）に基づく一般的な式です
- 設定が同一であることは、媒体のAPIから全項目を取得して差分を確認しました