夫のひきだし

夫が調べて、AI妻・嫁子が斬る

【第23回】「効果がありました」と言っていい条件｜ABテスト（嫁子が教えるマーケ講座）

学ぶ

今回のゴール

第5部の最後です。第22回の「いつもの振れ幅」を、もう少しはっきりした基準にします。全体の流れは講座の目次へ。

嫁子: 今日のタイトル、正直だね。

でも実際そうだと思うよ。やってみたけど、よく分からなかったで終わってる会社、たぶんすごく多いでしょ。その理由から話すのがいいと思う。

1. 何をしているのか

ABテストは、2つの案を同時に出して、どちらが良いかを比べる方法です。

大事なのは「同時に」です。先週Aを出して今週Bを出す、という比べ方だと、第22回で書いた曜日や季節の影響が混ざります。同時に出して、来た人をランダムに振り分ければ、条件が揃います。

考え方は正しく、うまく使えば強力です。問題は次の節です。

2. なぜ「意味ない」と感じるのか

実際にやってみると、こうなります。

案A：CVR 2.0%（1,000クリックで20件） 案B：CVR 2.4%（1,000クリックで24件）

Bのほうが20%高く見えます。ここで「Bの勝ち」と判断していいでしょうか。

まだ何も言えません。 24件と20件の差は4件です。第22回で書いた通り、これはいつもの振れ幅の中に収まる可能性が高いからです。

もう一度同じテストをやれば、AとBが入れ替わることもあります。

つまり「意味ない」と感じるのは、方法が悪いからではなく、件数が足りていないからです。

3. どれくらいの件数が要るか

必要な件数は、2つで決まります。

  1. 今のCVR（低いほどたくさん必要）
  2. 見つけたい差の大きさ（小さい差ほどたくさん必要）

うちの場合、今のCVRは2%なので、こうなります。

見つけたい差 必要な件数（各案あたり・目安）
2% → 2.5%（0.5ポイント） 1万件以上
2% → 3%（1ポイント） 3千件前後
2% → 4%（2倍） 千件前後

正確な数はツールで計算できます（「サンプルサイズ 計算」で探すと無料のものが見つかります）。ここで持って帰ってほしいのは桁の感覚です。

うちの広告は月2,000クリックでした。2案に分けると各1,000件です。

小さな改善を検証しようとすると、1年近くかかります。その間に季節も競合も変わります。

これが「ABテストは意味ない」と言われる正体です。方法の問題ではなく、規模の問題です。

嫁子: 10か月って、もう別の話になってるよね。

その間に会社の状況も変わってるでしょ。それで結果が出ても、使えるのかなって思うよ。

4. 成立しないときにやること

では小さい会社は何もできないのか。そんなことはなく、やり方を変えれば進められます。

① 小さく変えず、大きく変える

ボタンの色を変えるようなテストは、差が小さいので検証できません。ページの構成を丸ごと変えるほうが、差が大きくなって早く判定できます。

うちで言えば、第14回の「電話のみ→24時間フォーム」は大きな変更です。これくらいの差なら、少ない件数でも分かります。

② 件数が多い場所でだけやる

サイト全体の問い合わせは月40件でも、トップページの訪問は月3,000件あるかもしれません。件数が多い場所（表示・クリック）でのテストなら成立します。

判定に使う指標を、件数が多いほうに置くという考え方です。ただしクリックが増えても問い合わせが増えるとは限らないので、最後は問い合わせで確かめます。

③ 数えるのではなく、聞く

第8回でやった定性調査です。5人に使ってもらって、どこで詰まるかを見る。統計的な判定はできませんが、原因が分かります。

件数が少ない会社では、こちらのほうが速く改善できることが多いです。

④ 前後で比べる（条件つき）

同時比較ができないなら、変更前後で比べます。ただし第22回の注意が全部かかります。曜日を揃え、季節を考え、他に何も変えていないことを確認してください。

弱い証拠ですが、何もないよりはましです。「たぶん効いた」と正直に報告すれば問題ありません。

5. 正直に報告する

一番大事なところです。

件数が足りないときに「Bのほうが20%良かったので採用します」と報告すると、その数字が一人歩きします。半年後に「あのときの改善はどこへ行った」と言われることになります。

代わりに、こう報告してください。

Bのほうが4件多かったが、この件数では偶然との区別がつかない。 判定には各1万件が必要で、今のペースでは10か月かかる。 この施策は数字で判定せず、第8回の聞き取りで進めたい。

これで通らないこともあります。ただ、通らないことより、間違った数字で予算を動かすほうが高くつきます。

第16回で「始める前に判断の条件を決めておく」と書いたのは、このためでもあります。始める前に「1万件必要です」と言えば、そもそもやらない判断ができます。

6. AIに任せるとき

必要な件数の計算は任せられます。「CVR 2%で0.5ポイントの差を検出するのに必要な件数は」と聞けば、計算して返ってきます。計算式が確立しているので、ここは信頼できます。

任せてはいけないのは結果の解釈です。

「A 20件、B 24件でした。どちらが良いですか」と聞くと、Bのほうが良いという方向の答えが返ってきやすいです。数字を見せられると、そこから何か言おうとするからです。

聞き方を変えてください。

  1. まず必要な件数を計算させる
  2. 実際の件数と比べて、足りているかを確認する
  3. 足りていなければ、そこで解釈をやめる

3番目を自分で止められるかどうかが、この回の実力です。AIは「まだ分かりません」と言う機会を、こちらから作らないと言いません。

つまずきポイント

テスト中に他のことを変えないでください。同時に広告文も変えると、どちらが効いたのか分からなくなります。

途中で覗いて止めないでください。良い数字が出た時点で止めると、たまたま良かった瞬間を採用することになります。終わりの条件を先に決めて、そこまで回します。

負けた案も記録してください。 「これは効かなかった」は、次に同じことをやらないための情報です。

今回のまとめ

次にやること

第5部はここまでです。次回から第6部（やらかさない・続ける）に入り、まずはどれからやるか、どこでやめるかを扱います。そのあとは法律の回が3つ続きます。

今回の宿題：自社の月間クリック数（または訪問数）を調べて、2で割ってみてください。それが1案あたりの件数です。3節の表と比べると、何が検証できて何ができないかが分かります。

嫁子: 今日ので一番よかったのは、5節だと思う。

分からないときに「分かりません」って言うの、勇気が要るでしょ。でも分かったふりをして進むほうが、あとで困るからね。

それ、買う側にも関係あるよ。効いてない施策のコストは、結局どこかで値段に乗るからね。