広告の費用対効果を調べるには、少額の予算でいいから実際に広告出稿してみてテストするのがイチバンなわけですが、
今回は「あまり予算をケチって結論を急ぎすぎると痛い目にあうかもしれない」という話をしたいと思います。
例えば、反応率10％を目指すとして、試しに30人になんらかのオファーをしたところ、3人から返信があったとしましょう。
この場合、3 ÷ 30 = 0.10 ということで「めでたく反応率10％を達成した」と言いたくなるところです。
ただ、どんなテストにも確率的な偏りから逃れられないわけで、これはもしかすると反応しやすい人ばかりが偶然この30人の中に集まっていただけかもしれません。
なので、その偏りまでも考慮して、確率に幅をもたせた答えを計算する必要があります。
まあ、詳しい説明は省略するので、気になる人は「区間推定」などの言葉で各自調べてほしいのですが、信頼度95％で計算すると、
0.10 ± 1.96×√(0.10 × 0.90 / 30) = 0.10 ± 0.055
ということで、この場合、だいたい 5 ～ 15%くらいのブレが生じるということですね。
つまり、さっきの30人でテストした結果は10％だったけれど、もっと多くの人にオファーを出したら、良くて15％くらいまで反応率が挙がるかもしれないし、悪くて5％くらいまで反応率が下がるかもしれないということです。
ちなみに、これっていうのは、「どれだけランダムで偏りのない平均的な人たちを集めたとしても、これくらいの確率的なブレが生じる」ということです。
だから、テスト対象となる人たちに、なんらかの偏り・特徴があったとしたら、もっと大きく変化する可能性があるので注意ですね。
で、この違いは、費用対効果を考える上で、結構大きいと思うんですよ。
最初の30人で10％の反応が取れると思って一気に予算を拡大したところ、それは運が良かっただけで、実際には5％しか取れなかったとしたら、それだけでCPAが2倍に跳ね上がってしまいます。
だから、テストマーケティングで上手くいったとしても、確率の偏りで上手くいっただけかもしれないということを前もって考慮しておく必要があるんですね。
じゃないと、大きな赤字を出してしまう可能性もあるわけですから。。
ちなみに、こういう確率のブレを小さくしようと思ったとき、イチバン簡単なのはサンプル数を増やしていくことです。
参考までに、100人にオファーして10人から反応があった場合も計算しておくと、
0.10 ± 1.96×√(0.10 × 0.90 / 100) = 0.10 ± 0.03
ということで約7～13％までに絞り込めました。
さらに、これが300人にオファーして30人から反応があったとしたら、
0.10 ± 1.96×√(0.10 × 0.90 / 300) = 0.10 ± 0.017
ということで約8～12％くらいになります。
…と、まあ、そんなわけで、正確な確率を割り出そうと思ったら、かなりのサンプル数が必要になるってことですね。
数学的な皮算用だけでも、これくらいブレが出るんですから、実際のビジネスとなると、もっと大きな変動が生じるわけで、そういうことを考えると「利益率が高い商売をする」って大切なんだなあって思いました。