5分で解決!ABテストなんかすぐできる

ABテストは、今やWebマーケティングの分野でも広く利用されるようになりました。解説しているサイトも多く、「広告バナーのデザインでA案とB案のどちらが成約率が高い?」といったケースがよく挙げられています。

この話題では、「カイ二乗分布とは」とか「独立性の検定とは」から書き始めるのが本来の順序ですが、ABテストをすぐに使いたい人にとっては分かりにくくなりがち。そこで、今回はRを使って要点だけで書いてみます。

A案B案で成約率に差があるか

データ1
不成約数 成約数 成約率
A案 600 600 0.50
B案 500 420 0.46

A案B案の成約率は僅差で、この結果は偶然じゃないかとも思え、判断に困ります。しかし、Rの計算結果として表示されるp値は、p-value = 0.04706と、5%を下回ります。これは、仮に成約率の差が偶然だとすれば、今回のような調査結果になるのは5%にも満たない稀な現象であることを意味します。したがって、成約率の差は偶然では無さそうだと判断を下せるということです。では、次の場合はどうでしょうか。

データ2
不成約数 成約数 成約率
A案 15 15 0.50
B案 12 3 0.20

成約率の差は歴然としており、直感的にはA案を採りたいところ。しかし結果は、p-value = 0.05281であり、5%を「稀」の判断基準とするなら、それをわずかながら上回ります。つまり、今回の成約率の差は偶然生じたものと考えられ、2つの案に差があるとは言えません。

以上のように、p値の意味を理解しRで計算すれば、ABテストはすぐにできます。ただ、これまでExcelをお使いの方は、RだPythonだと言われるとそこが難しく思えるかもしれません。しかし、データ活用をするなら、Rなどの統計ソフトを使うほうがむしろ簡単に処理できることも多いのです。導入をおすすめします。

Rに関する日本語の情報サイト - RjpWiki