この記事は「Webマーケティングの話に良く出てくるABテストって何？どうやって使うの？」といった疑問に答えます。
目次
統計学を使ってWebマーケティングの必須スキル「ABテスト」のやり方を解説
私は統計学を用いたビジネス改善手法「シックスシグマ」のトレーニング講師をしています（トレーナーの資格を持っています）。たまに依頼を受けてトレーニングを提供することがあります。
統計学はこちらの有名な書籍「統計学が最強の学問である」で説明されているとおり、理解してビジネスに適用すると非常に効果的です。
今回は、統計学の基礎的な手法である「カイ二乗検定」をWebマーケティングのABテストに適用する方法について説明します。
ABテストとは？
そもそも Webマーケティングにおける AB テストとはどんなものでしょうか？
簡単に言えばWebサイトについてAパターンとBパターンの二つ用意し、どちらの方が目的を達成できるかテストするということです。例えば、ある製品を売る時に Aパターンのサイトで売るのと、Bパターンのサイトで売るのとではどちらが売れるか？という話です。
あるいは同じサイト内でも、AパターンのバナーとBパターンのバナーでは、どちらがクリックされるか？という場合もあります。
こういったテストを繰り返して、より効果的なウェブサイトに改善していくというものです。
データ収集の方法
AB テストにおけるデータ収集は非常に簡単で、売れた回数やクリック数（いわゆるコンバージョン）をAパターンとBパターンでそれぞれ数えるだけです。
そうすると次のような表にまとまるでしょう。
| 売れた | 売れない | |
| Aパターン | 7 | 17 |
| Bパターン | 15 | 11 |
結果の解釈
この結果をどう解釈するか？が次のステップです。
「ぱっと見」では、Bパターンのほうが売れており、「Bパターンのほうが効果があるので、こちらで行きましょう！」となりがちです。
ですが、そんな簡単な結論で良いのでしょうか？たまたまかもしれませんし、見た目だけでは微妙ですよね。
そこで登場するのが統計学の手法である「カイ二乗検定」です。
カイ二乗検定とは？
カイ二乗検定とは、ABパターンと売れた・売れないとの関係に独立性があるかどうかを調べるツールです（統計学では「検定する」といいます）。
統計学的に独立性があれば、ABパターンと売れた・売れないとの間には「関係がない」ということになります。つまり、AパターンでもBパターンでも大差なし、という話です。
逆に、統計学的に独立性が無いならば、ABパターンと売れた・売れないとの間には「関係がある」ということになります。つまり、どちらか一方（上の例ではBパターン）のほうが売れると統計学的に言える、ということになります。
では次にツールとしてのカイ二乗検定のやり方を説明します。
カイ二乗検定のやり方
カイ二乗検定の計算は本来は面倒なのですが、エクセルを使えば面倒くさいことは無しに、結果だけ得ることができます。ビジネスマンは学者ではないので、それで充分です。
そのやり方は次のとおりです。
（１）クロス集計表をExcelに作る
実測値についてクロス集計表を作ります。例ではこんな感じです。
（２）期待値を求める
例えばAパターンで売れた数は「７」ですが、期待値としては
２２ｘ（２４÷５０）＝１０．５６
です。つまり売れた数の合計が22回で、Aパターンを使った合計が24回ですから、全ての回数50回に対して、の比率で期待値が求まります。
これをExcelの計算式でそれぞれ求めていきます。すると次のようになります。
これで準備ができました。
（３）カイ二乗検定する
先に述べた通り、エクセルの関数で一発で処理します。上記の例ではどこか空いているセルに次のように計算式を入れます。
＝CHISQ.TEST(C3:D4, C8:D9)
この「CHISQ.TEST」が関数の名前で、「C3:D4」が実測値の範囲、「C8:D9」が期待値の範囲です。そうすると次のC11のセルのように求まります。
（４）検定結果を解釈する
この例では検定結果が「0.0423」と出ています。この意味は何でしょうか？
実はこの数字が「0.05未満」なら、「ABパターンと売れた・売れないとの間には関係がある」と解釈します。つまり、Bパターンは統計学的にも効果的であると証明されたことになります。
「はぁ？なぜ0.05未満？」と思われると思いますが、「そういうものだ」と理解してしまって大丈夫です。ここに拘ると統計学の深みにはまり、本来の趣旨（ビジネス改善）とは違う方向に行ってしまいますので、あまり深く悩まず、そうなんだと思いましょう。
この例では検定結果が「0.05未満」でしたが、0.05以上ならどう解釈するか？というと、ABパターンと売れた・売れないとの関係に独立性が無いとは言えない、ということになります。ややこしいですが、要するにどちらかのパターンの方が効果的であると統計学的に証明できないということです。
そうなったのであれば、さらにCパターンを開発して再度テストする、といったアクションになります。
統計学を持ち込むメリット
ABテストを行った際に直観的な結論を導くよりは、このように「統計学のフレーバー」を入れた方が良いです。なぜなら次のようなメリットがあるから、です。
- 自分の結論について自信が持てるから。統計学的な裏付けが後押ししてくれます。
- 上司やクライアントを説得しやすいから。これらの方々は「統計学的に証明されました」とか言うと（失礼ながら）納得してくれやすいものです。
以上、シックスシグマ講師がWebマーケティングの必須スキル「ABテスト」のやり方を分かりやすく解説、という話題でした。
シックスシグマの統計学的手法を勉強すると、自分や組織を成長させることができますよ。トレーニング受講に興味がありましたら、ご連絡ください。
★★★人気記事★★★