先日、アクセス解析やリスティング広告に精通している方とお話した時に出たお話で、「A/Bテストは意味がない」というお話が実に興味深く、非常に面白かったので書き出してみたいと思います。
※ちなみに僕自身の意見としてはやり方次第でA/Bテストは有効だと思っていますし、現在進行形で実際に実行しています。

A/Bテストは意味がない？

Q,
A/Bテストを1か月ほど繰り返すうちに閲覧開始ページからのコンバージョン推移をみていると、1か月通してみればAのコンバージョン率が優れていたが、前半の半月だけで計測するとBの方がコンバージョン率が優れていたりする場合は、どちらのデータを信用するべきなのか？
※勿論、半月経過の時点で信頼性のあるデータは取得されています。
こういった問題にはみなさんも出くわしたことがあるのではないでしょうか？A/Bテストのデータをある一定期間追いかけ続けていると頻繁にこういう傾向になる場合があります。

ではなぜ両方信頼性の高いデータなのに、どうして見るタイミングでコンバージョン率が異なるのでしょうか？

前半に給料日の人が多かったからコンバージョン率が高まったのかもしれませんし、それら以外の要因でコンバージョン率が高まったのかもしれません。正直、この難題はいつまでたっても解けない問題だとさえ思います。

コンバージョン率は計測するタイミングでデータが異なる場合があります。その為にできるだけ曜日や時期を合わせてデータを重ね合わせることでデータに信憑性を持たせることが重要ですが、100%それで補えるものではありません。

ということは、A/Bテストは意味がない？というのは本当なのでしょうか？

下記がその方が「A/Bテストは意味がない」という意見の根拠でした。

A,
ランディングページのどちらがいい？などという良し悪しなんてものは各個人の感覚による人間の目ではわかるわけがない。更には時期によって異なるデータを信頼しすぎるのは良くない。だからこそ、現状のコンバージョン率が1%でれば、それを2%にするように努力をするように、ファーストビューを変更したり、フォームへのリンクを工夫したりなどのランディングページの調整が必要であり、徐々にランディングページを育てる！それがランディングページ最適化ではないのか？
なるほど。わかります。

A/Bテストは意味がない？：まとめ

つまるところ、A/Bテストでどっちがよかった？というお話ではなく、より成功に近づけるように、ランディングページを育てる、つまり改善していくことが一番大事であるということですね。

なんとなく、A/Bテストは意味がない？というお話の内容をつかめていただけましたでしょうか？今日はちょっとしたA/Bテストのコネタでした。
※勿論僕はこれが絶対だとは僕は思いませんが、こういう意見も踏まえてA/Bテストを行うのは非常に有効な手段だと思います。実際にAが良かったからといって、次の月のコンバージョン率が前月のBのデータを下回る事だってあるわけですからね。

リスティング広告でのA/Bテスト手法

リスティング広告でのA/Bテストは、一つのキーワードに同一の広告文を2つほど作成して、リンク先URLが異なったものを登録し、均等に広告配信すれば簡単にできますが、これが今日の記事通り、時期によってクリック率やコンバージョン率がガラリと変わってくるの、ちょいちょい注意が必要だったりもしますので、出来るだけ信憑性のあるデータが取得できるまで待ちましょう。

クリック数が10件とかで広告文を差し替えている兵も見かけたことがありますが…これでは信憑性のあるデータとは到底いえるものではありません。