A/Bテストは意味がない？というお話

2010 年 2 月 19 日

AB-test
先日、アクセス解析やリスティング広告に精通している方とお話した時に出たお話で、「A/Bテストは意味がない」というお話が実に興味深く、非常に面白かったので書き出してみたいと思います。
※ちなみに僕自身の意見としてはやり方次第でA/Bテストは有効だと思っていますし、現在進行形で実際に実行しています。

A/Bテストは意味がない？

Q,
A/Bテストを1か月ほど繰り返すうちに閲覧開始ページからのコンバージョン推移をみていると、1か月通してみればAのコンバージョン率が優れていたが、前半の半月だけで計測するとBの方がコンバージョン率が優れていたりする場合は、どちらのデータを信用するべきなのか？
※勿論、半月経過の時点で信頼性のあるデータは取得されています。
こういった問題にはみなさんも出くわしたことがあるのではないでしょうか？A/Bテストのデータをある一定期間追いかけ続けていると頻繁にこういう傾向になる場合があります。

ではなぜ両方信頼性の高いデータなのに、どうして見るタイミングでコンバージョン率が異なるのでしょうか？

前半に給料日の人が多かったからコンバージョン率が高まったのかもしれませんし、それら以外の要因でコンバージョン率が高まったのかもしれません。正直、この難題はいつまでたっても解けない問題だとさえ思います。

コンバージョン率は計測するタイミングでデータが異なる場合があります。その為にできるだけ曜日や時期を合わせてデータを重ね合わせることでデータに信憑性を持たせることが重要ですが、100%それで補えるものではありません。

ということは、A/Bテストは意味がない？というのは本当なのでしょうか？

下記がその方が「A/Bテストは意味がない」という意見の根拠でした。

A,
ランディングページのどちらがいい？などという良し悪しなんてものは各個人の感覚による人間の目ではわかるわけがない。更には時期によって異なるデータを信頼しすぎるのは良くない。だからこそ、現状のコンバージョン率が1%でれば、それを2%にするように努力をするように、ファーストビューを変更したり、フォームへのリンクを工夫したりなどのランディングページの調整が必要であり、徐々にランディングページを育てる！それがランディングページ最適化ではないのか？
なるほど。わかります。

A/Bテストは意味がない？：まとめ

つまるところ、A/Bテストでどっちがよかった？というお話ではなく、より成功に近づけるように、ランディングページを育てる、つまり改善していくことが一番大事であるということですね。

なんとなく、A/Bテストは意味がない？というお話の内容をつかめていただけましたでしょうか？今日はちょっとしたA/Bテストのコネタでした。
※勿論僕はこれが絶対だとは僕は思いませんが、こういう意見も踏まえてA/Bテストを行うのは非常に有効な手段だと思います。実際にAが良かったからといって、次の月のコンバージョン率が前月のBのデータを下回る事だってあるわけですからね。

リスティング広告でのA/Bテスト手法

リスティング広告でのA/Bテストは、一つのキーワードに同一の広告文を2つほど作成して、リンク先URLが異なったものを登録し、均等に広告配信すれば簡単にできますが、これが今日の記事通り、時期によってクリック率やコンバージョン率がガラリと変わってくるの、ちょいちょい注意が必要だったりもしますので、出来るだけ信憑性のあるデータが取得できるまで待ちましょう。

クリック数が10件とかで広告文を差し替えている兵も見かけたことがありますが…これでは信憑性のあるデータとは到底いえるものではありません。

カテゴリー：LPO, アクセス解析
タグ：LPO, アクセス解析

このブログをRSSに登録する

この記事をブックマーク／TwitterでRTする

A/Bテストは意味がない？というお話へのコメント

kotaoue

いつも楽しく読ませていただいています。
今回のエントリーの内容で、ちょっと疑問がありましたので、コメントさせていただきます。

エントリーの前半。
>コンバージョン率は計測するタイミングでデータが異なる場合があります。その為にできるだけ曜日や時期を合わせてデータを重ね合わせることでデータに信憑性を持たせることが重要ですが、100%それで補えるものではありません。
という部分は理解できたのですが、そこから、「A/Bテストは意味がない」となる流れが良くわかりませんでした。

根拠としてある、「現状のコンバージョン率が1%でれば、それを2%にするように努力をするように、ファーストビューを変更したり、フォームへのリンクを工夫したりなどのランディングページの調整が必要であり、徐々にランディングページを育てる！」で言及されているコンバージョン率についても、曜日や時期データの影響を受けるはずですので、ABテストを行わなければコンバージョン率の上昇、ランディングページの調整なのか時期的要因なのかの判断がつけられないのではないかと思いました。

ABテストを行わないとなった場合、コンバージョン率が上昇したことの比較対象は何にすればよいのでしょうか？サイト平均などになりますでしょうか？もしくはユーザテストなどを行わなければならないのでしょうか？

2010/02/19 09:40

SEMマスター

こんにちは。
いつも読んで頂きありがとうございます。

これは僕の記事の書き方がいけないですね。
誤解させて申し訳ありません。

この記事でお伝えしたかったことは、まったくテイストの異なるランディングページである
A/Bテストをしても結局は時期によってデータがことなることが多いので、
1つのランディングページを育てて、CVRやその他の指標を
向上させていきましょう！ということを書きたかったのです。

＞ABテストを行わないとなった場合、コンバージョン率が上昇したことの比較対象は何にすればよいのでしょうか？

上記に関しては”ABテスト”という定義が曖昧になっておりますが、
この記事で批判している”ABテスト”は、まったく異なるランディングページでの”ABテスト”のことです。
“ABテスト”自体を否定しているわけではありません。

この記事は一つのランディングページを育てるということをお伝えしたかった記事になります。

紛らわしくて申し訳ないです。

2010/02/19 10:20

kotaoue