皆さんこんにちは。ギャプライズ鎌田（@kamatec）と申します。
突然ですがまずはこちらの数字をご覧ください。
これは世界No.1ABテストツールであるOptimizelyが、2億回以上に及ぶ膨大なABテストの結果からはじき出したABテストの成功確率です。
ご覧頂くと分かる通り、ABテストのうち、目標とした数字が上昇するケースは約25%であり、残り15%は結果が下がる、更に60%は結果の優劣が付かないまま終わるという結果になっています。これが何を意味しているかというと10回中6回は「優劣が付かないテストをいつまで走らせるか」という判断を強いられるということなのです。
実際ABテストに関連するセミナーを開催すると、ほぼ間違いなく
「ABテストの結果を判断するのに、どれくらいのサンプル数と期間が必要なのですか？」
という質問をいただきます。それくらいABテストを実施している方は、ABテストの「判断基準」に悩んでいるようです。
一般的によく言われるのが、
・各バリエーションで100CV出るまで
・各バリエーションで1,000UUづつ
という基準ですが、大規模ECサイトになると100CV程度ならすぐに達成しますし、リピートユーザの多いサイトだと同じCVでも質が違うので断定できません。
とはいえ結果が出るまでだた首を長くして待っているわけにもいきませんから、どこかで判断が必要になります。ABテストの結果を判断するにはいくつかの事前準備と見方がありますので、今回はそのプロセスについて順を追ってご紹介します。
1.AAテストを実施して基準値を持つ
ABテストを実施する前に、我々が必ずオススメしているのが「AAテスト」という方法です。
AAテストとは、オリジナルとバリエーションで一切の要素を変更することなく、同一の比率で出し分けて、結果をレビューする手法です。
これによって何がわかるかというと「ABテストの良し悪しを判断する基準値」を持てるということです。
具体的な例でご紹介しましょう。
上記はOriginとVar1でページに全く変更をかけずに実施したAAテストの結果です。見ての通り全く同じページでありながら、＋5.0%バリエーションの方が数字が良くなっています。
このような誤差はどんなサイトでも多少なり必ず発生します。またこの誤差はサイト特性によって異なり、中には改善誤差が±10%ほど開く場合もあります。
もちろんあまりに誤差が多い場合、ツールの正確性などを疑う必要がありますが、AAテストの目的はこの誤差を知ることにあります。
・自社のサイトはAAテストを実施した際に何%の誤差が出るのか？
・誤差が収束するまでにどの程度の期間を有するのか？
上記を把握しておくことで、テストの基準となる期間と判断軸を手に入れることが出来ます。
まずはAAテストを実施し、自社ならではの基準値を持つことをオススメします。
AAテストについて詳しくは以下の記事を御覧ください。
2.平均検討期間を考慮する
テストの実施期間は、それぞれの商品・サービス・ビジネスモデルに合わせて調整することが重要です。
例えばある住宅ローンのサイトでは日曜と月曜日にコンバージョンが集中し、以後平日は下がっていくという波を辿ります。想像するに、土日に夫婦で相談、日曜ないし月曜日に奥様が問い合わせるという流れが多いと想定されます。
例えばこのようなサイトで時期要因を無視して、平日だけでテストを判断してしまうと当然のことながら結果はブレたものになり信憑性を失います。
ではそれが水漏れや鍵トラブルなど緊急性を要するサイトだったとしたらどうでしょう？即日判断というのも十分考えられるユーザ属性です。
このように必要な実施期間はサンプル数だけを基準にするのではなく、ユーザの検討期間も考慮することが重要です。また多くのサイトは平日と土日で異なる行動パターンを起こすことが多いですから、基本的には最低でも1週間のテスト期間を設け、あとは検討期間に応じて基準となるテスト期間をサービス毎に設定することが重要です。
ここまでがABテスト実施前に把握しておくべきポイントです。
では次にテスト実施後に、テスト結果の優劣を判断する上でのポイントを解説します。
3.中間指標を持つ
ABテストにおいて求めるゴールは、ECサイトであれば購入完了率、2ステップならお問合せや資料請求の完了などを最終ゴールとしてABテストを判断しているケースが多いかと思います。ではABテストでカンタンに最終CV率が上がるかというと、そうカンタンには上がりません。
最終ゴールのCV率をKPIとしてABテストを判断していると、おそらくかなり高い確率で結果が出ないという事態に陥ります。このような自体にならぬ様、ABテストでは複数のKPIを設定しておくことが重要です。
例えばECサイトのカート画面を変更するABテストを実施したとしましょう。最終CV率だけを追っている場合、以下の遷移率だけを追う形となります。
カート⇒購入完了ページ
ですが大抵のECサイトはカートからいきなり購入完了とは行かず、例えば以下のような流れを通ることが多いでしょう。
カート⇒ログインページ⇒レジ⇒確認ページ⇒購入完了ページ
このような場合ABテストのKPIは購入完了だけではなくログインページへの遷移率、レジへの遷移率なども合わせて追うべきです。購入完了だけを追っていては結果に優劣がつかない場合、「ダメだった」という結果しか残りませんが、中間指標を設定しておけば、「最終CVは上がらなかったものの、ログインページへの遷移率は増えた」という結果を得ることが出来ます。このような結果がわかれば、「次はログインページを改善しよう」という話しにもなりますが、最終CV率だけを追っていてはこのような判断ができません。
どんなABテストでも最終CV率と合わせて、次画面への遷移率、平均PV数など複数の指標でテスト結果を測定することをオススメします。
4.多角的に判断する
結果を総合的に見ると変わらないテストでも、違った角度から検証すると、結果の見え方が違う場合があります。テスト結果を多角的に検証するには、他の解析ツールと連携して分析すると効果的です。
以下はGoogle Analytics（グーグルアナリティクス）とOptimizelyを連携させ、ABテストの結果をGoogle Analyticsセグメント機能を使って分析した一例です。
上記の通り、総合的な結果としてはオリジナルが優っているものの、その要員はリピーターが全体CVを引き上げているからであって、新規に限って見ればバリエーションのほうが優勢であるということが見てとれます。
このような結果は特にリピーターの多いサイトの傾向として「慣れ」という要員が絡むために起こりやすい結果なのですが、もしこのテストを多面的に分析しなければ、結果が悪かったという結論しか出せずに終わってしまう可能性があります。
結果が悪かったり、差が出なかったテストでもこのように多面的に分析することで良質な検証データが得られることもありますので、単純に判断するのではなく仮説を持って様々な切り口から検証するようにしましょう。
まとめ
いかがでしょうか。ABテストはこのように実施前の準備と実施後の検証によって、同じテストでも得られるデータに大きな差が出ます。
このことを肝に銘じながらも、常にスピードを意識してABテストを回すことが成功の秘訣です。
なお、スピーディーにABテストを回す体制作りが上手くいった場合、次に悩まされるのが「テスト案の枯渇」です。現在進行系でお悩みの方もいらっしゃるかと思いますが、今回、弊社CXO事業部が過去に取り組んだ7500回以上のABテストの中から、真に実践すべきABテストの切り口をまとめました。
ご興味ある方は以下でホワイトペーパーをダウンロードすることができますので、こちらも合わせてご覧ください。
本日の記事はギャプライズ鎌田（@kamatec）がお送りしました。
それではまた次回。
