1.世界トップ企業が年間10,000以上実施している「ABテスト」

「ABテスト」とは、Webサイトの構成を2バージョン(AとB)用意し､それぞれにユーザーを半分ずつ振り分けてどちらの構成の方が効果的かを検証するマーケティング手法です。これを継続的に行うことによりWebサイトの収益性の向上を期待することができます。

今日では、Microsoftをはじめとして、Amazon, Booking.com, FacebookやGoogleをなどのトップ企業はABテストを年間10,000以上行っているといわれています。また、スタートアップ企業やデジタル基盤を持たないWalmart、HertzやSingapore Airlineなどの企業も、そのテスト規模は小さいものの定期的にテストを実装してます。
あらゆるサービスにおいて、テストを通じてサイト改善を行うことは不可欠だと言えます。

世界No1.ABテストツールOptimizely社の調査によると、統計的有意性がでる平均勝率は25％と言われています。つまり、ABテストは「4回に1回しか勝てない」方が多いの現状です。

2.ABテストを実践している企業ほど陥る3つの課題

サイト改善を重要視している企業ほど必然的にテスト回数は多くなります。
そのため、そういった企業ほど、下記のような3つの課題に陥ってるケースが多く見られます。

ABテストで有意差が出ない

・大きなプラスもマイナスも出ず、僅差で判断できない。
・結果的に「どちらでもない」という結論になってしまう。

テストに時間がかかる

・特定の流入に絞ったテストを実施しているため、データ母数蓄積に時間がかかる。
・情報入力フォームに絞ったテストをしている

テスト中の機会損失を防ぎたい

・負けているテストの場合、CV減少に影響が出るためすぐ停止したい

3.課題を解決する「Stats Accelerator（スタッツ アクセラレーター）」

数あるABテストツールの中で、Optimizelyだけ導入されている新機能「Stats Accelerator（スタッツ アクセラレーター）」によって課題を解決することができます。
この機能には、新たな2つのアルゴリズムが使用されています。

アクセラレーターラーニング

より早く統計的優位性に達する可能性が高いバージョンを訪問者に見せ、実験の時間をより短くします。このアルゴリズムを使うにはオリジナルを含めた最低でも3つ以上のバージョンが必要です。

アクセラレーターインパクト

先行して結果が出ているバージョンを訪問者に見せ、低品質の体験を見せることを避けます。このアルゴリズムを使うには最低でも2つ以上のバージョンが必要です。

4.主な特徴

4-1.テスト結果が最大3倍速く分かる

自動的なトラフィックの最適化を通して、最大3倍まで速く実験結果を出すことができます。従来は、多くの場合、必要なデータを取得するのに数週間は必要でしたが、Stats Acceleratorによって1週間程度で取得することも可能になります。テスト期間が短くなったことにより、同じ期間でもより多くのテストが実施でき、Webサイトの改善スピードが高まります。

4-2.トラフィック数が少ないサイトにも効果的

Stats Acceleratorは、トラフィック数が低いWebサイトにとっても理想的な機能です。従来よりもずっと少ないサンプル数で統計的に有意な効果検証が可能です。例えば、既存のコンバージョン率の基準値が5％で、95%の統計有意性で2%のコンバージョン率の変化を見たい場合、各バージョンに必要な訪問者のサンプル数は1,000,000にも及びますが、Stats Acceleratorを使用すれば、この必要なサンプル数を約3分の1に減らすことができます。

4-3.期間限定のキャンペーンもCVを最大化

例えば、ブラックフライデーのプロモーションは数日または1週間のみ有効です。そのため、例えABテストしていても、これまでは期間中に最適化まで至らない現状でした。
Stats Acceleratorを使用すれば、トラフィックを効率的に自動化して、キャンペーンの実行中にコンバージョンを最大限に活用できます。

4-4.機会損失を防ぐ

例えば、複数バリエーションでテストを実行している場合、先行して明らかに成果が悪いバリエーションが出てくるケースもあります。今までは、手動で「Cだけ停止」し「他のバリエーションの割当量を変更」などの調整が必要でした。
Stats Acceleratorを使用すれば、先行して結果がでているバリエーションにトラフィックを自動で寄せることが可能です。そのため、テスト中の機会損失を抑えることができます。

5.まとめ

Optimizelyでは、2015年に導入された統計エンジンStatsEngineを使用することで、統計的に必要な正確性を担保しながら迅速に実験結果を提供しています。今回さらに、Stats Acceleratorによって実現するのは、「テストのスピード」です。

ABテストは有効ですが、テストに費やす時間がかかるほど、勝者の価値あるバリエーションを利用する時間は少なくなります。
Optimizelyは貴社の改善スピードをさらに加速させます。
詳しくはこちらからお問い合わせください（無料デモあり）