ギャプライズの鎌田です。

OptimizelyをはじめとするABテストツールは、1行タグを設置してしまえばその日からすぐにABテストが出来てしまうほど、導入自体は簡単です。

ですが我々がABテストツールの導入をさせていただく際は、いきなりABテストを実施するのではなく、まず「AAテスト」というものを実施することをオススメしています。AAテストとは、オリジナルとバリエーションで一切の要素を変更することなく、同一の比率で出し分けて、結果をレビューする手法です。

なんでわざわざそんなことするのか？疑問に思う方もいらっしゃると思いますが、AAテストは、ABテストの結果を正しく評価するために欠かすことができない大事な作業なのです。

どういうことか？本稿でご説明しましょう。

ツールの動作・正確性をテストする

あなたはABテストを実施する前に、ツールが正確に動作するかどうかを確認できているでしょうか？　それを確認する方法の１つがこのAAテストです。

AAテストは全く同じものを出すわけですから、基本的に結果に優劣はつきません。

にも関わらず、例えばそれぞれのバリエーションでCV率に2倍以上の差が開いていたとしたらどうでしょう？これは明らかにツールが正常動作していない、計測がしっかりできていない可能性が高いので、設定を見直す必要があります。

もしこれがいきなりABテストを実施した結果だったとしたら、結果の開きも「テストによってもたらされたもの」だと勘違いしてしまうでしょう。AAテストを実施することで、純粋にツールとしての動作・正確性だけを評価することが出来るのです。

統計的誤差の範囲を把握する

AAテストにおいて結果の優劣がつかないと申し上げましたが、実際まったく同じ数字になるかというとそういうわけではありません。

下記はあるサイトにおけるAAテストの結果です。

このように全く同じものを出しているにも関わらず、結果に5％の誤差が出ています。このテスト結果を時系列にグラフで見てみると以下の様な結果になっています。

テスト開始直後こそ波があるものの、比較的安定的に結果に差が出てきているように見えます。しかし実際はまったく同じページを出しているだけなのです。これがもしABテストだったら「バリエーションの方が結果が出た！」とぬか喜びしてしまう可能性もあります。

実は、この「2週間で5%の誤差が安定」という結果こそ、AAテストで得るべき数字なのです。

この5%という誤差は、今後ABテストを続ける上で、「統計的誤差として発生する数字の基準値」となります。

なぜこのような基準値を持っておく必要があるのか？

それは、ABテストを続けていると必ず「結果にそこまで明確な差がなく、テストによる結果なのか、誤差の範疇なのか判断がつかない」という状況が必ず訪れるからです。このようなときAAテストの数字を統計的誤差の基準値として持っていれば、「基準値よりも上回っている＝テストにおける結果が出ている」という判断基準にすることができます。AAテストは、テスト結果を判断するためのボーダーラインとしても活用出来るのです。

またもう1つ、この「2週間」という期間も重要です。これは今後行う同じようなテストにおいて、テスト結果が安定する期間の目安にすることができます。

ABテスト運用においてお客様から頻繁に聞かれる質問の1つに「テストはどのくらいの期間、出せばよいのか？」というのがあります。回答としては「ケースによる」になります。一般的には1バリエーションあたり100CVは取れるのが望ましいと言われていますが、あくまで一般論であり、実際に結果が安定するテスト期間は商材によってもテスト内容によってもまちまちです。

したがって信頼できるテスト期間の目安の1つとして、AAテストの結果である「2週間で安定」というのを活用すれば良い、ということになります。

AAテストは基本全てのサイトで実施することをオススメしています。理由としては商品・サービス内容、顧客属性などによって統計的誤差の数字にかなり開きが出るためです。特にリピートユーザが多いサイトは、AAテストでも10%以上の差が出たりするケースもありますので、テストを実施するサイト毎に実施するのが望ましいでしょう。

連携ツールとの誤差を把握する

ABテストツールは、他のアクセス解析ツールと連携することでさらに強力な分析を実現出来ます。

代表的な連携ツールは以下のようなツールになります。

• Google アナリティクス
• Adobe Analytics
• Contentsquare

このようなツールと連携することで、テスト結果をセグメント別に分析したり、ABテストの結果をヒートマップで分析し、行動の変化を読み取るといったことが可能になりますが、注意しなければいけないのが、アクセスのカウント方法やタイミングなどが各ツールによって異なるという点です。

また、タグマネージャーなどを使用している場合、各ツールのタグが発行されるタイミングによってテスト結果に影響を及ぼす可能性も否定できません。

このような誤差やエラーを事前に確認するために、AAテストの結果は連携させるツールでも確認することをオススメしています。

まとめ

ABテストはスピードが大事というのは言うまでもありませんが、信ぴょう性の乏しい数字でテストを続けることほど、危ないことはありません。高速にABテストを回すためにも事前の確認と環境整備をしっかりと行い、土台を整えた上でガンガンABテストを回していきましょう。