Optimizelyは1行タグを設置してしまえば、その日からすぐにABテストが出来る非常にパワフルなツールです。

ですが我々がOptimizelyの導入をさせて頂く際は、いきなりABテストを実施するのではなく、まず「AAテスト」というものを実施することをオススメしています。

AAテストとは、オリジナルとバリエーションで一切の要素を変更することなく、同一の比率で出し分けて、結果をレビューする手法です。

なんでわざわざそんなことするの？と思う方もいらっしゃると思いますが、
AAテストをやるのは以下3つの理由があります。

• ツールの動作・正確性をテストする
• 統計的誤差の範囲を把握する
• 連携ツールとの誤差を把握する

それでは一つづつ解説していきましょう。

ツールの動作・正確性をテストする

AAテストは全く同じものを出すわけですから、基本的に結果に優劣はつきません。
にも関わらず、例えばそれぞれのバリエーションでCV率に2倍以上の差が開いていたとしたらどうでしょう？

これは明らかにツールが正常動作していない、計測がしっかりできていない可能性が高いので、設定を見直す必要があります。

もしこれがいきなりABテストだったとしたら、結果の開きもテストによってもたらされたものだと勘違いしてしまうでしょう。
AAテストを実施することで、純粋にツールとしての動作・正確性だけを評価することが出来るのです。

統計的誤差の範囲を把握する

AAテストにおいて結果の優劣がつかないと申し上げましたが、実際まったく同じ数字になるかというとそういうわけではありません。

下記はあるサイトにおけるAAテストの結果です。

このように全く同じものを出しているにも関わらず、結果に5％の誤差が出ています。
このテスト結果を時系列にグラフで見てみると以下の様な結果になっています。

テスト開始直後こそ波があるものの、比較的安定的に結果に差が出てきているように見えます。しかし実際はまったく同じページを出しているだけなのです。

これがもしABテストだったら「バリエーションの方が結果が出た！」とぬか喜びしてしまう可能性もあります。

実は、この5%の誤差という結果こそ、AAテストで得るべき数字なのです。

この5%という誤差は、今後ABテストを続ける上で、「統計的誤差として発生する数字の基準値」となります。

なぜこのような基準値を持っておく必要があるのでしょうか？
ABテストを続けていると必ず

結果にそこまで明確な差がなく、テストによっての結果なのか誤差の範疇なのか判断がつかない

という状況が必ず訪れます。
このようなときAAテストの数字を統計的誤差の基準値として持った上で、基準値よりも上回っていればテストにおける結果が出ているという判断基準にすることができます。

AAテストはテスト結果を判断するためのボーダーラインとしても活用出来るのです。

またAAテストは基本全てのサイトで実施することをオススメしているのですが、理由としては商品・サービス内容、顧客属性などによって統計的誤差の数字にかなり開きが出るためです。特にリピートユーザが多いサイトなどは、AAテストでも10%以上の差が出たりするケースもありますので、テストを実施するサイト毎に実施するのが望ましいでしょう。

連携ツールとの誤差を把握する

Optimizelyはダッシュボード上でスピーディにABテストの結果を確認することが出来ますが、他のアクセス解析ツールと連携することでさらに強力な分析を実現出来ます。

代表的な連携ツールは以下のようなツールになります。

• Google アナリティクス
• Adobe Analytics
• Clicktale

このようなツールと連携することで、テスト結果をセグメント別に分析したり、ABテストの結果をヒートマップで分析し、行動の変化を読み取るといったことが可能になりますが、注意しなければいけないのが、アクセスのカウント方法やタイミングなどが各ツールによって異なるという点です。

また、タグマネージャーなどを使用している場合、各ツールのタグが発行されるタイミングによってテスト結果に影響を及ぼす可能性も否定できません。

このような誤差やエラーを事前に確認するために、AAテストの結果は連携させるツールでも確認することをオススメしています。

まとめ

ABテストはスピードが大事というのは言うまでもありませんが、信ぴょう性の乏しい数字でテストを続けることほど、危ないことはありません。高速にABテストを回すためにも事前の確認と環境整備をしっかりと行い、土台を整えた上でガンガンABテストを回していきましょう。