今回は、クリックテールのサイトで行った3つのA/Bテスト結果とそこから導き出された仮説をご紹介します。

①選択肢４つ VS 選択肢２つ！どちらが最適？

この料金表はサイト制作時、もっとも初期の形です。当時のプランを、金額も含めすべて公開しておりました。（*現状の価格ではございません。）

※画像をクリックすると拡大します。

クリックテールで解析したところ、この時の課題は「料金や各プランの概要テキストは真っ赤になるほど読まれるけど、ボタンがクリックされない」という現象でした。

そこで仮説としては、

1：全プラン、すべての情報を見せても、WEB上の情報だけでは選択できない

2：金額を見ることで興味が満たされ、無料版すら試そうとしなくなる

と考え、ここから実施した新しいパターンがこちらです。

その後、以前の選択肢4つのパターンと、選択肢2つのパターンをの二つでテストを実施しました。

すると、結果は

・ベースとなるセッション数394

・オリジナルCVR0%　に対し　新パターン6.9%

*0%というのは少し気になりますが…CVRを上昇させることに成功しました。では当初の課題だった「ボタンがクリックされない」問題は解決されたのでしょうか？

・オリジナルページ19クリック/482PVに対し、新パターン107回/500PV

という結果になりました。つまり、弊社のサイトの場合ではありますが、すべての情報を見せるよりも、抜粋して少ない選択肢で見せたほうがボタンをクリックに導く際に、効果的な可能性が高いことがわかりました。

では次に行ったテストを紹介してきます。

②無料版を訴求するか、有料版を訴求するか。

前述のテストの結果、サイトでのCV数は飛躍的に増加することができました。ただ、さらにクリックテールで分析すると、2つの選択肢の右側、有料版の問い合わせをクリックしているユーザーが非常に多いことがわかり、それは無料版のボタンの押しているユーザーの2倍以上でした。(下記画像)

ただしCVしたユーザーのみのフィルタをかけてヒートマップを生成すると、このCVしたユーザーはほぼすべて無料版のボタンを押していることがわかりました。

今回の仮説は、「2つの選択肢にしたのは良いが、無料版のコンテンツを目立たせるデザインに変更した方が効果的なのではないか?」です。

そのため、下記テストを実施しました。内容はシンプルに、CVするユーザーが見ていた無料版に関するコンテンツをより目立たせる、というだけです。

オリジナルバージョンは1回目のテストの勝った新パターンです。結果は…

・*ベースとなるセッション：679

・*サイトリニューアルとテスト期間がかぶってしまい、、27日間でテストを手動でストップしたためオリジナルを上回る可能性が71.6%になっています。

やはり無料版を目立たせたほうがCVRがよくなることがわかりました。

③コンテンツを削除が、ユーザーの迷いをなくす！

ここで少し強引に次のテストを行ってみました。ちなみのこの仮説はデータから出したものではなく、メンバーでこのテスト結果を離しているときに出てきたアイデアです。

仮説は「有料版のコンテンツをページ内から削除してしまえば、そもそも迷わなくなりよりCVするのではないか?」です。

そこで作成したのがこのページです。

プランと料金というページでこのコンテンツはちょっと強引ではありますが、まずは無料トライアルで試してみてください!というメッセージになっています。で、この結果どうなったかというと、

選択肢が1つしかないとコンバージョン率が激減！

ヒートマップで見てみるとさらに結果は明らかで、まず大きく変化したのは、ボタンへのクリック数です。ボタンが2つあるオリジナルパターンではメインのCTAボタンは93クリック、これに対し無料版1つしかない新パターンでのクリック数は34と約3分の1に減少しました。また、選択肢が1つしかない時に発生する顕著な減少として、ヘッダーやフッターエリアでのマウスの動きが非常に活発になり、フッターリンクをクリックしたユーザーも増加しました。(フッターのプランと料金で6倍、会社概要は2倍)

このことから考えられる仮説は「選択肢は少ないほうがいいが、選択肢が1つしかないと逆に選択しづらくなる」ということだと思います。(またこれは個人的な意見ではありますが、やはり今回のようなプランと料金というページ内で、無料プランしか見せないというのは、印象としても悪いのかなと思います。)

あまり行き過ぎた見せ方はやるべきではないですが、選択してほしい方を選んでもらうためにもう一つ選択肢を用意する方法が効果的である可能性が高いということは言えるのではないかと思います。

このテストは地味に非常に長い期間をかけて行われたものです。最近A/Bテストに取り組む企業が増えているように感じますが、A/Bテストで出た結果を受けてCにつなげる、というのが非常に重要だと考えています。このあとまた別のテストを料金ページで行っておりますので、それも結果が出次第ここで公開予定です。

まとめ

最後までお読みいただきありがとうございます。データの母数や仮説立てなどところどころにベンチャー的な強引さが垣間見えていますが、ご容赦くださいませ。当たり前のことかもしれませんが、ABテストの実施数を増やせば増やすほどサイトの分析は過去のデータを見るという指向性から施策を生み出す未来指向に代わっていき、使い方や効果も大きく異なってくるのかなと思っています。

長くなりましたが、もしまだあまりABテストをやられていない方は、参考にしていただければと存じ上げます。