皆さんこんにちは。ギャプライズ鎌田（@kamatec）です。
まずはこちらをご覧ください。

こちらは我々がお手伝いしている司法書士法人の過払い金調査ウェブサイトにおけるCVR推移です。
ABテストを中心としたサイト改善を継続的に実施した結果、1年間でCVRが9倍になりました。

これだけ見れば順風満帆のようにも見えますが、実はその裏で数多くの失敗をしてきました。
いやむしろ、失敗があったからこそここまで成長できたと言っても過言ではありません。

本日はあまり語られることのないABテストの失敗事例と、そこから如何にして成功に繋げたのかを、過払い金調査ウェブサイトの実例を交えてご紹介します。

それではいってみましょう。

大失敗ABテスト：CVRが半分に激減

対象となる過払い金調査ウェブサイトでは、無料診断フォームを設置しCVする流れを取っています。
その中で「借入時期」「借入金額」という診断項目を用意していたのですが、現場ではあまり使われていませんでした。

そこで「借入時期」「借入金額」の2項目を削除するというテストを実施しました。
具体的には以下のようなABテストです。

こちら結果としてCVRは半分に激減しました。

この時の失敗は、今振り返っても冷や汗が止まりません。
ここまで盛大に失敗しておきながら、寛大な心で受け入れ、感情論ではなく数字が下がったという事実に真摯に向き合ってくれたクライアントには本当に感謝の気持ちでいっぱいです。

さて、この失敗を経て出た仮説としては

• 「診断」と言っておきながらいきなりTELを聞いたので不審に思った
• 「診断」に値する項目がないので診断に対する期待感が薄れた

といったものでした。いずれにしても当時は「診断項目はあったほうがいい」という結論で終わりました。しかしこのテストが実は大きな成功の序曲だったのです。

固定概念を覆したABテスト：CVR1.04倍

前述のテスト結果を受け、「診断項目には触れない」という前提の元、改善を進めていきました。その中でこの固定概念を覆すきっかけとなるテストがありました。

この無料診断フォームですが、サービス特性上警戒している方も多く、「電話番号を入れずに診断ボタンだけ押す」というアクションが約20%発生していました。そこで考えた施策が「電話番号を入れずにボタンを押したユーザーにはポップアップで電話番号入力フォームを出す」という施策です。

具体的には以下のようなABテストです。

結果CVRは1.04倍になりました。

正直言ってこの結果自体は大きな変化とは言えません。
しかしこのテストによって大きな気付きを得ました。

「あれ？診断項目なくても入力してくれるの？」

この固定概念を覆す気付きが大きな成功に繋がる第一歩となったのです。

リベンジABテスト：CVR1.23倍

上記のテストを受けて、「診断項目には触れない」という定説を改めて疑ってみることにしました。

• 電話番号を入力してくれなかったのはそもそも不安を払拭する文章が足りなかったからで診断項目を削除したことだけが原因ではない？
• 競合などの外部環境も変わっている中で1年前と同じ結果が出るとは限らない？

仮説は実施してみなければ立証できません。そう、そんな時こそABテストです。
ただ前回と全く同じでは意味がありません。診断項目を消すだけではなく、電話番号を入力しやすくなるような一文を添えてリベンジテストを実施しました。

具体的には以下のようなABテストです。

結果CVR1.23倍という大きな成果を生み出すことができました。
実際にヒートマップを使ってユーザー行動を見てみると、ボタンタップまでの秒数も短縮され、迷いなくフォーム入力をしていることが伺えます。
（Time to Tapとはページに来てから当該要素をタップするまでにかかった平均時間でClicktaleの独自指標です。）

これで終わり。ではもったいない。成果の出た所は徹底的に追求することがABテストでは超重要です。
ここからさらに次のテストに発展させました。

限界を知るABテスト：1.09倍

中途半端に実施しても「実験」にはなりません。少し話がそれますが、我々の社内ではABテストを設計するときの合言葉として「それは実験になっているのか？」と問いただすようにしています。

実はここまではわかりやすさを重視して文中では「テスト」という言葉を使って来ましたが、我々の社内では「テスト」という言葉は使っておらず「実験」という言葉を使っています。

「実験」と「テスト」は似ているようで全く別物です。以下はGoogleの回答ですが

上記の通り「仮説」を確かめられないものは「実験」とは呼べません。ABテストと聞くとよく「ボタンの色を変える」と言ったような話しが出ますが、仮説なくただ色を変えるのであれば、それは「実験」ではなくただの「試験」です。

本実験に関しては、「項目を極限まで削った状態でユーザーは反応するのか？」を仮説検証するために、一旦ページ上からは入力項目をすべて削った上で、ポップアップにて電話番号を聞くテストを実施しました。

具体的には以下のようなテストです。

結果としてCVR1.09倍とプラスの結果になりました。

ここまで来ると完全に当初の「診断項目はあったほうがいい」という定説は覆りました。
ではここで終わりにするか？当然答えはNoです。

繰り返しになりますが、成果の出た所は徹底的に追求することがABテストでは超重要です。
ここからさらに次のテストに繋げました。

ストーリーのあるABテスト：CVR1.57倍

ここまでのテストでは、診断項目にフォーカスをしたABテストを実施してきました。
しかしABテストの積み重ねで形成されていたため、ユーザー目線で見たときに一貫性のあるスムーズな心理動線が引けてないのではと考えました。

そこで次のABテストでは、ボタンクリックからポップアップ、そして電話番号の入力までに一貫性をもたせるために以下のようなテストを実施しました。

具体的には以下のようなテストです。

• 無料診断ボタンの文言⇒よりクイックに診断が完了出来るイメージを持ってもらうため「無料診断スタート」に変更
• ポップアップ⇒診断結果までのフローを掲載し入力後のイメージを具現化

結果CVR1.57倍という最も大きな成果を出すことが出来ました。
実に最初の大失敗したABテストから1年後の結果でした。

最初の大失敗の際に「診断項目には触れない」というルールを作ってしまったがために、この結果に行き着くまでに非常に長い年月を費やしてしまいました。しかしながら改善自体を辞めてしまっていたらこの結果にすら行き着かなかったわけですからやはり継続することは改善活動を続ける上で最も重要な要素の1つといえるでしょう。

まとめ

勘違いしやすいのでお伝えしておきますが、ここで書いてあるABテストをそのまま実行してもほぼ確実に失敗します。ターゲットも違えば市場、強みも違うので「施策」を真似しただけでは結果に繋がりません。

それよりも今回の記事を通して伝えたかったことは、以下の3つです。

• 失敗でも成功でも数字の変化が大きい所を徹底的に攻める
• 「テスト」ではなく「実験」をする
• パーツ単位の改善だけではなく「ストーリー」を意識する

我々は最初の大失敗から最後の成果まで約1年かかってしまったわけですが、最初の失敗時に結論を出さずに、ユーザー心理を探求し続けていれば、もっと早く大きな成果を手に入れることが出来ました。数字が上がった下がったではなく、その変化の大きさに着目することで大きな成果をつかめる確率は格段に上がるでしょう。

さらにもう一つ重要なのがストーリー性です。ABテストというとどうしても「ボタンを変える」「メインビジュアルを変える」といった施策に目を向けがちです。
しかし本当に変えたいものはウェブサイトのパーツではなく「ユーザーの気持ち」です。

「どのように伝えたらユーザーの行動変容を起こせるのか？」を軸に考えることでABテストは点ではなく線になります。そのことを意識するだけでまた違ったテスト案が出てくるのではないでしょうか。

今回はABテストの失敗事例から如何に学ぶかをメインにお伝えしてきました。
下記の記事では、ABテストを軸にCVRを8.3倍にした事例も詳しく書かれていますのでこちらもぜひ参考にしてみてください。

【実録】36回のABテストでCV率8.3倍を実現するまでの全記録

本日の記事はギャプライズ鎌田（@kamatec）がお送りしました。

それではまた次回。