【株式会社ミュゼプラチナム】A/B テスト結果検証の質を上げる

この記事のタイトルとURLをコピーする

2018/12/13

美容脱毛サロン顧客満足度No.1（※）のミュゼプラチナム。

美容脱毛をはじめ、女性のライフスタイルに寄り添う事業を展開しています。

ウェブサイト上のボトルネックを発見し、改善作業を行っていくうえで、離脱理由の根拠やA/Bテスト結果の根拠が曖昧だったことに課題を感じておられていました。

そうした曖昧さを打開するべくClicktale（現：Contentsquare）を活用しはじめて以降、数値的にプラス効果が見られただけでなく、A/B テストなどの結果検証の質が上がったとのことでした。

今回は、最新のA/Bテストの成功実例も含めて、ざっくばらんにClicktale導入によるインパクトを語っていただきました。

※株式会社日本能率協会総合研究所調べ　2018年10月時点

目次

1.担当者さまご紹介
2.A/Bテスト結果検証の質を高めたいというニーズを満たすClicktale
3.2.4%CVRの改善
4.月に１回は変化するキャンペーン、時期とタイミングをみた広告連動
5.他事業部へとサイト改善の横展開を図るー今後について

1. 担当者さまご紹介

マーケティング部グロースハックチーム主任　川端伸幸さま

ー業務内容を教えてください。

主に、ミュゼプラチナムの Web サイトの運用と改善を担当しています。

ー業務上の目標（KGI・KPI）を教えてください。

CVR を現状の数値から2％UP させることです。

2. A/Bテスト結果検証の質を高めたいというニーズを満たすClicktale

Clicktale導入まで

ーどのように Clicktale を知りましたか？

A/Bテストの結果や根拠が曖昧だったことに課題を感じ、主に国内のヒートマップツールを探していました。そんな中、毎年行われる Adobe 社のイベントで配られたカタログでClicktaleの存在を知りました。

ー競合ツールがある中、なぜClicktaleを選びましたか？

ウェブサイトを通じて他社のヒートマップ可視化ツールなどとも比較していましたが、ClicktaleほどA/Bテストとの連携性が強いものが他になく、Clicktaleの導入を決めました。

ーClicktale をどのように使っていますか？

アクセス解析ツールを元にボトルネックとなっている部分を抽出した後に、実際にユーザーが体験していることをヒートマップとレコーディング機能を駆使して、「どうしてこのような状況になっているのか？」という仮説を立てる際に使用しています。また、検証結果を元に次の仮説検証へのアイディアを作り出す際にも Clicktaleを使用し、アクセスデータを活用した PDCA を早めることが可能となりました。週1ペースで、1サイト 3～5 本程度を目安に検証をおこない、ページ、UI の改修を続けています。

Clicktale導入後の変化

ー導入後の変化を教えてください。

数字的なプラス要素ももちろんありましたが、それ以上に A/Bテストなどの結果に対する評価の質が上がったと感じています。今までは、数値上で「良かった」「悪かった」を判断することは可能でしたが、例えば検証結果が良かった場合、「なぜ良い結果が出せたか？」という評価を Clicktale を使用することでテスト毎のユーザー体験を可視化する事ができるようになり、意図したかたちで検証パターンの Web サイトを利用してもらえたかどうかという点をとらえながら評価が可能となりました。

既に121回のテストを実施、社内評価もアップ

ーA/Bテスト案を打ち出すところから自身でやられているのですか？

そうですね。主に自分を含めた３人で、テスト案出し、コーディング、デザイン、比較パターン出し、レポート作成までを手掛けています。

ーウェブサイト改善を進めていくうえで、他のチームとはどのように協力しているのでしょうか？

自分たちのチームから提案を行って、「こういう風にやっていこうと思っているが、何か意見をもらえるか」といったような質問をすることが多いです。また「こういうことをやりたいのだけど、このテスト案で良いと思うか？」などと言った質問もします。

ーこれまでどれくらいのテストを行ってきたのでしょうか？

去年の３月末ぐらいから比較検証をはじめていて、現時点ですでに121回のテストを行っています。もちろん、小さなものから大きなものまでありますが。やはり定量的に結果を見せることができるので、社内でも我々が出すレポートを見て、A/Bテストの効果に対する認識が高まってきていると感じます。やっぱり皆さんに興味を持ってもらえるのは嬉しいですね。

3. 2.4%CVRの改善

ー最新の「入力内容確認画面」テストで、最終的に、サロンスタッフ画像を入れたAパターンが、オリジナルと比べて2.4%CVRの改善が出来たとお伺いしましたが、詳細を教えて頂けますか？

予約確認のフォームってわざわざ個人情報を記入しなきゃいけないじゃないですか。この記入が終わった時点で「戻る」ボタンを押している人は、自分の情報をわざわざここまで入れたのに、なぜ離脱するのだろうと純粋に疑問を持ちました。そこで、セッションレコーディングを見つつ分析を進めました。結果、確定ボタンのすぐ下に「戻る」ボタンがあり、選択肢が増えて戸惑いが生じてしまったのではないかという仮説がたてられました。

戻るボタンの位置を確定ボタンから離し、申し込みに集中してもらうようなテストを行いました。戻るボタンを上に持ってきたAパターンでは0.4%のCVR改善、Bパターンでは0.7%の改善が見られました。

その後のテストでは、さらに不安を払拭するために、サロンスタッフ画像と「カウンセリングは無料」という文言を付加するテストを行った結果、オリジナルと比べて2.4%CVRの改善となりました。

ー凄いですね。ちなみにセッションレコーディングを使った分析では、どれくらいの人が個人情報記入後に戻るボタンを押していたのでしょうか？

10件以上はそういった人が見られました。もちろんもっと見ていけば、もっと多くの人が当てはまるかもしれませんが。小さく、速い改善をモットーに直ぐ行動しました。

4. 月に１回は変化するキャンペーン、時期とタイミングをみた広告連動

ーキャンペーン等の訴求に関しても、毎度テストを行っているのでしょうか？

そうですね。やはりキャンペーンに関しては、ボトルネックがある可能性が高いので、できるところはすべてやろうと思っていますね。

キャンペーンは実は月一回変えています。このページでは中央側にクリックが寄っていて、特にキャンペーンの内容や金額の部分など、スワイプにしては真ん中すぎるような位置でのクリックが散見されたので、何のためのタップなのかという疑問を持ちました。その後、タップする事によってなんらかのレスポンスが得られるのではないか、と期待されているのではないかという仮説を立てました。例えば、画像が見られるんじゃないか、後ろにもうひとつページが隠れているんじゃないかと思われているのではないか、このキャンペーンの適用条件が知りたいのではないかという推測を立てました。

そこで、「0円」部分をタップした際に「キャンペーンの受付期間」と「キャンペーン対象者」についてポップアップを表示し比較をおこなってみました。クリックした際にポップアップを出したパターンでは、6日間でオリジナルと比べて0.4%CVR改善しました。

ただ、この後また違う内容でもう一度行ったテストは上手くいかなかったので、正直見えてこない所が多く、難易度が高いテストであるように感じます。結局、タップする理由は人それぞれで、すべてをくんであげるのは難しいと思います。いずれにせよ、安易にキャンペーン期間や内容をポップアップ表示するだけでは、駄目そうだと掴めました。

キャンペーンを回す時期によって顧客のインサイトも変わってくると思うので、時期とタイミングを見て広告連動していくことが大事です。やはり月末と月初ではかなりユーザーの動きが変わってきます。行こうって思うユーザーや、キャンペーンはまだやっているから大丈夫だと思うユーザーなど色々いますからね。ユーザーがアクセスするタイミングで、見せるものを変えていかなきゃなと思います。