『新たな価値を生みだす世界的なマーケットプレイスを創る』という企業ミッションを掲げ、メルカリ、メルペイ、メルカード、メルコインなどのサービスを展開するメルカリ様。

ヘルプセンター内の「メルカリガイド」にて活用していたGoogle Optimizeサポート終了のリリースを受け、数ある代替ソリューションの中からVWOをご選定いただきました。

今回、カスタマーサービス システム管理部門のマネージャーである平野様、「メルカリガイド」やお問合せフォームをご担当されているプロジェクトマネージャーの吉岡様にお話を伺いました。

はじめに

私は普段からよくメルカリを利用していますが、いちユーザーとしてサポートがユーザー目線で使いやすいと感じる機会が多いです。何か意識されていることはあるのでしょうか？

ありがとうございます。

理想としているのは問い合わせなく解決する世界を作ることではありますが、中にはお問合せしないと解決しないようなお困りごともあります。そのような場合に、適切なQ&Aや解決方法をご提示してお客様が迅速にお困りごとを解決できるよう、プロダクト開発とカスタマーサービスという2つの観点から注力しています。

VOC（Voice of Customer）の取り組みも活発に実施しています。具体的には、お客様からの機能要望やユーザー間トラブルの内容などについて、日頃からプロダクトチームにフィードバックしています。さらに、新しいサービスや新機能がリリースされる際は、カスタマーサービス担当もプロジェクトに参加し、実際に寄せられるお問合せをもとに改善の必要性がある部分をプロダクトチームに共有しています。

ご導入の経緯

カスタマーサポートチームがABテストツールをご利用になるケースはまだまだ多くありません。元々はどのような経緯でGoogle Optimizeの利用をはじめたのでしょうか？

「メルカリガイド」にはお困りごとを解決するためのお客様向けの記事がありますが、記事が良かったのかを定量的・統計的に判断したいと考えました。自分たちで全て判断できるようになるには相当な統計的な知見が必要になり、やや現実性が欠けてしまいます。その統計的な判断を期待してABテストツールの導入を決めました。

どのようなABテストを行っているのでしょうか？

「メルカリガイド」などのサポートページ内で、文字数の最適化や表現のテストをしています。各記事に設置されている『役に立った』ボタンのクリック数や、お客様のお困りごと解決にどの程度貢献できているかをKPIとして検証しています。

Google Optimizeサポート終了の発表を受け、社内ではどのような反応がありましたか？

テストツールの利用を継続するのか、ツールに頼らず内製で変更を加えていくのか含めて検討しました。その結果ABテストツールが必要だという結論になり、5月ごろから情報収集を始めました。

ABテストツール導入のメリットはどのようにお考えでしょうか？

統計的な知見や、HTMLやCSSといったプログラミング言語に精通していなくとも、手軽に文章や画像を変更でき、かつその変更の良し悪しを統計的に理解し判断できるようになることがメリットだと考えています。「メルカリガイド」の編集チームは、オペレーションマニュアルのような文書作成は得意としているものの、プロダクト開発や統計的な知見が必ずしも豊富であるとは限りません。そのような方でも、開発チームの手をできるだけ借りずにテストが実行でき、その変更の結果を判断できるようになったことで改善サイクルをよりスピーディーに回せるようになりました。

Google Optimizeは無料版を使っていたこともあり、正直なところ予算の制約もありました。ですが、ツールのメリットを考慮すると「ABテストツールの利用を辞める」という選択肢は考えられませんでした。

検討時のポイント

ご検討時に重要視していたポイントは何でしたか？

GA4での分析が必須となるため、GA4と連携できるかを重要視していました。それに加え、テストページを読み込むことで生じる画面のちらつきを最小限に抑えられることも重要な要素でした。

VWO以外にご検討したソリューションはありますか？

VWO自体は利用経験があるため機能や使用感については理解していましたが、最初からVWOの導入を検討していたわけではなく、「メルカリ」にとって最適なツールを探していました。情報収集を進める中でギャプライズさんが提供しているABテストツールの種類の豊富さに注目し、より適切なご提案をいただける可能性を感じて問合せしました。ご紹介いただいた中からOptimizelyとVWOを検討しました。

他社さんのツールは検討しなかったのでしょうか？

情報収集は行ったものの、候補からは外すことにしました。過去（吉岡様の前職時代）のABテストツールの利用経験から、どんなサイトであってもスタンダードに利用ができること、十分なサポートを提供いただけることを考慮した場合、利用社数の多いツールが最適であると判断しました。

VWOの決め手は何でしたか？

両ツールともにUU数ベースで利用料が決まりますが、VWOはテストしたいページのUU数を基準に利用料が設定されている点が導入の決め手となりました。「メルカリ」のサービスページとサポートページではUU数に大きな差があり、加えてキャンペーン期間はサービスページのアクセスがさらに増加するため、テスト対象ページ以外のUU数も利用料の対象に含まれるOptimizelyではUU数のコントロールが難しいと考えました。

今後の期待と展望

今後チャレンジしていきたいことはありますか？

ABテストツールで定量的に数字を出して統計的に変更の良し悪しを判断することはできますが、なぜ良くなったのか（悪くなったのか）の分析は難しいため、定性データを取得・分析していきたいです。

VWOおよびギャプライズに期待していることはありますか？

最も明確なCVポイントは『役に立った』ボタンですが、ページの最下部までスクロールしないと表示されません。そのため、記事全文を読まなくても問題解決できたお客様は、ボタンに気づかず離脱してしまう可能性が高いです。どのような指標がABテストの判断基準に適切なのか、他社さんの成功事例があればぜひご共有いただきたいです。

また、テストのやり方は現状ゼロベース、手探りでやっています。ライターそれぞれでテストを回しているため、例えばテスト期間やテスト本数も同じではなくバラバラです。ABテストを効率的に回すやり方についてもアドバイスいただきたいです。

VWOに期待していることは、ちらつきを最小限に抑えることですね。

最後に、ABテストツール導入を検討している皆様へアドバイスをお願いします。

「何がしたいのか」を定めることをお勧めします。ABテストツールは種類が無数にあるため、どのツールにどういう機能があるのか等、一つひとつ調査していては大変な労力を要します。最初の段階で予算や「これをここまで実施したい」とツールベンダーさんにお伝えするのが重要だと思います。

ご協力ありがとうございました！

聞き手：ギャプライズ大島・今本・舟木