福岡市に本社を置き、家具・インテリアの通信販売事業、および越境ECプラットフォームの運営等を行なっているベガコーポレーション様。

2023年9月に迫ったGoogleオプティマイズサポート終了のリリースを受けて、数ある代替ソリューションの中から、AB Tastyをご選定いただきました。

今回、中心となって選定に関わられた山本様、高田様にお話を伺いました。

ご担当者様の領域やミッションについて：

山本様、高田様は普段どのような業務に携わっていらっしゃるのですか？

山本様：
LOWYA旗艦店のWebページ開発におけるシステムグループ長をしております。施策検討や関連部署との調整をはじめ、開発業務の管理が主な活動となります。

高田様：
前職では国土交通省や自治体などの防災システム構築を担うフロントエンド・バックエンドのエンジニアだったのですが、さらなるキャリアアップのため2018年に入社しました。現在はシステムＧスクラムチームのプロダクトオーナーとしてLOWYA旗艦店システム開発のROIを最大化する活動を行なっています。

導入したサービスについて：

今回ご導入いただいたAB Tastyはどのような経緯で知ったのですか？

Googleのサポートページで後継ツールとして指定されていたため名前だけは知っていました。

選定を進めていく中で、社内的には別のツールを導入しようという話になり、ギャプライズさんへお問合せをしたのですが、ギャプライズさんから要件的にこちらの方がおすすめですとご提案をいただいて詳細を知ったという流れです。

それまで使っていたGoogleオプティマイズはいつ頃から使っていたのでしょうか？

2年ほど前からです。

ーーそうなんですね。ご提案の段階で相当レベルの高いご質問が多く、もっと長く活動されているのかと感じていました。経験者採用を進めていたりするのでしょうか？

我々のシステムグループではそこまで経験値のある人材というのはいないのですが、別部署に統計に詳しい分析チームがあります。そこにデータアナリストや機械学習エンジニアが所属しており、施策の効果検証やフレームワーク作成などを行なっており、連携しながら進めています。

2年間、施策は頻度高く回していたのでしょうか？

時期にもよりますが、並行してABテストが週3〜4本走る時もあり、Googleオプティマイズの多変量テスト機能を使いながら工夫していました。

どのような体制でABテストに臨まれているのでしょうか？

ABテスト専任のプロジェクトチームは作らず、ビジネスサイドと一部開発メンバー間で施策検討を行う中で、ABテストを実施する、しない、といった判断をあわせて行なっております。

また、事前に目的や指標、その後のアクションを明確にするためにABテストの設計書を作っているのですが、その際に分析チームや開発チームからもレビューを受けるようにしておりますので、参画人数はさらに多くなります。

ABテストツール導入のメリットについてどのように捉えていらっしゃいますか？

仮設段階で想定した結果や、もしかしたら数値で優位性は出ないと予想した施策も、実際にABテストを実施すると、予想と全く違う結果になったり、ダイレクトにお客様の行動を見ることによって新たな気づきを得られるなど、間違いなくプロダクトの価値を上げていけるツールだと感じています。そのため細かく継続的に改善を重ねていく必要があるウェブプロダクト・ウェブサービスには必須のツールかなと考えています。そのくらい我々の中では、日々の開発に欠かせない考え方であり、根付いているツールです。

これまでの取り組みについて：

過去に実施した取り組みで印象に残っているものはありますか？

直近で大きく効果があった施策は3つありまして、1つ目がウェブページ上で、3Dモデルを360°自由に動かせる機能を追加するABテストです。実施してみたところかなりの効果があり、CVR、カート追加率、商品ページの閲覧数と全面的に良い効果が確認できたため100%の展開をしました。

2つ目が意外な結果だったのですが、会員登録時の入力フォームで性別と生年月日を「必須にしてみる」「任意にしてみる」「そもそもなしにする」という3パターンのテストを行った際に必須が一番通過率が良かったです。

ーーそれは意外ですね。

はい。ABテスト実施してみなければ気づけなかったことだなと強く印象に残ってますね。

ーーちなみに性別を必須にしてテストしてみようと思ったキッカケってあったんでしょうか？

ご想像の通りだと思うのですが、ビジネスサイドにはできるだけ情報を取りたいという要求があり、我々としては、絶対にやめといた方がいいという意見がありました。それで白黒つけようということでABテストツールを利用しました。

3つ目に、分割払いシミュレーターを追加してみたというものがあります。例えば3回払いの場合は支払金額を3で割るという見せ方の変更だけなのですが、それでもかなり注文情報入力画面への遷移率・CVRが上がりました。

特別なバックエンドの機能は実装してないのですが、簡単な見せ方を変えるだけで、ガッツリ効果が出てくるというのはABテストツールがなければ、気づけなかったことだと思うので、そういったところでABテストツールを活用してきました。

導入前の社内の動きについて：

Googleオプティマイズ終了についてはどのように知ったのでしょうか？

Googleのリリースを見た人が社内Slackに展開したことで情報をキャッチアップしました。

リリースを知ってからの社内の反応と動きについて教えてください

当初は猶予期間があったので特に話題になっていなかったのですが、5月〜6月くらいから本格的に考え始めました。

Googleのリリースの中に「今後はABテスト機能にも投資して行きます」といった記載があったため、オプティマイズ終了までに新しいものが出てくるのかなと楽観的に静観していた部分も実はありますね。その後追加の情報発信もなくいよいよ怪しくなってきたぞと慌てて情報収集を始めたのが背景です。

選定のポイントについて：

ツールを選定する際に重要視したポイントを教えてください

まず一つ目が費用です。

二つ目はAPIが充実しているかです。具体的には弊社のABテストツールの使い方としては、API経由でABテストツールからパターンデータを受け取った後に、追加で自社のAPIサーバにリクエストを送ってそれを画面に表示するといったパターンが多く、そういった利用が可能か、利用できるAPIが充実しているかを重要視していました。

また、GA4連携も重視しており、GA4で扱ってるイベントがAB Tastyで連携できるかなどですね。

選定前にはポイントにしていなかったのですが、AB Tastyの機能で良いと思ったのは、排他ABテスト機能です。これまではユーザーの行動距離が近いABテストは相互に影響を及ぼし合うことになるため、そういった場合はなるべくABテストを複数走らせないようにするなど考慮する必要がありましたが、そういった心配が不要となるため、かなり便利だなと感じました。

予算やリソース、スキルセットなど、ツール選定に影響を与えた制約は何でしたか？

コスト面が一番ブレーキかかりましたね。

実はちょうどABテストツール選定の話題が出てきたタイミングで、そもそものABテストの進め方や是非について社内で話があがりました。

ABテストツールを導入した頃から組織変更やビジネスサイドのメンバーの入れ替えも起きており、改めてABテストツールの必要性について関係者間で共通認識を合わせるといったことも一つ課題としてクリアすべきポイントでした。

比較検討したサービス・ソリューションについて：

他に検討したテストツールは何でしたか？

6〜7社くらい他のツールの資料も調べては見たのですが、具体的なお話に進んだのはギャプライズさんの取り扱い3ツールだけでした。

導入の効果・期待について：

ツールが変わったことで体制や運用面での変化（期待含め）はありますか？

AB Tastyにはテストの混在を防ぐ機能があるので、並行して施策を走らせる際に楽になりますね。より高速に複数の仮説の検証ができることを期待しています。

今後実現していきたいこと：

AB Tastyの導入後、中長期的にどのようなチャレンジをしていきたいですか？

このツールを使い倒して、仮説検証サイクルの高速化を実現していきたいなと思ってます。あとはノーコードでテストが実施できる機能で、サイトの見た目やボタンの配色を変えるなど非エンジニアが持っているアイデアを検証する回数を増やしつつサービスの価値を高めていきたいなと思っています。

これから検討する人へのアドバイス：

これからABテストツールの導入を検討している方へメッセージをお願いします。

そうですね。まずは文化の醸成ですね。ABテストを実施するにはコストがかかってきますので、なぜやるのかをしっかりと自社の中で理論立てをして、やりきる文化を作っていくことがまず第一歩だと思います。

あとはツールに関しては、各社の要件に適したものを選んで、文化のところがゆるがなければ何を使っても大丈夫かと思うので、最終的には関係者間でのコミュニケーションが一番大事なのかなと感じます。

ご協力ありがとうございました！

聞き手：ギャプライズ大島・今本