挑戦を続けるDMM GAMESが考えるABテストの重要性とAB Tastyの決め手

この記事のタイトルとURLをコピーする

2023/12/20

#ABテスト

誰もが見たくなる未来の実現に向け、日々際限なく挑戦を続けているDMMグループ。展開している60種類以上の事業のうちの一つ、3,400万人以上のゲームユーザーが集まる国内最大級のPCゲームプラットフォーム『DMM GAMES』。

2023年9月30日のGoogle Optimizeサービス終了に先立ち、無数にある代替ソリューションの中からAB Tastyをご導入いただきました。

今回、AB Tastyのご選定に携わられた藤井亮太様と津名浩介様に、これまでのABテスト施策へのお取組みとAB Tastyご選定理由、今後の展望についてお話を伺いました。

はじめに

お二人のご業務・ミッションについてお聞かせいただけますか？

藤井様「私はデータ基盤開発部という部に所属しています。合同会社DMM.comとオンラインゲーム事業を管掌する合同会社EXNOAが横断的に使用するデータ基盤の開発管理を担当しており、その一環としてGoogle AnalyticsやGoogle Tag Managerの管理を行っています。」

津名様「プロダクト本部のプロダクトグロース部で部長を務めております。プロダクトグロース部のミッションは、グロースという名の通り、『DMM GAMES』のプラットフォームの成長と進化です。プラットフォーム上の顧客体験価値を良くしていき、ユーザーにとって遊びやすい場を提供することを目指しています。」

DMM GAMESでは他社様のゲームもプレイできますが、オンラインゲーム業界でどのような立ち位置を目指しているのでしょうか？

津名様「DMM GAMESはオンラインゲームを取り揃えてユーザーに選んで遊んでいただくプラットフォームサービスです。自社開発のゲームも、他社開発のゲームも幅広く取り揃えています。」

ゲームをプレイする動機として、魅力的なキャラクターやキャンペーン、配信者による紹介などが一般的に挙げられる中、ABテストやUI/UXが「ゲームをプレイする」ことにどのような影響を与えていると考えていますか？

津名様「確かに、ゲームをプレイする直接的なきっかけになるのは、ゲームのジャンル、キャラクターやIP、グラフィックや世界観、配信者の紹介や口コミ、SNSなどが大きいでしょう。ただ、私たちのサービスはプラットフォームです。例えば、目的のゲームをいかに探しやすくするかであったり、『面白いゲームないかな』と何となく探されているときに、そのユーザーにとって遊びたくなるようなゲームをどのように提供するかということが重要だと考えています。そのためには的確で最適なUI/UXを提供する必要があり、ABテストがECサイトなどと同様に必要だと考えています。」

ABテストツールに限らず、マーケティングツールは事業ごとに導入されているのでしょうか？

藤井様「基本的にはGoogle AnalyticsやGoogle Tag Managerは全社で導入していますが、実際に使用しているツールは事業により異なります。今回は、ABテストを行っている事業部に使用状況などを確認して、全社的にニーズがあることがわかったので一括管理する形で導入することとしました。」

藤井亮太様

DMM GAMESにおけるABテストのお取組みについて

ABテストについては、主にどのような目的で実施していますか？

津名様「プラットフォームの改善や、成果に繋がる勝ちパターンを見つけるためです。」

ーーーーーーーーABテストする上でウォッチしている事業指標はありますか？

津名様「ユーザーが目的のゲームにすぐにたどり着けるかどうか、ゲームを起動してどれだけプレイしていただいているか、という意味ではCVRを参考にしています。また、トップページからゲーム紹介ページへ遷移するCTRもウォッチしています。」

どのくらいの頻度でABテストを実施していますか？

津名様「ゲーム事業だと、今年は週1くらいのペースでABテストしています。」

藤井様「全社的な観点では、私が管轄している検索エンジンやレコメンドエンジンのアルゴリズムなどのABテストを、開発の兼ね合いから少なくとも2か月に1回はテストしています。」

事業部間でユースケースの共有やテスト施策の横展開は行っていますか？

藤井様「検索エンジンやレコメンドエンジンについては、うまくいったテスト施策を横展開することは多いです。」

津名様「マーケティングという観点では、全社的な取り組みで他事業部と連携することは多いのですが、知見の共有が密にできているかというとまだまだこれからだと思います。今後はツールを通して知見の共有なども容易になるだろうと考えています。」

ABテストツール導入のメリットはどのようにお考えですか？

津名様「結果が数字で表れるので、客観的に判断ができることと、結果を簡単に理解できることだと思います。また、低コスト低リソースで実施できるので『まずはやってみよう』という精神でできることは大きいですね。」

津名浩介様

検討時のポイント

AB Tastyについてはどのような経緯でお知りになりましたか？

藤井様「パートナーさんからOptimizelyやVWO（ギャプライズが扱っているABテストツール）と合わせてご紹介いただき、その中で検討を進めました。」

ーーーーーーーー他社様のツールはご検討しなかったのでしょうか？

藤井様「国産ツールも検討しました。ABテストを行っている部署にヒアリングをする中で、最低限必要な機能をリストアップし、候補となったツールそれぞれ機能要件を満たしているかを調べました。」

ーーーーーーーー機能要件とはどのようなものでしょうか？

藤井様「どの事業からも特定のパラメータでテストをコントロールしたいという声が寄せられました。また、特定のユーザー行動におけるパーソナライズを行いたかったので、データレイヤーの値を使用できるという点で、AB Tastyは私たちのニーズにマッチしていました。」

津名様「その他の機能要件として、ノーコードでできるということも重視していました。エンジニアリソースを使わずに検証できるのは重要なメリットなので。」

ーーーーーーーーGoogleの発表文には、GA4にテスト機能が付く旨の内容もありましたが、テスト機能が実装されるのを待つという選択肢はありましたか？

藤井様「『Google Optimizeが終わったら困る』という声が社内から多く上がったので、待たずに代替ツールを検討することに決めました。」

候補の中からAB Tastyを選んだ決め手は何でしたか？

藤井様「機能要件が満たせるということと、アクセス数がかなり多いサイトなので、コストパフォーマンスに優れている点も評価しました。」

今後の期待と展望

ツールが変わることで運用面や体制面に変化はありますか？

藤井様「Google Optimizeの時は、各事業部にアカウントを付与した後、それぞれの事業部に運用を任せていましたが、AB Tastyは一括管理ということもあり、運用フローを固めたり、運用ドキュメントの整備を行っています。各事業部から寄せられる質問にスムーズに回答できるよう、認定資格の取得にもチャレンジしたいと考えています。

また、元々は事業部ごとにABテスト機能を持ったツールを独自に導入し使用していました。そのため、ツールの散乱もそうですが、どの結果が正しいのか、ビジネスインパクトはどのくらいあるのか等が分からず、ある種カオスな状態でした。これからはツールを統一し、テスト同士を横並びで比較できるようになると考えています。」

津名様「これまでは事業単位で独自に取り組んでいましたが、今後はツールやフローが統一化されるので、横展開や連携、事業部間で知見の共有が一層活発になると思います。」

AB Tastyやギャプライズに期待していることはありますか？

藤井様「今後より多くの事業で一層ABテストが活発になってほしいと思っていますので、事例の共有など、啓蒙という点でもご協力いただければと思います。」

ーーーーーーーーAB Tastyについてはいかがでしょうか？

藤井様「cookieを使いすぎると社内全体のリミットに引っかかってしまうので、ローカルストレージなどで全体のリクエストのサイズを抑えながらABテストを進めていくのですが、そのケースでもクロスドメイントラッキングが実現することを期待しています。」

最後に、ABテストツール導入を検討している皆様へアドバイスお願いします。

藤井様「無料でできていたことが有償になるという点で、ハードルになると思いますし、私たちもその社内調整に時間がかかりました。データドリブンでPDCAを適切に回すときに、ガバナンスが効いた状態で物事を進めないと説得材料に繋がりにくいですし、今後の価値を出すためにも重要だと思います。」

津名様「戦略や施策の方針に迷ったとき、明確に現場の中で答えを出してくれるのがABテストだと思っています。客観的な数字に基づく結果やレポートは、例えば社内で承認を得る際の大きな材料や施策の推進力になります。小さいコスト・範囲でも始められるので、迷っているのであればまず導入して試してみることが重要なのかなと思います。」