「データに基づいた施策の効果を検証する」
――この一見シンプルに思える作業の奥深さと実践的な手法を学ぶ「UXカイゼン道場」Day2が、2025年4月18日（金）に開催されました。2月28日に行われたDay1から約1ヶ月半、その間にＳＯＭＰＯダイレクト様にて実際に実装されたABテストの結果を分析し、仮説検証の真髄に迫る濃密な一日となりました。
会場となった新宿の損保ジャパン本社ビルには、Day1に参加した26名の企業Web担当者様が再集結。「実務に活かせる」と全員が回答したDay1での学びを経て、さらに実践的なフェーズへと進む期待に満ちた表情が印象的でした。
道場主鎌田の開会の言葉「Day1で立てた仮説の真価を問う時がきました」を合図に、参加者たちはDay1で提案され実際に実装された3つのABテスト施策の結果と向き合うことになります。データを「読む」だけでなく、そこから「学ぶ」ためのプロセスと思考法が今回の主要テーマです。
ＳＯＭＰＯダイレクト様のリアルなWebサイトデータと、GAPRISEが持つABテスト実施・分析の知見が融合したこの日の学びは、机上の空論では得られない実践的価値を参加者にもたらしました。「施策自体の良し悪しではなく、仮説が正しく検証できたかどうかが本質である」という基本的な考え方から、細かなデータセグメントの分析手法まで、参加者は真剣な眼差しでノートを取る姿が見られました。
Day1で「何を変えるべきか」という課題に対する答えを見つけた参加者たちは、Day2ではその「なぜ」と「どのように」に焦点を当て、Web改善の本質的な理解へと一歩踏み込んでいきました。
目次
ABテスト検証プロセスの基礎
Day2の前半は、道場主鎌田によるABテスト検証プロセスの基礎講義から始まりました。最初に映し出されたスライドには、大きな文字で「何を検証するのか≠良し悪し」という言葉が記されています。
「ABテストというと、どの施策が効果があったか、つまり『良し悪し』を判断するものだと考えがちですが、本質はそこではありません」と鎌田は強調します。「何を検証するのか」つまり「仮説」が重要であり、その仮説が正しく検証できたかどうかが、ABテストの真の目的です。
この考え方は、多くの参加者にとって新鮮に響いたようです。ある参加者からは「これまで効果があったかどうかだけを見ていた」という声も聞かれました。
講義では、ABテスト検証における2つの重要なポイントが解説されました。一つ目は「検証方法の評価」です。そもそも今回の検証が、立てた仮説を正しく評価できるものだったのかを問う視点です。例えば、ページ下部にテストを実装した場合、該当箇所までスクロールしたユーザーのみが対象となるため、母数を正しく設定する必要があります。
二つ目は「仮説の評価」です。「仮説通りだったか？」「仮説と何が違ったのか？」「仮説となぜ違ったのか？」という3段階で検証を進めることの重要性が説明されました。
「検証に失敗はありません。仮説が否定されたことも大きな学びです」という言葉に、参加者からは頷く姿が見られました。Day1で立てた仮説が否定された場合でも、それがなぜなのかを探ることが次の施策へのヒントになるという考え方は、多くの参加者の心に響いたようです。
講義の中で特に注目を集めたのは、「結果のフィルタリング」の重要性についての解説でした。ABテストのツールでも、Contentsquareのようなユーザー行動分析ツールでも、データをセグメントして見ることで初めて見えてくる真実があります。全体では効果がなかったように見えても、特定のセグメント（例：リピートユーザー、特定のデバイスユーザーなど）では効果があったというケースは少なくありません。
ABTastyによるフィルタリング
Contentsqareによるフィルタリング（セグメント）
このセグメント分析の考え方は、この後のワークショップでも中心的なテーマとなりました。
KPI設定の重要性
ABテスト検証プロセスの基礎講義に続き、セッションは「KPI設定の重要性」へと移りました。「評価をするには指標を決める」というシンプルながらも本質的なメッセージから始まったこのセクションでは、テストの指標を3つの視点で整理する方法が紹介されました。
まず、「メイン指標」は「テストによって最も直接的に影響される行動」と定義されます。次に「サブ指標」は「メイン指標の改善によって影響を受ける重要なビジネスまたは経験指標」、そして「カウンター指標」は「メイン指標の改善によってネガティブな反応を示す可能性のある行動」です。
具体例として示されたのは、ECサイトの商品詳細ページで「カートボタンの文言」を変更した場合のKPI設定です。メイン指標としては「カートボタンクリック率」を設定し、サブ指標には「購入完了率」「平均購入単価」「カートページ到達率」「チェックアウトページ到達率」などが挙げられました。
「特に見落としがちなのが『カウンター指標』です」と鎌田は強調します。例として、「初回購入時に新規会員登録プロセスを削除した場合、新規購入率は上がるが会員登録率は下がる」というケースや、「既存ユーザーへのクーポン表示で購入率は上がるが、購入単価は下がる」といった例が紹介されました。
「反動が出るくらい大きく実験するほうがいい実験ともいえる」という言葉に、参加者からは驚きの声も上がりました。一般的にネガティブな影響は避けたいと考えがちですが、積極的にトレードオフを検証することの価値が説明されました。
さらに、「点ではなく線ですべて取得する」という考え方も紹介されました。例えば商品詳細ページでテストを行う場合、コンバージョンまでに発生するユーザーのページ遷移とアクションをすべて取得することの重要性が強調されました。具体的には、「商品詳細ページ到達」「カートボタンクリック」「カートページへの遷移」「クーポンクリック」「会員登録」「チェックアウト」「完了」といった一連のフローを追跡することで、どの段階で効果が出ているのか、または阻害されているのかを把握できます。
「細かく見ることによる損はない」という言葉に、参加者たちは熱心にメモを取っていました。実際、ある参加者からは「いつも大まかな数字だけ見ていたけれど、細かいステップごとの数字を見ることで初めて気づくことがありそう」というコメントがありました。
このセッションを通じて、参加者たちはABテストの設計段階から結果分析まで一貫して考慮すべきKPI設定の重要性を学びました。特に、「メイン指標」「サブ指標」「カウンター指標」という3つの視点でKPIを整理することで、テスト結果をより深く、多角的に分析できることを実感した様子でした。
Day1で実施したABテストの結果分析
基礎知識のセッションに続き、いよいよDay1で提案され実際に実装された4つのABテスト施策の結果分析に移りました。ＳＯＭＰＯダイレクト様のサイトで約1ヶ月半にわたって実施されたテストの生データが、参加者たちの目の前に展開されます。
「まずは初期検証から始めましょう」という鎌田の言葉に従い、参加者たちはCVR（コンバージョン率）、注文単価、クリック率、回遊率といった主要KPIの変化を確認していきました。興味深いことに、全体で見ると「大きな変化はなし」という結果が示されました。会場からは少しがっかりとした雰囲気も漂いましたが、ここからが本当の分析の始まりです。
「初期検証でKPIに変化がないように見えても、セグメント検証で違った結果が見えてくることがあります」という説明に続き、データはさらに掘り下げられました。デバイス別、流入別、新規・リピートユーザー別など、様々な切り口でデータをセグメントする手法が実践されました。
特に印象的だったのは、あるテスト施策において「リピートユーザーに限定すると回遊率とCVRが上昇していた」という発見でした。全体では効果が薄かったものの、特定のセグメントでは明確な効果が確認されたのです。参加者たちはこの発見に目を輝かせ、自社でのテスト分析においても同様のアプローチを取りたいと口々に述べていました。
さらに分析は「ユーザー行動検証」へと進みました。ここでは、KPI以外へのページ遷移（ジャーニー）やスクロール・滞在時間といった細かな行動データも確認されました。「リピートユーザーにおいてサイト内検索の利用率も上昇していた」という思いがけない発見は、参加者に「思いもよらない相関関係が見つかる可能性がある」という気づきを与えました。
グループワークでは、各チームがDay1で自分たちが提案した施策の結果を深掘りし、当初の仮説との差異を検証していきました。ある参加者は「仮説通りの結果ではなかったけれど、それを否定的に捉えるのではなく、なぜ違ったのかを考えることで次につながる洞察が得られた」と振り返りました。
各グループの発表では、初期検証結果、セグメント検証結果、ユーザー行動検証結果を順に整理し、最後に「検証まとめ」として仮説の評価と今後のネクストアクションを提示するという流れで行われました。例として、「特にリピートユーザーにおいておすすめを強調することは回遊・購入を促すことになった。またおすすめ商品を強調することで結果的に派生する商品を検索するきっかけにもなったと考えられる」といった考察が共有されました。
「必ずネクストアクションまで出し切ることが重要です」という鎌田の言葉に、参加者たちは真剣に頷いていました。分析して終わりではなく、次のアクションにつなげる一連のプロセスこそが、実践的なWeb改善の核心だという学びが、この時間を通じて共有されました。
参加者の気づきと学び
ワークショップを通じて、参加者たちからは多くの気づきと学びの声が聞かれました。特に印象的だったのは、「データの見方が180度変わった」という感想です。
「これまでABテストの結果を見る時は、単純に『効果があった・なかった』という二択で判断していました。しかし今回、セグメント別に分析することで、特定のユーザー層には効果があったことが分かり、次の施策へのヒントが得られました」と、あるメーカーのWeb担当者は語りました。
また、「カウンター指標」の考え方に目を開かされたという声も目立ちました。「ポジティブな効果だけを追いかけがちでしたが、トレードオフの関係にある指標も同時に見ることで、より総合的な判断ができると気づきました」と、EC企業のマーケティング担当者は振り返ります。
グループワークを通じて生まれた洞察も豊富でした。あるグループは「同じデータを見ても、視点が異なると全く違う解釈が生まれる」という発見を共有。「複数の目で見ることの重要性を実感した」と話していました。
他のグループからは「検証の粒度を細かくすることで、思わぬ相関関係が見えてきた」という報告がありました。例えば、ある施策でページ内のスクロール率とCVRの間に関連性が見られたことから、「ユーザーの関心度がスクロール深度に表れている可能性」を指摘していました。
参加者同士の交流から生まれた気づきも貴重なものでした。「自分とは全く異なる業界の方の視点が新鮮で、思考の幅が広がった」という声や、「普段一人で悩んでいる課題が、実は業界を超えて共通していることが分かって安心した」というコメントもありました。
さらに、検証プロセスを体系的に学んだことで、「これまでなんとなく行っていたABテストに、明確な手順と目的意識が持てるようになった」という声も聞かれました。「次の月曜日から早速、自社でも実践したい」と意気込む参加者の姿が印象的でした。
また、「失敗から学ぶ」という姿勢の重要性にも多くの参加者が共感していました。「仮説が外れても、それを次につなげる視点が持てるようになった」という声は、この道場の大きな学びを象徴しているといえるでしょう。
セッションの終盤には、参加者同士でのネットワーキングも活発に行われ、会社や業界を超えたWeb改善の仲間としての絆が育まれていました。「孤独な戦いになりがちなWeb担当者にとって、同じ悩みを共有できる仲間ができたことは大きな収穫」という声が、この場の価値をよく表していました。
次のアクションプランの策定
Day2後半では、ABテスト結果の分析に基づき、次期アクションプラン策定のための実践的なグループワークが鎌田氏の「分析で終わらず、必ず次の一手を」という言葉で開始され、Web改善サイクルの締めくくりとなりました。
各グループは分析結果を「検証まとめ」として作成し、「初期検証結果」「セグメント検証結果」「ユーザー行動検証結果」に加え、仮説評価と明確な「ネクストアクション」を記載しました。参加者からは、従来の「効果なし」で終わるABテストレポートから、「特定セグメントで効果あり」「次のテストで改善」まで踏み込むという決意表明がありました。
グループワークでは、全体では効果がなかった施策をリピートユーザーへの効果を基に新規ユーザーへ広げる改善案や、特定の流入経路ユーザーに特化した施策など、セグメント分析を活かした具体的な次の一手が提案されました。
特筆すべきは、多くのグループが「より大胆な変更を試みたい」という意向を示したことであり、「カウンター指標も考慮し、反動が出るほどの大きな変更に挑戦する勇気が持てた」という声は参加者の共感を呼びました。
各グループの発表では、アクションプランに加え、自社での実践に向けた決意表明も行われ、「社内分析会議の進め方を変える」「セグメント分析の重要性を上司に説明し予算獲得を目指す」といった具体的な行動計画が共有されました。
講師のＳＯＭＰＯダイレクト山本様からは、提案されたアクションプランが自社でも検討したいほど参考になるというコメントがあり、道場で生まれたアイデアが実際のビジネス改善に繋がる可能性が示唆されました。
ワークショップ全体を通して、参加者はデータ分析から具体的なアクションへの一連のプロセスを体験し、「分析のための分析」ではなく「改善のための分析」という目的意識の重要性を強く認識しました。「次の月曜日から早速実践する」という力強い言葉と共に、参加者は新たなアクションプランを携え、2日間の濃密な学びの場は、大きな拍手とともに締めくくられました。
道場主と講師からのコメント
2日間にわたるワークショップの締めくくりとして、道場主の鎌田と、ＳＯＭＰＯダイレクト様からの講師より総括のコメントがありました。
道場主：ギャプライズ鎌田
開催前は正直なところ不安もありましたが、結果として本企画は大成功で幕を閉じることができました。これは、ひとえに最高のコンテンツをご提供くださったＳＯＭＰＯダイレクト様と、ご参加いただいた皆様の多大なご協力の賜物です。今回得られた価値を一度きりで終わらせるのは非常に惜しいため、第二回、第三回と継続開催し、さらに多くの道場生を迎え入れていければと考えております。
ＳＯＭＰＯダイレクト：山本様
ＳＯＭＰＯダイレクトは、「デジタルで保険を体験することが当たり前の世界を作り、お客さまの豊かな人生の実現をサポートし続ける存在」をミッションに掲げ、Webサイト改善に取り組んでいますが、日々データに基づいた意思決定とそのPDCAサイクルの構築こそが、更なるUX進化の鍵だと実感しています。
ギャプライズ様と共に立ち上げた「UXカイゼン道場」というこの初の試みは、Web改善の実践的スキルを磨くための特別な場にすることができました。Day2のワークショップでは、参加者一人ひとりがデータと真剣に向き合い、活発な議論を通じて、例えばユーザーセグメント別の行動分析に基づいた改善施策など、数多くの示唆が生まれました。この活発な議論から、当社社員も大きな刺激を受け、データ活用の可能性を改めて実感する機会となりました。
お客さまにとってより使いやすいWebサイトを提供することで、より安心・安全な社会の実現に貢献できると信じています。「UXカイゼン道場」で得た知識と経験が、参加いただいた皆さまのWeb改善を通じて社会に貢献していく力となることを期待します。
最後に、本イベントにご参加いただいたWeb担当者の皆さま、そして入念な準備から当日の運営まで多大なるご尽力をいただいたギャプライズ様に、心より感謝申し上げます。
SOMPOダイレクト様公式サイト
https://www.sompo-direct.co.jp/
まとめと今後に向けて
2日間にわたる「UXカイゼン道場」は、参加者から圧倒的な高評価を得て幕を閉じました。机上の理論だけでなく、実際のビジネスデータを用いた分析から施策立案、そしてABテスト結果の検証まで一貫して体験できる実践的なプログラムの価値は、参加者の声からも明らかです。
特筆すべきは、本道場の開催後、複数の参加企業から「自社サイトを題材にしたカイゼン道場を開催したい」という声が寄せられている点です。これは、この2日間で提供された経験が、単なるセミナーやワークショップを超えた実践的価値を持っていることの証明と言えるでしょう。
「理論と実践のギャップを埋める」という当初の目標に対して、「UXカイゼン道場」は見事にその役割を果たしました。参加者たちは今、学んだ仮説検証のプロセスと知見を自社のWeb改善に持ち帰り、早速実践に移そうとしています。
ギャプライズでは、この成功を踏まえ、第2回以降もさらに進化した「UXカイゼン道場」を提供するべく準備を進めています。講師と参加者双方にとってさらに価値ある場となるよう、内容のブラッシュアップと運営の改善に尽力していく予定です。
参加者の一人は「これまで孤独に感じていたWeb改善の仕事が、この2日間で一気に希望に満ちたものになりました」と語り、別の参加者は「理論と実践、そして共感と協働が融合した、かけがえのない経験でした」と感想を述べました。
Web改善に真摯に向き合うすべての担当者にとって、「UXカイゼン道場」が実践的なスキルと知見を得る貴重な機会となることを、ギャプライズ一同、心より願っています。
書道家 suzurima氏による「UXカイゼン道場」ロゴ
今回の「UXカイゼン道場」開催にあたり、プロジェクトのロゴデザインは書道アーティストのsuzurimaさんに制作いただきました。
suzurimaさんは、毎日展での入選・入賞歴を持ち、アパレルブランドロゴ、ワインエチケット、ゲームタイトルロゴ、映画題字など、多岐にわたる分野で活躍されています。
suzurimaさんに作成いただいた「UXカイゼン道場」のロゴは、力強くも流動的な筆致で、データ分析の精密さと創造的な改善アプローチの融合という道場の本質を見事に表現しています。その一筆一筆には情熱が込められており、参加者の熱意と共鳴し、会場の雰囲気を高めました。
この「UXカイゼン道場」Day2レポートを通じて、ABテスト検証プロセスの本質と、データから真の洞察を得るための思考法をお伝えしました。「仮説検証の真髄」とは、単に施策の良し悪しを判断することではなく、立てた仮説を正しく検証し、そこから次のアクションを導き出す一連のプロセスにあるということを、参加者と共に再認識した2日間でした。
今後も当社では、理論と実践を融合させた価値ある学びの場を提供し続けてまいります。次回開催の情報にご期待ください。
