VOC（voice of customer）分析とは、顧客の声を収集し商品改善・サービス最適化に活かすことです。

今回は、VOCツールとABテストを連携し、コンバージョン率だけではなく「真に顧客のストレスを解消するには？」という視点を含めた、サイト改善方法をご紹介します。

1.ABテストの効果と落とし穴

ABテストは、サイト改善において効果的な手法の1つです。

例えば、「ECサイトでフォームコンバージョン率が低い」場合。

仮説：入力項目が多すぎて離脱している
検証内容：入力項目を削る（テストパターン）

といったプランをたて、OptimizelyのようなABテストツールを活用し、オリジナルとテストパターンで直接比較することで簡単に仮説検証を行うことができます。

しかし、ここに一つ落とし穴があります。
そのテスト内容は「顧客が本当に求めているもの」でしょうか？

実際にユーザーのコンバージョンを妨げているのは、項目やレイアウトといった要素以上に、「価格や支払情報の不透明さ」かもしれません。

次の章で、VOCツールの分析結果をABテストに活用したECサイト事例をご紹介します。

2.顧客の声をABテストに活かす、海外ECサイト事例

次の画像は、海外ECサイトのABテスト事例です。

このECサイトでは、購入しなかったユーザーに対してVOCツールを活用し
「なぜ購入しなかったのか？」
と質問を投げかけました。

その結果、
・支払い方法がわからない
・配送時間がわからない
といった声が寄せられました。

結果をもとにテストパターンを作成しABテストを実施。

Variation（テストパターン）：支払方法アイコン、配送情報を追記
[引用]Karl Gilis – How to create better A/B tests based on user research

テストパターンだけ見ると「顧客の声」を収集しなくてもアイデアは思いつきそう、と考える方もいるかもしれません。
しかし、ここでABテスト時間短縮のポイントがあります。

VOC分析のないABテストアイデアの場合、「支払方法」と「配送時間」の表示で、「どちらの要素の方が効果があったのか（悪かったのか）？」を検証するため
・「支払方法を明記」したパターン
・「配送時間を明記」したパターン
・「支払方法と配送時間を明記」したパターン
の3つのテストパターンを作るケースが多く見られます。

当然バリエーションが増えるほどデータ母数が必要になり、ABテスト期間が伸びることに。

VOCを収集すれば、「支払方法と配送時間は必須」ですので、検証すべきは「その情報のレイアウトや表示（強調）方法」になります。

今回のテストの場合、最終的に勝利を収めたのは下記のテストパターンです。
デスクトップで売上が5.9%向上しました。

[引用]Karl Gilis – How to create better A/B tests based on user research

このようにGet Feedback（旧Usabilla）で定性的な「顧客の声」を収集することで、ABテストの検証スピードを上げ、効果的な改善活動を行うことができます。

3.ABテストとVOCツール連携、顧客満足度を計測

次は、「ABテスト結果をVOCツールで分析する」ネスプレッソ海外事例をご紹介します。

Get Feedback（旧Usabilla）とOptimizelyを連携し、ショッピングカートのABテスト実施しました。

ABテストの最初の2週間では、テストパターンによるコンバージョンの増加は見られませんでした。
もしOptimizelyの定量データのみを指標としていた場合、この時点でテストは停止しているかもしれません。

しかし、彼らは収集したGet Feedback（旧Usabilla）の定性的データから「ユーザーはテストパターンについて肯定的に感じている」ことを発見しました。

コンバージョン率と顧客満足度の関連について正確に検証するために、さらに3週間ABテストを延長。
最終的に、ショッピングカートのテストパターンでは、コンバージョンが8.2％増加し顧客満足度も高いことがわかりました。

Get Feedback（旧Usabilla）のフィードバック項目は、実行中のABテストと連携し、フィルタリングすることもできるため、ABテストにおける全体的な満足度も評価できます。

このように、ABテストの結果「コンバージョン率が向上したか」という視点以外に、「その上で、顧客が満足しているか？新たな課題が発生していないか？」をさらに検証することは、サイト改善において重要です。

4.VOC活用したABテスト5つのステップ

ABテストプロセスにVOC分析を取り入れることで、テストする対象、優先順位を付ける対象、最終結果が正しいかどうかがわかるため、時間とリソースを節約できます。

【step1】定量分析を使用して、コンバージョン率が低下しているページを特定。

【step2】Get Feedback（旧Usabilla）を活用し「なぜコンバージョンに至らなかったのか？」をユーザーからフィードバックを収集。
例えば、ユーザーのカーソルがページから出たときに質問を表示し、「なぜ離脱するのか？」と理由を尋ねることも可能です。直帰率の高いページで出口調査を実行できます。

【step3】得られる定性的な「顧客の声」から、ABテストで証すべき要素を抽出。また、フィードバックの重要度に応じてテスト優先順位も決定。

【step4】優先順位に基づきAＢテスト実施。

【step5】ABテスト結果とフィードバックを連携させ、ユーザーにとって正しいものだったのか？再度フィードバックを収集し、検証。

この最適化の反復プロセスにより、時間、お金、リソースを節約し、ABテスト効果を高め、ユーザーエクスペリエンス向上に役立ちます。

※本記事は、「Why User Feedback and A/B Testing Need Each Other」、「The Secret to Success: Customer Feedback and Experimentation」「Karl Gilis – How to create better A/B tests based on user research」の翻訳・加筆しています。