2021.09.24 Fri.

第53回-【ABテスト事例】ユーザ行動から「勝ちパターン」の伸びしろを発見!

ABテストは非常に有効な手法で、多くの企業様で取り組まれています。 しかし、下記のようなことで悩まれているというお話もよくお聞きします。

・ABテストをやりすぎてネタが尽きてきた、勝率が上がらなくなってきた

・勝ちパターンについてなぜ勝ったのかが分からず、再現性がない(CVR2.0%と2.2%という結果が出たがこの差は何なのか?具体的に何が良かったのか分からない)

・上司へ結果を報告する時に勝った理由を説明できない

この記事では、ABテストの各パターンのユーザ行動を確認することで、「勝ちパターン」にもさらなる改善点があることを発見し、次の企画案出しにつなげた事例をご紹介します。

勝ち負けの実態を把握するには CVRだけでなく”ユーザ行動”への着目が有効

ある雑貨ECサイト様でABテストを行った際に、行動データに着目することで勝ち負けの実態を見抜くことができた事例です。

このサイトでは、母の日ギフトの特集ページにおいて、商品写真を目立たせるが商品の特徴の説明は省いたAパターンと、商品写真とともに商品の特徴の説明を盛り込んだBパターンとの比較を行いました。

AパターンとBパターン

数値結果を見てみると、AパターンはCVR2.0%、BパターンはCVR2.2% で有意差ありとなりました。
ただ、以前、別の特集ページで行ったABテストでは逆の結果、すなわち今回のAパターンのように商品写真が目立たせたものの方が勝ちパターンでした。

「なぜ今回は商品説明を厚くしたパターンが勝ったのだろう?」

この疑問を解消するために、行動データをわかりやすく把握できるツール USERGRAM(ユーザグラム)を用いて、
それぞれのパターンごとにユーザの動きを複数人見てみました。

勝ちパターンだからといってスムーズにコンバージョンしている訳ではなかった

<ユーザの行動データを把握できるソフトウェア USERGRAMで見られた実際のユーザの行動>

実際にページを確認すると、特集ページにも商品詳細にもギフト用ラッピングの情報の記載が一切なく、ユーザにとって不親切になっていました。
これを受け、商品詳細の写真の大きさや説明内容がコンバージョンに与える影響は少なく、ギフト用ラッピングの情報を分かりやすく伝えることがCVRアップに有効そうだと考えた担当者。
特集ページには「ラッピング情報を分かりやすく記載」したり、「よくあるお問い合わせのギフト用ラッピングのページのリンクを貼る」というような改善案を出すことができ、二次改善に繋げることができました。

ABテストの解釈に困ったらユーザ行動を見てみよう

このように、ユーザの行動データを使ってABテストの分析をすることで、ABテストの結果を正しく解釈することができ、二次改善・次なる企画出しに繋げることが可能になります。
実際に、ABテストを日常的に実施されている企業様では、 USERGRAMでの分析を検証と企画出しの業務フローの中に組み込むことで、
「ABテストの勝率が2倍に上がった」
「ABテストの際はクリエイティブの良し悪しだけではなく、ユーザがスムーズにコンバージョンしやすいような内容やその後の導線設計まで考えられるようになった」
というようなお声を頂いています。

ABテストの分析ににあたっては、ぜひ、行動データの確認もお試しください!
成果につながる伸びしろが見えてくるはずです。