2010年02月23日
コンバージョン率に差が出たか見極めるには

株式会社ビービット
ユーザビリティコンサルタント
薮 義郎

今月からバナー広告のクリエイティブを変更し、コンバージョン率(以下、CVRと略記)が微増した。しかし、CVRが微増したのはクリエイティブを変更したからなのか、たまたまの誤差の範囲なのか分からない。このようなことを経験した事はないでしょうか?

例えば、1月と2月でバナーのクリエイティブを変更したとしましょう。

バナー広告のクリエイティブ変更前後の成果

この例では、CVRが0.9ポイント上昇していますが、果たして結果はクリエイティブによるものなのか、それとも誤差の範囲と考えられるのでしょうか? 今回は、この疑問に答える、2つの統計的な手法をご紹介します。

方法1:真のCVRを推定する

1月のクリエイティブのCVRは5.8%と計測されましたが、これより1月のクリエイティブのCVRが5.8%に等しいかとは、統計的に言えません。CVR=5.8%というのは計測をした1月に対しての測定結果なので、もし2月も掲載したら5.8%かというと違います。CVRを見積もるために一定の期間しか測定しないので、真のCVRとの間に誤差が生じます。

では、その誤差をどのように見積もればよいのでしょうか。統計学によると、誤差は一般的に次のように近似的に見積もれます。

統計学におけるCVRの誤差

ここで、Nはクリック数です。また、有意水準は5%を採用しています。

この公式を適用すると、1月はCVR=5.8%=0.058、N=4952なので、CVRの誤差は0.65ポイントとなります。つまり、1月のクリエイティブの(真の)CVRは、5.8-0.65=5.15%から5.8+0.65=6.45%の間にあるのが妥当ということになります。一方、2月のクリエイティブでは、(真の)CVRが6.00%から7.40%の間にあることが妥当ということになります。

もし1月と2月のCVRの区間が重なっていない、もしくは区間の重なりが小さいならば、1月と2月ではCVRに差があるだろうということになります。しかし、この場合は区間の重なりを見ても、判別できそうにはありません(下図参照)。

統計学におけるCVRの信頼区間

方法2:2つのCVRに有意な差があるかを検定する

クリエイティブのCVRを比較する方法として、もう一つ、CVRに有意な差があるか検定することが挙げられます。本コラムでは、細かな理論的な説明は省略して、その方法のみをご紹介します。。

まず、以下の値を計算します

統計学におけるCVRの検定

ここで、CVR1、CVR2はそれぞれ1月、2月のコンバージョン率であり、pは1月〜2月のコンバージョン率です。また、N1、N2はそれぞれ1月、2月のクリック数です。

さて、2つのCVRに有意な差があるのか検定するのは簡単で、上の値dを計算してみて、値dが-1.96?1.96の間にあるか判定すればよいのです。もし計算した値dが-1.96〜1.96の範囲になければ、2つのCVRに(有意水準5%で)有意な差がある事になります。

上記の例の場合、CVR1=5.8%、CVR2=6.7%、p=(285+332)/(4952+4963)=6.2%、N1=4952、N2=4963なので、上の値dは-1.86となります。したがって、値dが-1.96〜1.96の範囲に入っているため、2つのCVRには有意な差があるとは言えません。

ウェブ上での施策は成果を数値で測定できるということが、テレビCMなどのマス広告と比べた際の利点ですが、その成果を評価する仕組みが必要となります。今回紹介した2つの方法で完全に評価できるとは限りませんが、評価の目安として利用してみてはいかがでしょうか。

ユーザの行動や広告との接触を詳細に分析するには
関連コラム
明日からはじめる!アトリビューション分析基本の3ステップ セミナー資料を無料公開中 ダウンロードはこちら
  • アトリビューションの具体的な分析方法を解説
  • 分析事例も多数掲載
機能を詳しく解説した資料や、管理画面を見たい方はこちら

体験版(無料)の管理画面を操作して、使いやすさと機能を確認いただけます

機能の詳細や導入事例、主要ツールの比較を確認いただけます

  • 体験版デモ画面を見る
  • 資料ダウンロード