効果を測る
出し分けに効果があったかは、「出し分けた人」と「出し分けなかった人」の申し込みの率を比べて確かめます。MITATE は訪問者の一部(既定では 10%)を比べる群にして、標準の表示のまま見せます。結果は[概要]に出ます。
[設定]の「効果の測り方」で、次の 2 つを決めます。変えられるのは管理者だけです。
| 項目 | 内容 |
|---|---|
| 比べる群の割合 | 0%(比べない)・5%・10%(おすすめ)・15%・20%。多いほど早く差が分かりますが、出し分けを見る人は減ります |
| 申し込みの完了ページ | 申し込みが終わったときに開くページのパス。1 行に 1 つ、10 個まで。末尾の * は前方一致です(例:/thanks、/apply/done/*) |
完了ページにも、同じタグを貼ってください。タグを置くドメインが違うときは、[設定]の「タグを置くドメイン」に足します。
完了ページがないとき
Section titled “完了ページがないとき”送信してもページが変わらないフォームなどでは、送信が終わったところで、次の 1 行を呼びます。タグの読み込みの前に呼んでもかまいません。
(window.mitate = window.mitate || []).push({ type: 'conversion' });- 群は、ブラウザのタブごとに決めます。同じタブの中でページを移っても、群は変わりません。
- 訪問も申し込みも、タブごとに 1 回だけ数えます。完了ページを開き直しても、2 回目は数えません。
- 比べる群の人には、判定をせず、表示も変えません。
- Cookie や、端末を見分ける値は使いません。群はタブを閉じると消えます。
- 別のタブや別の日に申し込んだ人は、どちらの群かが分からないため数えません。差は実際より小さめに出ます。
- 管理画面での試しと、プレビュー用のリンクで開いたタブは数えません。
- 出し分けが OFF のあいだは数えません。
[概要]の見方
Section titled “[概要]の見方”| 数 | 意味 |
|---|---|
| 申し込み率の差 | 出し分けた人の申し込み率から、比べる群の申し込み率を引いたもの(ポイント) |
| 申し込み・訪問 | 期間の中の数。出し分けた人と比べる群に分けて出します |
| 申し込み率の推移 | 期間のはじめからの累計の申し込み率。日ごとの揺れを抑えて見られます |
| 関心ごとの成果 | その関心の訴求を出した回数と、そのタブでの申し込み。どの訴求が申し込みにつながったかを見ます |
差の下には、差が偶然の範囲かどうかを出します。2 つの割合の差の検定(信頼度 95%)で見ており、どちらの群も訪問が 30 を超え、申し込みが合わせて 10 を超えてから判断します。
| 表示 | 意味 |
|---|---|
| 偶然とは言いにくい差です | 出し分けの効果があったと考えられます |
| 偶然でも起こる範囲です | まだ差があるとは言えません。数が増えるのを待ちます |
| 申し込みが少なく、偶然とは言いにくい差です | 出し分けた人のほうが申し込みが少なくなっています。訴求パターン設定 で訴求を見直してください |
| まだ比べられるだけの数がありません | 訪問か申し込みが、判断に要る数に届いていません |