文面のABテストは有効ですが、件数が足りないまま判断すると、偶然を実力と誤認して間違った文面を採用します。ここでは判断に必要な件数の考え方と、リストを無駄にしない回し方を整理します。

何通で判断できるのか

返信率のように低い割合を比べる場合、少ない件数では差が見えません。感覚を掴むために具体例を挙げます。

各案の接触数A案の返信B案の返信この差は
50通1件（2%）2件（4%）偶然の範囲
100通2件（2%）4件（4%）まだ偶然の範囲
500通10件（2%）20件（4%）差がある可能性が高い

1行目を「B案が2倍良い」と読むのが典型的な誤りです。1件の違いが「2倍」に見えてしまうのが低い割合の怖さです。

実務的な目安としては、各案で数百通規模の接触が溜まるまでは「差がない」として扱います。それまでは両案を回し続けます。

見る指標

指標使うか理由
開封率使わない計測が不正確（機械の先読みと未計測が両方ある）
返信率使う人の行動。件数が溜まりやすい
アポ化率最終判断成果そのもの。ただし件数が溜まりにくい
苦情率監視する返信が多くても苦情が多い文面は使えない

返信率で絞り、最後はアポ化率で決めます。返信が多いのにアポにならない文面があるためです（質問だけ来て終わる、断りの返信が多い、など）。

4行目も忘れないでください。返信率が高くても苦情率が高い文面は、送信ドメインの評判を落とします。返信率と苦情率はセットで見ます。

変えるのは1回に1つ

件名と本文を同時に変えると、どちらが効いたのか分かりません。検証する要素は1つに絞ります。

検証の順変える要素理由
1訴求の切り口（何を価値として出すか）もっとも差が出る
2次の一歩の提示（リンクか質問か）返信の起きやすさが変わる
3件名読まれるかどうか
4長さ・語調効果は相対的に小さい

順序は差が大きい要素からです。語調の微調整から始めると、差が小さすぎて判断に必要な件数が膨らみます。

公平に比べるための条件

同じ期間・同じ条件で回さないと、比較になりません。

  • 同じ期間に並行して送る（週や月をずらすと、時期の影響が混ざる）
  • 同じセグメントに送る（ターゲットが違えば文面の差より大きく出る）
  • 配信量の比率を決めておく（片方に偏ると件数が溜まらない）
  • 送信ドメインを揃える（到達率の差が混ざる）

1つ目が特に重要です。「先月はA案、今月はB案」という比較は、月ごとの状況の違いが混ざるため文面の効果を測れません。

勝ったら固定する

ABテストは永久に続けるものではありません。勝ち文面が決まったら固定します。

状態やることコスト
検証中両案を回す半分が負け文面＝機会損失
差が確認できた勝ち案に固定し、次の要素の検証へ―
差が出ないより差が大きい要素に切り替える―

1行目のコストを意識してください。負け文面に割り当てた分だけ、リストを無駄に消費しています。リストは有限なので、検証は必要な件数が溜まったら終えます。

セグメント別に見る

全体で勝った文面が、特定のセグメントでは負けることがあります。

セグメントA案の返信率B案の返信率勝ち
全体2.0%3.0%B
中堅企業1.5%4.0%B
小規模企業3.0%1.5%A

この場合、全体でBに統一するのは損です。セグメントごとに文面を割り当てるほうが成果が上がります。そのためには、集計をセグメント別にできるようにしておく必要があります。

運用に落とす

仕組みとして持っておくと回しやすいものを挙げます。

  • 文面を複数登録でき、配信時に比率で振り分けられる
  • どのメールがどの文面だったかを記録する
  • 文面別に接触数・返信数・アポ数を集計できる
  • 文面は承認済みのものだけ配信対象になる（自社の名前で出るため）
  • 予行演習（実送信しない確認）の結果が成績に混ざらない

4つ目は事故防止です。検証のために文面を増やすとき、承認の仕組みがないと未確認の文面が外に出ます。複数案をまとめて承認しておけば、検証のたびに待ちが発生しません。

まとめ

  • 低い割合の比較では、数十通の差は偶然の範囲。各案数百通規模まで待つ
  • 開封率は使わない。返信率で絞り、アポ化率で決め、苦情率を監視する
  • 変えるのは1回に1つ。差が大きい要素（訴求の切り口）から
  • 同じ期間に並行して送る。月をずらした比較は成立しない
  • 勝ったら固定する。負け文面に割り当てた分だけリストを消費している
  • セグメント別に見ると、全体の勝者と違う結果が出ることがある