ABテストは、低コストで簡単に導入が可能であり、Webサイト改善に欠かせない強力な施策です。ABテストをはじめる前に知っておくべきこと、私たちがABテストを行うにあたって重要だと考えていることを記載しています。

ABテストとは

ABテストとは、スプリットテストまたはバケットテストとも呼ばれる、主にWebサイトやアプリなどで、AパターンとBパターンの2通りを用意してそれぞれを同じ条件下で比較してどちらが優れているかを実験する方法です。

具体的になにをテストするのか?

ABテストでよくテストされている内容は主に以下の項目です。

・レイアウト
・コピーライト
・ボタンの配置、文言
・ターゲット
・画像(画像の有無)
・価格

ごく小さな部分でも試していくことで、大きな効果をもたらすことがあります。

ABテストの考え方と必要性

2つのパターンを直接かつ同時期に比較することで、季節などの外的要因の影響を受けずに、純粋にそれらの効果の差を知ることができます。

明確に『テストをする』ため、データに基づいた判断が可能となり、憶測だけのWebサイト改善をなくすことができます。そして、ABテストによるサイト改善を繰り返すことで、コンバージョン数およびCVRを向上させ、Webマーケティングの費用対効果を高めていきます。ABテストは、広告を出稿したり、サイトリニューアルをするよりもずっと低コストですぐに実施することができます。

このように小さな改善を続けることによって最終的なゴールを目指すことをグロースハックといい、ABテストはグロースハックの手段の1つです。

ABテストを実施する前に

ABテストは難しそうと思われがちですが、それは効果を上げるための要因がなんなのか漠然としているため、テストを行う場所もポイントもよくわからないという理由がほとんどです。ABテストをこれから始めるという場合は、これから説明するポイントに注意して進めましょう。

目的を整理する

ABテストというプロジェクトの目的を整理しましょう。なにをしたいのか、どうすればそれがプロジェクトまたはビジネスの成功といえるのかといったKPI・KGI指標を設定し、それを達成するためにABテストを行うことが大前提です。

仮説を立てる

思いつくままにテストしないために、アクセス解析やユーザーテストなどの調査を行い、サイトの課題を洗い出しましょう。そして、なぜこうなっているのか、どうしたら良くなるのかといった仮説を立てることで、効果を得やすいテストが実行できます。

テスト要件を明確にする

AパターンとBパターンのクリエイティブの要素の違いを明確にしなければなりません。
1回のテストに検証要素(仮説)を詰め込みすぎると、テストの結果に大きな差が出たとしても、どの要素が良かったのかが特定できず、間違った解釈をしてしまう可能性があります。ABテストで検証する要素(仮説)は1回につき1つまでです。決して欲張らず、少しずつ改善を繰り返していきましょう。

テスト結果に統計的有意性があるか

ABテストが完了したら、その結果が本当に正しいと言えるのかどうかの統計的有意性を確認しましょう。

統計的有意性とは、「ある統計が信頼できることを数学的に証明する方法」です。意味のある結果を得るためには、95~99%の統計的有意性を得る必要があります。95~99%の統計的有意性があるということは、95~99%の信頼性をもった結果であることを意味し、初めてそのデータを活用できます。実施したテスト結果に基づき判断を下す時には、必ず統計的有意性を確認しましょう。

しかし、統計的有意性を得られないからといって、ずるずるテストを長引かせる必要はありません。目安としては最長2週間でテストをストップするのが妥当です。経験上、2週間以上テストをして結果が逆転するということはあまりありません。そもそも母数が十分に集まらない場所でのテストもあまり良いテストとは言えないでしょう。

ABテストはチーム作りが重要!

ABテストを実際に行うにあたって、ABテストツールを導入するのが一般的です。テストパターンの配信バランスの管理やターゲットなどの条件設定を簡単にできるからです。
しかし、ツール導入しただけで安心してはいけません。テストフローや役割担当、会議などの運用体制を曖昧にしてしまうとツールが放置状態になることがよくあります。一方で、運用体制さえ確立してしまえば、一度走りだすと改善サイクルが勝手に回っていきます。

チームとしては、ディレクター・エンジニア・デザイナーの3職種の担当者が必要になりますが、施策の方針を決める場にはチーム全員で参加し、意見を出し合い、目線を合わせ、よりよいテストができるような関係性を築くことが非常に重要です。そうすることで、スピード感のある意思決定・リリースサイクルを実現できます。

あなたがABテストのプロジェクトを任されたリーダーなのであれば、チーム全員を巻き込み、「ABテストっていいね!」という空気を作っていきましょう。

コツコツと細かな改善を繰り返そう

2つのパターンを試して良かった方を残すという極めてシンプルな考え方で、大きな効果につながる可能性があるABテストは試してみる価値が大いにあります。

ただ、ABテストは1回のテストで満足しても意味がありません。コツコツと細かな改善を繰り返すことで、大きな結果をもたらすことができます。わずか数%程度の改善でも、数か月後には数十%の改善に繋げることができます。

データサイドマーケティング代表。京都大学大学院卒の元理系で、卒業後はデータ基盤の構築から分析、MA活用など幅広いデータ業務を経験。エンターテイメントが好き。