広告が効いたかを確かめる方法｜配信しない群・地域・止める期間を分けて、広告で増えた分だけを測る

広告が効いたかどうかは、広告の管理画面や代理店の月次報告にある成果の数字では確かめられません。それらは、広告に関連づけられた成果の数で、広告が無くても買っていた人、申し込んでいた人が含まれるからです。確かめるのは「増分」、広告があったから増えた成果です。広告を出さない群、地域、止める期間を置いて、同じ期間で比べます。

検索で上位の2本（GMOリサーチ&AI、ジェイアール東日本企画）は、効果測定の指標の定義と、出稿前後の比較を中心に書いています。私たちが2026年10月4日に読んだ範囲では、広告を出さない群を置いて比べる方法は、どちらにも詳しくは書かれていませんでした（後者は、ブランドリフト調査を自社サービスのオプションとして挙げています）。前者には、出稿前に1,000だった訪問数を、広告で2,000に伸ばす目標を立て、2,000を超えたら成果を得られたと判断する例があります。この例では、広告が無くても訪問数が増えたかどうかは分かりません。後者は、季節・トレンド・イベント・他のメディアの影響を把握するよう書いています。この記事は、その先の、広告で増えた分だけを取り出す比べ方を扱います。

扱うのは、広告を出す媒体の測定機能と、自社で設計できる比べ方です。機能を確かめた媒体は Google 広告と Meta で、他の媒体は確かめていません。指名広告（自社名の検索に出す広告）を止めて確かめる手順は指名広告の記事に、成果の定義は広告運用のインハウス化の記事に、問い合わせを GA4 で数える作業の見積もりはGA4 設定の外注費用の記事に書いたので、ここでは繰り返しません。

広告の画面の成果は、広告が無くても起きた成果を含む

広告の画面や月次報告の数字は、コンバージョン数、CPA（広告費÷コンバージョン数）、ROAS（コンバージョン値と費用の比）などです。これらは、広告を見た、またはクリックした人のうち、成果に至った人を数えています。その人が、広告が無くても成果に至ったかどうかは、この数字からは分かりません。すでに買うつもりで自社を探していた人も、広告を経由すれば、広告の成果に数えられます。

このため、報告の指標が良くなったことや、目標を超えたことは、広告が効いた証拠にはなりません。指標が良いのに増分が小さい場合も、指標が平凡なのに増分が大きい場合も、ありえます。どちらなのかは、広告を出さない側と比べないと分かりません。

自社のアカウントで、どの比べ方が使えるかを設計したい場合は、広告運用の支援のページからご相談いただけます。

増分とは。広告があった場合と、なかった場合の差

Google 広告ヘルプは、コンバージョン リフト測定を、オーディエンスを2つのグループに分けた対照実験として説明しています。広告を見たグループと、見なかったグループの成果の差が、広告による「リフト」、つまり増分です（コンバージョン リフト測定について）。広告が無かった場合の成果は、実際には観測できないので、広告を出さない群を置いて、その代わりにします。

報告の数字と増分の数字は、同じ名前の指標でも、分母や分子が違います。Google 広告は、増分1件あたりの費用（iCPA）と、費用に対する増分の収益（iROAS）を、リフト測定の指標として出します。

地域に基づくリフト測定は、貢献度が割り当てられていないコンバージョンも含めて、キャンペーン全体の費用対効果を見たいときに向く、とヘルプにあります（地域に基づくコンバージョン リフト測定を設定する）。画面の数字は、広告に関連づけられた成果だけを数えるので、増分は小さくなる場合だけでなく、大きくなる場合もあります（当社の読み）。

比べ方は、配信しない群・地域・止める期間

LINE の配信で、配信しない人を残して売上の上乗せを測る場合は「LINE配信で増えた売上の測り方」で解説しています。

比べ方は3通りです。広告を出さない群を置く、地域で分ける、広告を止める期間を置く。上の2つは、媒体の測定機能が分け方を担います。3つ目は、自社で決めて、自社で止めます。先に、確かめた媒体の機能を表にします。

広告を出さない群を置く

Google 広告のリフト測定調査は、ユーザーを自動で2つのグループに分ける比較対照テストです。広告が表示されるトリートメント グループと、表示されないコントロール グループで、ブランド認知度、検索数、コンバージョン数の差を見ます（リフト測定調査について）。Meta も、開発者向けの資料で、広告を見るアカウントと見ないアカウントを無作為に割り当て、コンバージョン数などの差を計算する仕組みを説明しています（Meta for Developers「リフト調査」。日本語のヘルプページは読めなかったため、この資料を使いました）。

広告を出さない群は、広告で増えたはずの成果を逃します。Google 広告ヘルプも、この逃した成果を、実施頻度を慎重に決める理由に挙げています。始める前に、測れる見込みを確かめる機能があります。見込みが低いまま始めると、費用をかけて差が出ない結果になりやすくなります。

地域で分ける

地域を、広告を出す群と出さない群に分けて、同じ期間で比べます。ユーザーを分ける方法より、広告の画面から見えない成果（店舗での購入など）も比べやすい反面、地域をまたぐ人がいます。一部の人が、広告が出る地域で広告を見て、広告が出ない地域で成果に至ると、2つの群の差が小さくなります。Google 広告ヘルプは、この「汚染」を、地域の単位（Google マーケティング エリア）を選ぶことで抑えるとしています（地域に基づくコンバージョン リフト測定を設定する）。

自社で地域を分ける場合の考え方は、Google の研究者が書いた論文（Vaver・Koehler「Measuring Ad Effectiveness Using Geo Experiments」）にあります。地域を無作為に群へ割り当てること、群で条件を変えない期間（pretest）を置いてから広告を変えること、地域を大きさで分けてから割り当てると、結果の幅が10%以上狭まることがある、と書かれています。地域の数が少ない会社は、差が出ても偶然の範囲かを判断できず、結論が出ない可能性があります（当社の考え）。

広告を止める期間を置く

いちばん手軽なのは、広告を数週間止めて、止める前と比べる方法です。比べる相手が、別の時期の自社になるので、次の節の落とし穴が全部入ります。広告全般を止めると、逃す成果の量も大きくなります（当社の考え）。止める範囲を指名広告に絞る方法は、指名広告の記事で手順を書きました。

前後比較の落とし穴。同じ時期に起きた他のことが混ざる

出稿の前後で数字を比べる方法は、ジェイアール東日本企画の記事も、測定条件を前後で同じにすること、季節・トレンド・イベントなどの外的要因を把握することを挙げています。これを守っても、前後の差には、広告以外の動きが混ざります。

混ざる量は、実際の検証で確かめられています。eBay は、Bing（当時は MSN）で、自社名を含む検索の広告を止めました。Google では出し続けています。止めた前後だけを比べると、Bing から eBay への総クリックは5.6%減っていました。Google を対照にして、季節の影響を除くと、減ったのは0.529%でした（論文の表の1列目と2列目。NBER 20171の全文）。前後比較のままでは、止めた影響を10倍ほど大きく見るところでした（5.6÷0.529で約10.6倍、当社の計算）。

この結果は、2012年の、世界で知られた会社の自社名の広告の例で、減った大きさそのものは、今の日本の自社に当てはまるとは限りません。見てほしいのは、対照を置く前と後で、同じデータの読み方が変わったことです。

広告を見た人と見なかった人を並べるだけの比べ方にも、似た問題があります。広告を見る人は、もともと買いそうな人であることが多いためです。Gordon らの研究は、Facebook で行った15の広告の無作為化実験の結果と、同じ広告を、見た人と見ない人の比較や、マッチング、回帰で推定した結果を比べています。観察のデータだけから出した推定は、実験の結果と大きく違い、多くは広告の効果を大きく見積もり、一部では小さく見積もりました。半数の研究で、購入の増加率が3倍ずれたと書かれています（MSI Working Paper 18-113。ここで読んだのは、学術誌に載る前の2018年の版）。

広告側の変更も、前後に混ざります。媒体が自動で切り替える変更もその1つです。たとえば、動的検索広告（DSA）は2027年2月に AI Max へ自動で移行される予定で、その日程はDSA の記事にまとめました。比べる期間に、こうした切り替えが入っていないかを確かめます。

測る前に決めて、書いておくこと

広告以外でも、生成AIの導入効果は、使わない班を残して同じように測る前に決めて書いておきます。測り方は「生成AIの導入効果の測り方」で解説しています。

比べ方を選ぶ前に、測る側で決めることが4つあります。どれも、結果を見てから決めると、都合のよい読み方ができてしまうので、始める前に1枚のメモに書きます。

1つ目の、数える成果は、広告の画面の件数ではなく、自社のフォーム・電話・CRM の記録で数えます。何を1件と数えるかが未定なら、先に広告運用のインハウス化の記事で成果の定義を決めます。GA4 で数える場合は、GA4 設定の記事の点検の順に、今の件数が信用できるかを確かめます。

測れるかどうかは、件数の多さで決まります。Google 広告は、調査を設定するときに、結果の確実性の見込み（検出力）を示し、確実性90%以上を目指すこと、50〜90%の結果は方向性を示す情報として使えることを案内しています。見込みが低いまま続けることは推奨されていません（地域に基づく測定の実現可能性が「低」の場合）。問い合わせや成約が月に数件の会社は、媒体の測定機能の条件に届かないこともあります。その場合は、測定を見送る、期間を延ばす、成果を問い合わせまで手前に広げる（Google は、ページビューやリードフォームのような手前の成果のほうが、リフトが大きく測りやすいと書いています）、のどれかになります。

代理店に頼む分と、自社が持つ分

増分の測定を、代理店に任せきりにすると、「何を成果とするか」「結果で何を決めるか」を、代理店が決めることになります。逆に、自社がすべて設計しても、媒体の測定機能の利用には、媒体の担当者への依頼が要る場合があります。分担は、次のように分けると、役割が重なりません。

月次報告を受け取る側が、代理店に確認するときの文面を、次に置きます。

広告の効果を確かめることは、設定を変える作業というより、同じ条件で比べる仕組みを作る作業です。Aurant Technologies では、広告運用の支援のページに、広告の打ち手の効き方を確かめる設計を、マーケティングデータの支援のページに、成果の記録と計測を整える作業を載せています。自社の状況を見ながら設計する場合は、どちらのページからも相談を受け付けています。