施策の効果測定は手を付けなかった記事と比べる｜上乗せ分だけを効き目と呼ぶ進め方

サイトの記事を何十本か書き直した。翌月、検索の平均順位を開くと、はっきり上がっている。月の報告に「書き直しの効果」と書きかけて、ふと手が止まる。書き直していない記事は、この間どうだったのか。

私たち Aurant Technologies は、アクセス解析やマーケティングのデータの整備、社内のデータをまとめて見る画面づくりを支援している会社です。自社のサイトでも、この秋に同じ場面がありました。順位が上がっている理由を突き止め、効いているものがあれば続けようと、切り分けることにしたのです。

施策のあとに「上がった」と言う前に、同じ時期に手を付けなかったものも同じだけ上がっていないかを、同じ記事・同じ長さの期間（ここでは14日。以下、窓と呼びます）で並べて確かめます。手を付けたものと付けなかったものの差（上乗せ）だけを効き目と呼ぶようにすると、続ける施策とやめる施策を取り違えずに済みます。この記事では、その進め方を、自社サイトで実際に並べた図を使って説明します。

最後にできあがるのは、次のような図です。

上の段が2本の線、下の段がその差と、記事を無作為に分けても出てしまう差の範囲（灰色の帯）、いちばん下がこの図から決めた打ち手です。

決めたいのは、その施策を続けるか、やめるか、待つか

効き目を確かめる目的は、上がったことを報告することではなく、次の月に何を続けるかを決めることです。記事の書き直し、案内の差し込み、比較記事の追加のように、手間のかかる施策ほど、続けるかどうかの判断が人の時間の配分を決めます。

ところが、施策の前と後を比べただけでは、この判断ができません。サイト全体が上り調子の時期なら、何をしても前後の差はプラスに出ます。逆に全体が下がる時期には、効いている施策まで止めてしまいかねません。前後の差に入っている「何もしなくても起きた分」を引くために、手を付けなかったものを比べる相手に置きます。

進め方は、次の6つの段です。このあとの節も、この順に書きます。

比べる相手は、結果を見る前に決めて書いておく

比べる相手は、同じ時期に、同じ種類で、手を付けなかったものです。サイトの記事なら、施策をした期間に一度も更新していない記事になります。結果を見てから相手を選ぶと、差が大きく出る相手を選びたくなります。何と比べるかは、施策を始める前か、遅くとも数字を開く前に、1行で書いておきます。

これから施策を始めるなら、手を付けない記事を無作為に取り置くのがいちばん確かです。記事の一覧に乱数の列を足して並べ替え、上から半分を手を入れる側、残りを手を付けない側にする、といったやり方です。たまたま触らなかった記事を相手にすると、触る記事を選んだ理由（伸びそうだった、古くなっていた）が、そのまま差に混ざります。

自社サイトでは、施策を始めたあとでこの比べ方を組んだので、無作為には分けられませんでした。7月以降一度も更新していない記事を「手を付けなかった記事」に、最終更新日が7月から8月の記事を「手を入れた記事」にしています。手を入れた記事は最終更新日で数えたもので、書き直しか小さな直しかまでは分けていません。次の節のとおり記事を固定すると、手を付けなかった記事が207本、手を入れた記事が134本です。

ここで一度、分け方を直しています。はじめは「7月以降に更新した記事」をまとめて手を入れた側にしていました。ところが、記事の一覧に残っているのは最終更新日だけです。9月後半や10月に直した記事も「7月以降に更新した」側に入り、9月前半までの窓では、まだ手を付けていない記事が、手を入れた側に混ざっていました。そこで、最終更新日が9月17日以降の記事はどちらにも入れずに分け直しました。施策を始めるときに、手を付けた記事と日付を1行ずつ残しておけば、この取り違えは起きません。

比べる相手は、施策以外の条件ができるだけ近いものにします。記事なら公開した時期、扱う分野、もともとの順位です。自社サイトの2つの群は、どちらも春に公開した記事が中心でしたが、3月に公開した記事の割合は、手を付けなかった側が約21%、手を入れた側が約15%でした。無作為に分けていないと、こうした差が残ります。

全部の窓に出ていた記事に固定し、同じ長さの窓で並べる

比べる相手が決まったら、数える記事を固定します。検索に出る記事は、窓によって入れ替わります。ある窓だけ出なかった記事をその窓の平均から外すと、平均順位は、記事の顔ぶれが変わっただけで動きます。ここでは、起点から最後までのすべての窓で検索に出ていた記事だけを数えました。

起点の窓は、施策が始まる前に終わる窓にします。自社サイトでは、7月より前に終わる最後の14日間、6月11日から24日を起点にし、10月14日までを9つの窓に分けました。窓の長さを7日の倍数にしておくと、どの窓にも同じ曜日が同じ数だけ入ります。

平均のとり方も決めておきます。Search Console のヘルプでは、平均掲載順位は、検索結果に出たときのいちばん上の位置を、表示されたすべての検索について平均した値だと説明されています。表示の多い記事ほど平均を大きく動かすので、どの記事にどれだけの重みを置くかで線の形が変わります。ここでは、起点の窓の表示回数を重みにして、最後まで同じ重みで平均しました。窓ごとに重みを変えると、順位は変わらないのに、表示の多い記事が入れ替わっただけで平均が動いてしまうからです。最後に、起点の窓を100とした指数にします。値は小さいほど上位なので、図では上下を逆にして、上へ行くほど上位にしています。

同じヘルプは、掲載順位は状況によって意味が変わるので数字だけで判断せず、絶対値に加えて時系列の変動も見るよう勧めています。

数字を水増しする行は、数える前に外す

数える前に、数え方のせいで増えて見える行を外します。自社サイトでは、10月の表示回数がページ別に足すと前の窓の1.9倍になっていましたが、ページ別の表に、記事の目次の節へのリンク（URL の末尾に「#」が付く）が別の行として大量に出ていました。外すと伸びは1.5倍で、サイト全体の値とほぼ重なり、節リンクの行からのクリックはほとんどありませんでした。

検索パフォーマンス レポートのヘルプによれば、グラフの値はサイト全体で集計され、1つの検索で同じサイトが2件出ても1回と数えます。表をページで分けると、ページごとに集計されます。順位を比べるときも、この行は外して数えています。

2本の線の差だけを、効き目と呼ぶ

図の上の段では、2本の線はどちらも、6月中旬から10月前半にかけて大きく上へ動いています。9月後半の窓で、手を付けなかった記事は指数で79、手を入れた記事は77です。手を付けなかった記事も、ほぼ同じ所まで上がっていました。前後の差だけを見て「更新で順位が2割以上上がった」と書いていたら、その大半は、手を付けなくても起きていた分を数えていたことになります。

効き目と呼べるのは、2本の線の差、つまり上乗せです。下の段がその差で、0より上なら手を入れた記事のほうが上位です。

差が偶然でも出る大きさかどうかを見るのが、灰色の帯です。2つの群をいったん混ぜ、同じ本数ずつ無作為に分け直して同じ計算をするのを2,000回繰り返し、差の5〜95%の範囲を帯にしました。手を入れたかどうかと関係なく分けても、差は多くの窓で指数の上下10前後まで散らばります。表示の多い一部の記事が平均を大きく動かすので、記事が数百本あっても帯は広くなり、記事が少なければさらに広がります。

表計算でやるなら、手を付けなかった記事だけを乱数で半分ずつに分けて、2つの平均の差を出す、を数十回繰り返し、その散らばりを帯の代わりにできます。自社サイトで50回やると、記事の数が半分になるぶん、帯はひと回り広く出ました。

6月下旬から8月にかけては、手を入れた記事の線が下にあり、6月25日・7月23日・8月6日からの3つの窓では、差が帯の外に出ています。ただ、差が開いたのは6月25日からの窓で、その窓が終わる7月8日までに最終更新日が来ていたのは、134本のうち18本だけでした。差は、多くの記事に手を入れる前から出ていたことになります。2つの群は、手を入れる前から同じ動きではなかったのです。この差が何から来たのかは、確かめていません。手を入れ終えたあとの窓（8月20日から）では、差は帯の中にあります。手を入れる前から8月前半まで指数で7〜13あった差が、9月以降の窓では4〜−2ほどに、10前後縮んでいます。ただ、縮んだ分は帯の幅と同じくらいで、手を入れた効きとも偶然とも言えません。

この比べ方は施策を始めたあとで組んだので、起点の窓もあとから決めています。そこで、起点を7月下旬の窓に替えた形も確かめました。その場合、9月以降は手を入れた記事のほうが上に出ますが、差はやはり帯の中でした。起点をどちらにしても、9月以降の上乗せは、偶然でも出る範囲を超えていません。

ここから決めたのは、順位の伸びを、前後の差で更新の成果とは呼ばないことです。サイト全体の上がりは、全体の動きとして別に書きます。この図で目に見えるのは、偶然でも出る範囲を超える上乗せだけで、それより小さな上乗せがあったかどうかは言えません。更新を続けるかどうかは、順位の平均だけでなく、その施策で狙ったもの（その記事のクリックなど）でも、手を付けなかったものと比べて決めるとよいでしょう。

続ける・やめるの決め方は、帯を使って先に書いておきます。施策が済んだあとの窓で、差が帯の外・上位側に2窓続けて出たら続ける。帯の外・下位側に2窓続けて出たらやめる。帯の中か、窓が足りないうちは待つ。この決め方に当てると、7月23日・8月6日の窓は帯の外・下位側に出ていますが、どちらも手を入れ終える前の窓で、差は手を入れる前の窓から出ていたので、やめるには当たりません。手を入れ終えたあとの窓では差は帯の中なので、7〜8月の更新は、順位からは続ける・やめるのどちらにも当たらず、待つになります。広告の配信で同じ考え方を使う場合は、広告の増分効果を確かめるテストの記事も参考になります。

判断できるまで待ち、見る日を先に決める

まだ決められないものは、決められる日を先に書いておきます。10月11日ごろから行った書き直しと、新しく出した比較記事は、この図を作った10月17日の時点で、データが1つの窓にも満ちていませんでした。そこで、窓がそろったところで、最終更新が10月1日より前の記事を比べる相手にし、節リンクの行を外して比べる予定にしています。結果が出る前に、何と比べ、いつ見るかを決めておけば、見たい結果に合わせて相手を選び直すことがなくなります。

この比べ方が受け持たないこと

この比べ方で分かるのは、手を付けたものと付けなかったものの差が、偶然でも出る範囲の外にあるかどうかです。2つの群がそろって上がった理由は分かりません。自社サイトの場合、春に公開した記事が日を経て評価されてきた、という説明が残りますが、確かめてはいません。検索の仕組みの更新が影響したかどうかも分かりません。2つの群は無作為に分けたものではなく、公開時期の割合のようにそろっていない条件があり、手を入れる前の窓にも差がありました。記事の一覧に最終更新日しか残っていないので、7〜8月に手を入れた記事の中に、それより前にも直した記事が混ざっている可能性もあります。また、全部の窓に出ていた記事に限ったので、途中で出なくなった記事や新しく出てきた記事のことは、この図からは分かりません。記事の一覧と URL が結びつかなかったページ（起点の窓で231本）は、どちらの群にも入れていません。

ページ別の数字と、記事の一覧の最終更新日から作れる

図は、Search Console のページ別の数字（表示回数・クリック数・平均掲載順位）を14日ごとに取り出したものと、記事の一覧（URL・公開日・最終更新日）の2つから作りました。ページの URL で2つを結び、最終更新日で群に分け、全部の窓に出ていた記事に絞って、起点の窓の表示回数を重みに平均しています。画面からの書き出しでも作れますが、窓の数が多いので、Search Console が用意している外から数字を取り出す仕組み（API）を使うと手間が少なくなります。帯の2,000回の計算は短いスクリプトで回しましたが、上に書いた表計算の代わりでも、おおよその幅はつかめます。

次の施策を始める前に、手を付けない記事を決めておく

明日からできるのは、次に始める施策について、候補の記事に乱数の列を足して半分を手を付けない側に取り置き、手を付ける記事と日付を1行ずつ書く表を作ることです。起点の窓と、見る日も同じ表に書きます。それだけで、施策のあとに「上がった」と言う前に、上乗せがあったかを確かめられます。

検索やサイトの数字を、手を付けなかったものと比べて読む仕組みづくりは、当社のアクセス解析・マーケティングデータ支援で一緒に進められます。