株式会社ジャパン・マーケティング・エージェンシー
企画部 ディレクター 牛堂雅文
調査の対象条件に合致した人を見つけるための予備調査のようなものを、「スクリーニング調査」と呼んでいます。そして、Web定量調査を中心に、本調査に進まなかった回答者も含めた「スクリーニング調査」の集計結果をご納品することがあります。
今回はこの「スクリーニング調査」について考えてみたいと思います。
●スクリーニング調査で得られるもの
そもそも、スクリーニング調査は対象条件合致者を選別するためのものであり、性年代、対象となる製品の保有状況や、購入頻度、購入金額などいくつかの質問を行い、「条件に合致するかどうか」を判別できるようにしていきます。
ただ、対象となる製品だけを聞くのではなく、大体似たような他のブランドも聞いておき、「今回はどのブランドが対象なのか」分かりにくくしておきます。
すると、おのずと他のブランドも含め認知状況、利用状況が比較できたり、ブランドごとのユーザー属性が把握できたりするため、スクリーニング調査から割とありがたい情報が得られることがあります。
●スクリーニングデータはそのまま信じても良いのか？
しかし、このスクリーニング調査の集計はいささか取扱注意でして、【市場実態そのままではない可能性】があります。
といいますのは、スクリーニング調査はあくまで本調査の対象者を見つけるための調査であり、「市場を代表する調査」としては設計されていないためです。
「そんな馬鹿な！」という声も聞こえてきそうです。かつて訪問でのアンケート調査が全盛だったころは、スクリーニング調査もエリアサンプリングなど一定のルールにそって、できるだけ偏らないように実施するよう設計されていました。しかし、Web調査全盛になって、そうもいかない事情が出てきています。
●割付ごとの回収率の差など
まず、本調査では、性年代などの割り付け（回収目標数の設定）がされていることが多くなっています。しかし、どの層でも同じ回収率ではありません。出現率と協力率の影響があり、どちらの問題であっても回収率が芳しくない層が出てきますので、その層には多めに配信を行います。
つまり、例えば女性20代の回収数が不足したとすれば、女性20代だけスクリーニングを多めに配信し、本調査の回収が終わるまでスクリーニングを取りつづけたりします。
このように、本調査では各年代均等になっていても、スクリーニング調査では性年代などが均等ではないことが大半であり、スクリーニング調査の結果は、「市場そのまま」ではなく、多少歪んでいると思った方が良いでしょう。
また、○○ユーザーなどにアクセスできる「スペシャルパネル」の使用時に顕著となりますが、事前に把握しているデータに基づいて、○○ユーザーだと思われる人だけに配信した場合は、スクリーニングデータは「再確認」という意味しか持たなくなります。スペシャルパネル使用時は、「初めから絞って配信」していますので、スクリーニングデータを集計しても既に「一般的な消費者とはかけ離れたデータ」となっています。
●調査タイトルの影響
また、調査タイトルの影響もあります。
「自動車の任意保険」に関する調査をするとしても、正確な対象条件が分からないよう、あるいは、身構えをさせないためにも通常はそのままのタイトルとはせずに、多少ぼかしたタイトルとします。
自動車の要素を消して「損害保険」に関する調査、「保険」に関する調査などとするか、保険の要素を消して「カーライフ」に関する調査などと、調査タイトルをぼかします。
ただ、「車か…俺には関係ないな…。」などと車を持たない人、車への関心の薄い人はタイトルで判断して回答しなくなってしまうケースがあるので若干回答者が偏った状態となる懸念もあります。
（更にそれを避けるため、多少回収率を落としても、「普段の生活に関する調査」、「あなたご自身に関する調査」といったボケボケで何の調査か見当がつかないタイトルを使うこともあります。）
一方、【回収率を上げる】ためには、多少でも情報を出した方が、対象者は「自分事」として捉えやすくなり回答するモチベーションも上がりますので、「カーライフ」に関する調査などと言う「少しだけ調査テーマが想像できるタイトル」を使うことが多いようです。
先ほどの各年代で均等でないこともあわせ、スクリーニングデータは、市場そのままではなくわずかながら歪んた調査結果となることが多いため、少し取扱いに注意が必要なデータとなります。
●スクリーニングデータは信用できないのか？
「となると、スクリーニング調査の結果は信用してはならないのか？」という疑問をお持ちになるのではないでしょうか。
答えを申しますと、歪みがあることを想定し、「スクリーニング調査データ単独でも使用できる設計」をしておけば、これらの問題を回避できます。
多少コスト増にはなりますが、「スクリーニング調査自体」に各年代などで割り付けを実施し、正しい分布となるようにする方法があります。本調査は「そこを通過した人」ということで割り付けを行わない自然分布に任せる調査設計とします。本調査で各年代の数はばらつきますが、それが「自然にそうなったのなら問題はない」という発想です。（目的次第ですが、各年代の割り付けは必ずしも均等である必要はありません。）
あるいは国勢調査のような「信頼できる性年代などの分布」が把握できているのであれば、スクリーニング調査は通常通り実施し、後からウェイトバック集計をして割り付け毎の数を補正する方法もあります。
つまり、スクリーニング調査のデータが「歪まないように設計する」か、「歪んでも補正して集計すればよい」という発想です。
調査タイトルも先述のように、少しぼかしたものとしておく方が良いでしょう。
●注意すべき点
ただ、注意すべき点があります。
本調査のデータは、「いい加減な回答」をしていると思われる「不良回答」が除かれることがあります。
しかし、スクリーニング調査の場合、質問数も少ないので判別がしずらく、本調査に進める人を落としたくないこともあり、不良回答が判別されずそのまま含まれるケースが多いように思われます。それはスクリーニング調査が「対象者を発見するための調査」という性格によるためです。
スクリーニング調査の結果もありがたい情報には違いありませんが、このように本調査に比べて少し精度が落ちる可能性があることは念頭におくべきでしょう。
特に「サンプル数が多ければ統計的な誤差は減少し、精度が高まる」という一般論があるのでその一般論に引っ張られ、スクリーニング調査ならではの「回答がゆがむ可能性」があることを忘れてはなりません。例え数万サンプルあっても、ゆがんだ結果はサンプル数の多さでは正されません。
また、別の観点で言えば、あくまでスクリーニングは「本調査の対象条件に合致するかどうか？」のための質問ですので、「本調査で聴く質問への影響」をできるだけ排除した方が良いでしょう。ですので、ブランド名をあまりに多く聞いてしまったり、早い段階で色々考えさせてしまったりして、後の本調査の回答に影響を与えるような質問は避けることが望まれます。
スクリーニング調査の結果は「副産物」であって、「本調査ありき」の設計になっている点にご注意頂ければ…と考えています。
色々述べましたが、【サンプル数さえ多ければデータの精度が上がる】…と単純に考えることに危険性がありますので、「どうやって集めたデータなのか？」という原点にぜひ立ち返ってみてください。これは本調査データ、そして公表されている他の調査データ、そして「ビッグデータ」にすら当てはまる教訓です。
（※購買履歴のビッグデータでも、ポイントカードを用いないで購入するケースなど網羅性が完全ではないことがあります。）
ベーシックな話ですが、ベテランの方でも割とこの罠にはまりやすいので、この機会に振り返って頂けますと幸いです。
