Recent Entry
Archives
Back Number
Tag Cloud
検索
 

リサーチ道場 第32回「矛盾・エラーはあってはならないものか?」

2015/05/27

タグ:牛堂雅文 エラー 矛盾

株式会社ジャパン・マーケティング・エージェンシー
企画部 ディレクター 牛堂雅文

定量調査で比較的よくある話として、同じ対象者の回答の中で「前後で矛盾する回答」があるケースがあります。

・ノートPCを持っていて、タブレットは保有していないはずなのに、「インターネットを見るのにタブレットを使っている」という回答があるなど、そういった矛盾が調査の中で見つかることがあります。

・他にも、家族の人数が前後で食い違っていたり、この年齢で小学生のお子さんがいるのは少し不自然ではないか?といったようなプロフィール面の矛盾、違和感もあります。

・また、完全に矛盾だとは言い切れませんが、「最初に気に入っているはずの商品」が後になると大して評価されず、結局「好きなのか嫌いなのか?」と判断に悩むケースもあります。

・「あるブランドを知らないと言っているのに保有している」など、そんな馬鹿な…というケースもあります。

一概には言えませんが、「ハッキリこれはおかしい」と判断できる場合は、集計時に矛盾を修正することがあります。「保有しているからには、知っているでしょ…」というような修正です。

ただ、行動経済学でも指摘されるように、「人間は常に一貫した意見を持っており、矛盾や判断のブレなどない」ということは決してありませんので、「矛盾があること自体」は何もおかしくありません。
問題なのは「極端なもの」であり、以下のようなケースです。



1)保有している物の種類や数が合わない
2)普通では考えられない異常値
3)家族構成、年齢などが不自然すぎる (35才で孫がいるなど…)
4)認知、購入、利用などで食い違いがある
5)評価に大きなずれがあり誤認があるのではないか
6)対象条件から外れている



1)保有している物の種類や数が合わない

時系列で記憶がごちゃ混ぜになっている、親の所有物と自分の所有物がごっちゃになっている、会社で使っているものを合わせてカウントした、途中から思い出した…といった可能性が考えられます。

前の回答が正しいとも、後が正しいとも言い切れませんが、最も信頼できる(したい)回答を基準に修正をするケースが多いようです。


2)普通では考えられない異常値

「一年に100回飛行機に乗る」「一日に5回風呂に入る」と言われれば、そんな馬鹿な…と感じます。「いくらなんでもそれはない」といった異常な数値(異常値)が回答されるケースがあります。

ただ、遠隔地への日帰り出張が多ければ一年に100回のフライトもあり得ない話ではありませんし、アメリカなど国土が広いと一回の出張で何度も搭乗するケースもあります。夏場に運動や汗をかく作業をする方なら1日に5回の入浴もおかしくないかもしれません。

一方で、数字の桁を間違えて回答したり、「一日と一週間を間違えた」という可能性もあり、勘違いによる異常回答もあり得ます。「何が異常値で、何が異常値ではないのか?」非常に判断が難しい点です。(統計的な視点もありますが、今回は触れません)


3)家族構成、年齢などが不自然すぎる

一般的に「未婚女性16歳、高校生」で本人の子供はいないだろう…と思えます。ただ、法律上は「一度結婚して子どもがいて既に離婚して未婚と回答」していてもおかしくありません、理屈の上では。「どこまでを許容し、どこからをおかしいと考えるか?」線引きは難しくなります。「さすがにこれはないだろう」…というところで判断をしています。


4)認知、購入、利用などで食い違いがある

「知らないはずのブランドの製品を利用している」といったケースです。
これは大抵は回答のし忘れなど単純なミスであると思われますので、購入や利用を信じて、前の認知を修正したりします。
ただ、「使っているのに最初ブランド名を忘れていた」…となると実は「ユーザーであってもブランドに対する意識が低い」という価値ある発見の可能性もあります。



5)評価に大きなずれがあり誤認があるのではないか

「製品P」の評価が高く、「非常に買いたい」と回答していたのに、後になるとあまり買いたいくなくなるといったケースがあります。本当に評価が変化したのなら矛盾ではなく発見ですが、後の質問で「他の製品と勘違いして回答した」という可能性も考えられます。
これは、「誤解・誤認ではないか?」という意味で気になる点です。


6)対象条件から外れている

最も由々しき問題は「対象条件外」でしょう。自動車保有者に聞いているのに、保有車のメーカーで「今は車を持っていない」と回答されるようなケースです。

これは「スクリーニング質問をよく見ていなかった」などの問題から起こると想定されますが、全く歓迎できない話です。大抵は集計対象から省きます。

ただ、「車は工場で修理中であり、手元にない」という可能性もあるので、確認できるケースでは「実は問題のない対象者だった」と判断されることもあります。



上記のように正確なデータを得るために、こういった矛盾やエラーの確認を行い、必要に応じて修正したり、集計対象から除外したりしています。


●矛盾の背景にあるのは何か?

ただ、ここまで読み進めて頂けるとお分かりかもしれませんが、絶対に回答のミスや矛盾だとも言い切れない側面があり、「矛盾と感じるような回答が発生する背景にはいったい何があるのか?」という視点が必要になって来ます。

例をあげると、アップル社のノートパソコン(Mac)を使っていて、OSは本来おかしい「Windows7」という回答だったとすると、「MacOSの上でWindows7を動かしている可能性(VMware等)」もあります。これは障壁を乗り越える「利用の工夫」と言えます。

医薬品で言えば「頭痛薬のバファリンを飲んでいる」と思っていたら、実は他のブランドだった…と後で気が付いた可能性もあります。ブランド力が弱いことが類推されます。

異常と思えるほどの回数を使うユーザーが本当に実在し、とんでもないエクストリームユーザーとして面白いユーザーであるかもしれません。

あるいは、調査票や回答欄が分かりにくく、間違って回答してしまいやすいのかもしれません。

そうなると「矛盾・エラー」の一言で片づけるのではなく、【なぜそういう回答となったのか】という背景に思いをはせると発見がありそうです。


●矛盾を製品などで解消できないか?

例えば、「環境に配慮した製品を買いたい」と言っておきながら、「自分に直接的なメリットがないと結局は買わない」…という話はありがちです。

発言の表面だけを見ると、「環境に配慮した製品が買いたい」というのは「ウソだ、矛盾だ、建前だ」と感じるかもしれません。

しかし、「省エネで電気代も安くなるし、環境にもいい製品」という、「自分への直接的なメリット」と、やや建て前的な「環境への配慮」を【両立できる製品】であれば、矛盾でもなんでもなくなり、「購入したい製品」になる可能性があります。

全てのケースで当てはまるわけではありませんが、矛盾やエラーには「潜在ニーズ」、「普及を妨げるハードル」などのヒントが含まれていることがあります。


●矛盾・エラーとどう付き合うか

矛盾やエラーはあまり歓迎されるものではなく、ついつい矛盾・エラーをゼロにしたくなりますが、このように「そこから得られるもの」があるかもしれません。「盲目的に全てをつぶす」…というのは一種の思考停止とも言えます。

自分の見識・常識的な概念だけで判断せずに、「こういった矛盾したようなことはあり得るのか?」と他の方にも意見を求める。意見を聞く人がいなくても、自分の中で反対派、賛成派を作り「一人でディベートしてみる」など、「賛否両方の視点で視てみること」が思考停止を避ける秘訣です。

「あり得ないだろう…」厳しく矛盾を指摘する自分と、「そんなケースだってあるよ」と矛盾を認める自分で意見を対立させてみます。


異常値などで特殊すぎる回答があった場合、「レアケース」だと言って片づけてしまわずに、「どの程度レアなのか?」「10件に1件?」「100件に1件?」「1000件に1件?」と考えてみるのも一つのコツです。(ケース・バイ・ケースではありますが、10件に1件なら比較的高確率の出現であり、「レアケース」と言って無視していいレベルではないと思っています。)

「矛盾やエラーがない世界」を当然と思わずに、「なぜ矛盾するような回答が発生するのか?」という視点も「ヒントの一つ」と捉えると、次の一手を考える良い材料になるかもしれません。


●「修正しない」という思想、「修正したい」という心理

以前、「疫学調査」といって医療関連の調査をご担当させて頂いたことがあります。その時に、通常通り修正や不良回答のカットをしようとしたところ、「それは困る、そのまま納品して欲しい」というご要望を頂きました。

それは学術的なアプローチとして「観測されたデータを重要視する」という発想であり、我々が考える「正しい、間違っている、矛盾だ」という思想には「観測されたデータを曲げてしまう危うさ」もあることを学ぶ機会になりました。

そうは言っても、我々リサーチ関係者は「矛盾・エラー」があると落ち着かないというか、心に何らかの「さざ波」が立ちます。

そこで、すぐに手を動かすのではなく、「なぜ矛盾を修正したい、矛盾を認めたくないと思ったのか」という自分の心理に向き合ってみると、自分の中に「常識やルールを逸脱したくない」といった抵抗感の存在が垣間見えたりします。
そこに「常識って本当に正しいのか?」と定型的な思考を打ち破るヒントがあるのかもしれません。



2015/05/27
タグ:牛堂雅文 エラー 矛盾
category:リサーチ道場
×

この広告は180日以上新しい記事の投稿がないブログに表示されております。