【注意！】Web上に転がる調査データを安易に信じてはいけないワケ

最終更新日： 2020年1月18日 by 渡邉 俊

マーケティングリサーチャーの渡邉 俊です。

このサイトでは主に中小企業や個人の起業家の方に向けて、『自前で安価に行うマーケティングリサーチ』の方法を紹介していますが、もちろん既に誰かが実施したリサーチ結果がインターネット上に公開されていて、そのデータが自分のビジネスの参考になるのであればドンドン参考にして構いません。

しかし。
インターネット上に公開されているデータだからといって何の疑いもなく信じてしまうのはかなり危険です。
ネットのデータを安易に信じてしまったばっかりに、自分のビジネスについて間違った選択をしてしまった方はたくさんいらっしゃいます。

そこで、今回はインターネット上に公開されている調査データを参考にする際、そのデータを信じてよいかどうかのチェックポイントをお話ししたいと思います。

あなたはこのデータを信じますか？～事例1～

先日インターネットを見ていると、以下のような調査データがある調査会社から公開されていました。
都道府県別のFacebook利用率だそうです。

※クリックすると拡大します

 

これによると、Facebookの都道府県別利用率は、

1位：福島県 (47.5%)
2位：鳥取県 (46.5%)
3位：佐賀県 (45.5%)
・
・
47位：群馬県 (19.0%)

だそうで、47都道府県のうち福島県が最も高く、逆に群馬県は最も低いという結果でした。

ということは、この結果が正しいのであれば、Facebook広告で何かしら商品の宣伝をすると福島や鳥取では効果が期待できますが、群馬ではあまり期待できないということになります。

果たしてこのデータ、本当に信じてよいのでしょうか？

私はこのデータを見た時、信じるのはかなり危険であると思いました。
その理由は以下の４つです。

1. 『有意差』がない
2. 回答者属性の偏りが不明
3. 質問文の表現があいまい
4. 調査条件の記載が足りない

順を追って説明します。

このデータを信じてはいけない理由～事例1～

1.『有意差』がない

調査データを信用できるかどうかを判断する為に一番最初に確認しなければならないのは、調査対象の『サンプル数』と『有意差』です。

 

『有意差』とは何か？
これについて説明するとかなり長くなるのでここでは割愛しますが、要するに『意味のある差』があるか？という事です。

上記の図にもある通り、この調査のサンプル数は2830人です。
この数字だけ見るとサンプル数は十分だと思ってしまいますが、問題はその後ろに書いてある『全国都道府県均等割付』という言葉です。

これは、都道府県別のサンプル数が47都道府県で均等になるようにしたという意味になります。
ということは「2830 ÷ 47 = 約60人」ですから、各都道府県で60人前後の方に回答してもらって集計したという意味になります。

 

ちょっと固い話になりますが、アンケート調査というのは統計調査ですから、サンプル数は多ければ多いほど信頼性が高くなります。
しかし当然、国民全員にアンケートを取るのは不可能なので、各都道府県の代表：約60人を対象に調査している訳です。
ここまでは何も問題ありません。

ですが、問題なのは『1位：福島県 (47.5%)』、『2位：鳥取県 (46.5%)』、『3位：佐賀県 (45.5%)』という風に順位をつけてしまうのは絶対にダメです。
なぜなら、この調査を何度も何度も繰り返しやっても同じ順位になるかどうか？という検証が抜けているからです。
もう1度同じ調査をしたら、佐賀県や鳥取県が1位になっている可能性もありますし、別の都道府県が上位にくる可能性もあります。

このように、『今回の調査結果は偶然ではないよ！』ということを検証する為に『有意差検定』というものを普通はやるのですが、それをやった上でデータを公表しているのかどうかが記載されていないのです。

実はこの結果の有意差を勝手に検定してみると、『有意に差はない』という結果が出てきます。
要するに『今回の結果は偶然だった可能性がある』という事になり、公開されているデータの信頼性は低いという事になります。

 

2.回答者属性の偏りが不明

Facebookに関しては皆さんご存知の通り、『若者離れ』が騒がれています。
確かに私の周りの10代～20代の方々も、Facebookのアカウントは持っているもののほとんど使っていないように見えます。
ですが、この若者離れが全国的に見て本当かどうかは私もわかりません。

ただ1つ言えるのは若者離れという噂がある以上、まずそれを調査で明らかにした上で、必要に応じてサンプルの『割付』を行わないと正しい順位付けはできないはずです。
割付とは「性別や年代などで、回収する回答者のサンプル数を条件別に設定すること」です。

本当に若者離れの状態なのにも関わらず、福島県や鳥取県のサンプル数は年配の方が多く、逆に群馬県は若者が多いという形で調査が行われているのであれば、データの取り方がそもそもフェアじゃないという事になります。

従いましてもし若者離れが本当なのであれば、各都道府県の60人のサンプル数のうち、例えば40歳以上の比率を多くして10～20代を少なくするといったサンプル数を調整し、かつ全都道府県でその比率を揃える必要があるのです。

3.質問文と選択肢の『表現』があいまい

このデータを取るにあたり、『Facebookを利用していますか？』という極めてシンプルな質問でアンケート調査を行ったように見えますが、これに対する『はい』、『いいえ』のそれぞれの回答数をただ集計しているだけなのであればかなり乱暴です。

なぜなら、この質問だと回答者側解釈が人によってマチマチになってしまうからです。

もちろん毎日Facebookを見ているヘビーユーザーは『はい』と答えるはずですが、単純にアカウントを持っているだけ、または月に1回しか開かない人でも『はい』と答えてしまう可能性があります。

Facebookの利用率をきちんと測定するのであれば、『Facebookを利用する』の定義を明確にしないといけません。
例えば、『Facebookアカウントを持っていて週1回以上閲覧する人』をFacebook利用者と定義するのであれば、

あなたは日頃Facebookをどの程度閲覧しますか？以下の選択肢の中からあなたに一番近いものを1つお選びください。
① ほぼ毎日
② 週に平均4～5日程度
③ 週に平均2～3日程度
④ 週に平均1日程度
⑤ 週に平均1日未満
⑥ アカウントを持っていない

という形で設問文と選択肢を作成して、①～④と答えた方を利用者としてカウントする必要があります。

4.調査条件の記載が足りない

上記の調査データでは『有意差』、『サンプル割付』、『質問文と集計の定義』が不明なので結果そのものを信頼できません。
ですが、きちんとしたマーケティングリサーチャーがこの調査を行っているのであれば、このような情報はきちんと公開しているWebページ上に記載しているはずです。

どのような状況で調査をしたのか、結果をどのように解釈すればよいのかは極めて重要な情報だからです。
それを記載していないということは、あまり信頼してはいけない会社が調査を行っている？と疑われても仕方のないことなのです。

 

あなたはこのデータを信じますか？～事例2～

またこんな調査データもWeb上で公開されていました。

※クリックすると拡大します

年代別のインターネット利用率です。
こちらの会社はこのデータを使って、『70代の方でも58%がインターネットを活用する時代！』という事が言いたいのだそうです。

事例1と同様、ここでは『インターネット活用者』をどう定義しているのかを何も書いていない所がまずダメです。
しかしそれ以上に、このデータを信じてはいけない根本的な理由があります。

そもそも調査方法が不適切

そもそも、インターネットの利用率を『インターネットリサーチ』で調査していること自体が間違っています。
ご存知のようにインターネットリサーチとは、回答者がインターネット上でアンケートに答える方法ですので、年代に関わらずこの調査の回答者は、ある程度インターネットを活用している人であるはずです。

その為、結果として出てくるインターネット利用率は当然のことながら高い数値になってしまう訳で、それが今の世の中を示している数値であるとは絶対に言えません。

この場合、本当にインターネット利用率を明らかにしたいのであれば、インターネットリサーチではなくて別の方法、例えば郵送調査や電話調査で行うべきです。

 

まとめ

以上のように、Web上にあるデータだからといって何も疑わずに信じてしまうのはかなり危険です。
少なくとも上記のように、
●調査方法は適切か？
●サンプル数は十分か？(記載されているデータの有意差はあるか？)
●サンプルの抽出条件は適切か？（必要に応じて割付されているか？）
●データの元となっている質問文は適切か？

などは確認した上で活用しましょう。
もしこれらの情報が十分記載されていなければ、そのデータは信用できないと考えてよいと思います。

 

[ShortCode1]