第220回「京大さん、日経さん、ネット調査信頼は無茶」
８月に京都大や同志社大などのグループがインターネット調査で約1600人調べた結果、「理系は文系より年収が１００万円高い」と発表したので、《「理系が文系より高給」京大さん、それは無茶》（記事下部に転載）で批判しました。マスメディアがこうした発表があったと伝えるのは中身にどんな問題があろうと構わないのですが、９月20日に日経新聞が事もあろうに教育面でグループのリーダー、西村和雄・京大特任教授の寄稿を大きく掲載しました。これでは日経新聞としてオーソライズしたことになります。世論調査を手がけた経験者には当たり前の「インターネット調査はきちんとした社会調査に使えない」との常識が欠けているのは大問題です。
日経新聞の見出しは「理系卒、職業選択肢広く／京大特任教授ら調査／年収、実は文系よりも高く／定説は誤り／文理問わず勉強を」となっています。このグループは2000年と2001年にも私立３大学の文系学部卒業生の平均年収を郵送調査し、入学試験で数学を選択した方の748万円に対し選択しなかった方は641万円（2000年分）などの結果を出しているそうです。「数学を勉強しても社会で役に立たない」と言われることへの実態調査だそうですが、文系進学でも数学を選択できた能力の高さが反映しているだけともとれます。
今回のインターネット調査は「予備調査で約９万人のサンプルに配信した上で大卒者６８７０人に絞って配信し、２１５２人の有効回答から分析に用いる変数に欠損がない１６３２人を分析した」とだけ説明されています。その結果が平均年収で文系（平均41.11歳）583万円に対し、理系（平均41.05歳）が681万円と高く、これは年齢別でも大学の難易度別でも同じだったといいます。文系で数学選択の有無をみると、636万円対506万円で数学選択者が高く、前回同様といいます。
このインターネット調査だけで結論が出せる度胸の良さに唖然としました。この1632人がどうして日本の大学卒業者全体を代表できるのか、どこにも説明がありません。たまたま調査会社に登録した人から大卒者を選び、３割もない有効回答率の下で議論をしています。年収は完全に自己申告でしょうから正確とは思えません。また、テーマが収入であることを考えると、ネット調査会社に登録してお金を得ようとしている人ばかりが対象となれば、かなりひねくれた偏り、いわゆるバイアスがあると考えられます。
広く認められている世論調査でサンプルを集める手法は層化２段無作為抽出法と呼ばれます。調査地点を最初に選びます。全国3000人調査なら、１地点10人として300地点を全国から選んできます。その際に全国から集めてもどこも都市中心部だった、では困ります。地点の性格を商業地、住宅地、工業地帯、農林漁業地区などに分類、全国的にみてこの地区性格の割合も全国の縮図になるようにランダムに選びます。「層化」とはこういう意味で、２地点しか選ばれなかった小さな県では都市部なしの田舎ばかりというケースもあります。
新聞社ではあらかじめいくつもの全国調査地点セットを用意しておき、必要に応じて使い分けます。面接調査をするなら有権者名簿や住民基本台帳で地点ごとにもう一度、ランダムサンプリングして対象者を確定します。最近多い電話調査の場合は、電話番号の下から３桁目以上が所在地を表しているので、調査地点に入る電話番号を集めてきて、コンピュータでその中からランダムに番号を発生させます。電話帳に載せず、誰にも知らせていない番号でも掛かることがあります。
内閣府が2008年に調査研究「世論調査におけるインターネット調査の活用可能性〜 国民生活に関する意識について 〜」を実施しています。上述の層化２段無作為抽出法で得た20歳以上全国１万人調査と、年齢・性別の人口構成を合わせたモニタ5359人によるネット調査の結果を比較する研究です。有効回収は面接が6146人、ネットが1500人です。面接分からネットを毎日使う2088人を取り出した結果も並べられています。
所得・収入での満足度を尋ねると、ネット調査では「満足2.2％、まあ満足25.7％、やや不満28.9％、不満38.3％」に対して、面接の世論調査は「満足5.6％、まあ満足35.2％、やや不満37.4％、不満20.3％」で、ネット側の不満の高さが目立ちます。面白いのは面接分でネットを毎日使う層が両者の真ん中に入るのではなく、不満度は一番低いのです。ネットを使う人の中でもネット調査モニタはかなり特異です。「現在の生活の充実感」などの質問でも同じ傾向です。
研究の「比較分析」はネット調査と面接の世論調査について「結果を見ると，前回と同様に，経済面とはそれほど関連しない『時間のゆとり』においては差異が小さく，『今後は心の豊かさか／まだ物の豊かさか』，『将来に備えるか／毎日を楽しむか』など，経済面に大きく関連する分野においては差異が大きい」と述べ、「現時点で世論調査が直ちにネット調査に置き換えられる可能性はほぼない」と結論づけています。
社会調査も科学として見れば、現実に起きている事象・現象の観測行為です。何を観測しているのか説明できないのに、結果だけを一般化してしまうのは最悪です。京大さん、日経さん、それは無茶です。
《「理系が文系より高給」京大さん、それは無茶》Blog vs. Media 時評（2010.08.25）
朝日新聞の「『理系は文系より年収が１００万円高い』 京大など調査」を見て、困ったものだと思いました。統計調査の基本、母集団の整備が出来ていないで結論を急ぐ典型的な悪例です。インターネット調査で1600人調べたと言い、京大が入ってちゃんとした研究に見えるのだから始末が悪いですね。理系と文系の収入を比較したければ、人事院が毎年している職種別民間給与実態調査が利用できます。以下に平成２１年職種別民間給与実態調査「表６ 職種別、年齢階層別平均給与月額」からの抜粋を掲げます。
いかがでしょうか。医療関係を除けば、依然として文系が理系よりも高給である状況に変化はありません。事務部長や支店長の方が技術系より優遇されています。40〜44歳の課長でも事務と技術で4万6000円の差が出ていて、これは結構大きいと思います。記事にある「２０〜６０代の１６３２人（平均年齢４３歳）を分析したところ、文系出身９８８人の平均年収は５８３万円だったのに対し、理系出身６４４人は６８１万円だった」はこの調査と全く相容れません。きちんとした公的な調査があるのにインターネット調査に頼るのは無茶、無謀です。
この表は「インターネットで読み解く!」第143回「巨額な発明対価判決が映すもの」で使った平成８年職種別民間給与実態調査と形を合わせていますから、部長級以上では過去13年をはさんだ比較が出来ます。比べてみると56歳以上の事務部長（793,534円）や支店長（807,680円）が、現在では大幅に給与カットされていると知れます。不況による幹部社員の給与カットかも知れませんが、理系側はあまり目立ちません。多少は理系・文系の給与格差が縮小しているようです。
日経新聞の見出しは「理系卒、職業選択肢広く／京大特任教授ら調査／年収、実は文系よりも高く／定説は誤り／文理問わず勉強を」となっています。このグループは2000年と2001年にも私立３大学の文系学部卒業生の平均年収を郵送調査し、入学試験で数学を選択した方の748万円に対し選択しなかった方は641万円（2000年分）などの結果を出しているそうです。「数学を勉強しても社会で役に立たない」と言われることへの実態調査だそうですが、文系進学でも数学を選択できた能力の高さが反映しているだけともとれます。
今回のインターネット調査は「予備調査で約９万人のサンプルに配信した上で大卒者６８７０人に絞って配信し、２１５２人の有効回答から分析に用いる変数に欠損がない１６３２人を分析した」とだけ説明されています。その結果が平均年収で文系（平均41.11歳）583万円に対し、理系（平均41.05歳）が681万円と高く、これは年齢別でも大学の難易度別でも同じだったといいます。文系で数学選択の有無をみると、636万円対506万円で数学選択者が高く、前回同様といいます。
このインターネット調査だけで結論が出せる度胸の良さに唖然としました。この1632人がどうして日本の大学卒業者全体を代表できるのか、どこにも説明がありません。たまたま調査会社に登録した人から大卒者を選び、３割もない有効回答率の下で議論をしています。年収は完全に自己申告でしょうから正確とは思えません。また、テーマが収入であることを考えると、ネット調査会社に登録してお金を得ようとしている人ばかりが対象となれば、かなりひねくれた偏り、いわゆるバイアスがあると考えられます。
広く認められている世論調査でサンプルを集める手法は層化２段無作為抽出法と呼ばれます。調査地点を最初に選びます。全国3000人調査なら、１地点10人として300地点を全国から選んできます。その際に全国から集めてもどこも都市中心部だった、では困ります。地点の性格を商業地、住宅地、工業地帯、農林漁業地区などに分類、全国的にみてこの地区性格の割合も全国の縮図になるようにランダムに選びます。「層化」とはこういう意味で、２地点しか選ばれなかった小さな県では都市部なしの田舎ばかりというケースもあります。
新聞社ではあらかじめいくつもの全国調査地点セットを用意しておき、必要に応じて使い分けます。面接調査をするなら有権者名簿や住民基本台帳で地点ごとにもう一度、ランダムサンプリングして対象者を確定します。最近多い電話調査の場合は、電話番号の下から３桁目以上が所在地を表しているので、調査地点に入る電話番号を集めてきて、コンピュータでその中からランダムに番号を発生させます。電話帳に載せず、誰にも知らせていない番号でも掛かることがあります。
内閣府が2008年に調査研究「世論調査におけるインターネット調査の活用可能性〜 国民生活に関する意識について 〜」を実施しています。上述の層化２段無作為抽出法で得た20歳以上全国１万人調査と、年齢・性別の人口構成を合わせたモニタ5359人によるネット調査の結果を比較する研究です。有効回収は面接が6146人、ネットが1500人です。面接分からネットを毎日使う2088人を取り出した結果も並べられています。
所得・収入での満足度を尋ねると、ネット調査では「満足2.2％、まあ満足25.7％、やや不満28.9％、不満38.3％」に対して、面接の世論調査は「満足5.6％、まあ満足35.2％、やや不満37.4％、不満20.3％」で、ネット側の不満の高さが目立ちます。面白いのは面接分でネットを毎日使う層が両者の真ん中に入るのではなく、不満度は一番低いのです。ネットを使う人の中でもネット調査モニタはかなり特異です。「現在の生活の充実感」などの質問でも同じ傾向です。
研究の「比較分析」はネット調査と面接の世論調査について「結果を見ると，前回と同様に，経済面とはそれほど関連しない『時間のゆとり』においては差異が小さく，『今後は心の豊かさか／まだ物の豊かさか』，『将来に備えるか／毎日を楽しむか』など，経済面に大きく関連する分野においては差異が大きい」と述べ、「現時点で世論調査が直ちにネット調査に置き換えられる可能性はほぼない」と結論づけています。
社会調査も科学として見れば、現実に起きている事象・現象の観測行為です。何を観測しているのか説明できないのに、結果だけを一般化してしまうのは最悪です。京大さん、日経さん、それは無茶です。
《「理系が文系より高給」京大さん、それは無茶》Blog vs. Media 時評（2010.08.25）
朝日新聞の「『理系は文系より年収が１００万円高い』 京大など調査」を見て、困ったものだと思いました。統計調査の基本、母集団の整備が出来ていないで結論を急ぐ典型的な悪例です。インターネット調査で1600人調べたと言い、京大が入ってちゃんとした研究に見えるのだから始末が悪いですね。理系と文系の収入を比較したければ、人事院が毎年している職種別民間給与実態調査が利用できます。以下に平成２１年職種別民間給与実態調査「表６ 職種別、年齢階層別平均給与月額」からの抜粋を掲げます。
いかがでしょうか。医療関係を除けば、依然として文系が理系よりも高給である状況に変化はありません。事務部長や支店長の方が技術系より優遇されています。40〜44歳の課長でも事務と技術で4万6000円の差が出ていて、これは結構大きいと思います。記事にある「２０〜６０代の１６３２人（平均年齢４３歳）を分析したところ、文系出身９８８人の平均年収は５８３万円だったのに対し、理系出身６４４人は６８１万円だった」はこの調査と全く相容れません。きちんとした公的な調査があるのにインターネット調査に頼るのは無茶、無謀です。
この表は「インターネットで読み解く!」第143回「巨額な発明対価判決が映すもの」で使った平成８年職種別民間給与実態調査と形を合わせていますから、部長級以上では過去13年をはさんだ比較が出来ます。比べてみると56歳以上の事務部長（793,534円）や支店長（807,680円）が、現在では大幅に給与カットされていると知れます。不況による幹部社員の給与カットかも知れませんが、理系側はあまり目立ちません。多少は理系・文系の給与格差が縮小しているようです。