党学校ランキングは偏見のある自己実現的な予言ですか？

プリンストンレビュー は、各カレッジの学生のオンライン調査に基づいて、毎年「Best of…」カレッジリストを発行しています。彼らは調査プロセスを次のように説明しています：

プリンストンレビュー調査では、学校の学業/管理、キャンパスライフ、学生の体、そして自分自身について80の質問を学生に尋ねています。この版のランキングの集計は、2006-07年または前の2学年における、本の366校（全国のすべての学校ではない）の120,000人の学生（キャンパスあたり約325人）の調査に基づいています。

細かい活字を読むまでは、どれもうまく聞こえます。

私たちの調査は、量的というよりは質的で逸話的なものです。特定のカレッジのマークから外れている記事を作成しないようにするために、各学校の管理担当者に、修正、コメント、および/または完全に返信するための十分な機会をもって公開する予定のプロフィールのコピーを送信します異議。変更のリクエストを受け取った場合は常に、収集した生徒の調査データと照らし合わせて学校の提案を見直し、必要に応じて適切な変更を加えるために、慎重な措置を講じます。

調査結果の代表例について最も説得力があるのは、次のとおりです。調査を終えた生徒は、調査を終えた後、前年に学校について公開した情報を確認し、その正確さと有効。毎年、高い評価を得ています。今年、81％の生徒が正解だと答えました。

したがって、基本的に彼らは、調査データが大学の主観的で物語的な描写を提供することを目的としていることを認めており、幅広い一般化を引き出すことができるものではありません。それでも、まさにそれが プリンストンレビュー 彼らのデータで処理を進めます—調査から広範な一般化を引き出し、大学を定量的にランク付けします。大学自体が、自分の学校が指定されたリストに表示されるかどうかに、未知の影響を与える場合があります。ランキングプロセスが不明瞭で謎に包まれているように見える場合、それは意図的なものです。

研究者はどのようにして事例データを定量的データに変えることができますか？まあ、科学的にはできません（たとえば、文字通りリンゴやオレンジの比較であるため、調査に基づく手順はありません）。このような組織がこのような性質を持っている場合、そのようなランキングは、実際に学校に通った人たちの他の人々の意見に基づいて、リストをまとめた人々の意見にすぎないと主張することができます。

すべてが問題ないことを除いて、 レビュー これらすべてをリストに入れ、そうでない場合に一般化可能な意味を持つことを示唆します。「Top 20 Party Schools」のリストは、「アルコールと薬物の使用、毎日の学習時間、ギリシャシステムの人気に関する調査質問の組み合わせ」に基づいた一部の人々の意見にすぎません。彼らは、学校のランキングを異なって歪めるだろうと考えるために、同じように簡単に異なる応答のセットを選択することができました。

大きな生徒体を持つ大規模な学校は、ギリシャのシステムの規模（大きな）と、生徒に提供するさまざまな社会的およびその他の非学術的機会の点で大幅に異なる可能性はほとんどありません（その結果、毎日の学習時間が短くなります）。。生徒がどれだけ飲んでいるかを調べることと組み合わせると、そのような学校は「パーティースクール」になる可能性が高くなりますか？もちろん違います。それは、学校が学習と社交の両方に最適な場所であることを意味するだけかもしれません。

この先週末にAPSで発表されたポスター、「自己実現預言とプリンストンレビュー：大学で飲むための説明または処方箋」のように測定する提案を私の頭に入れます プリンストンレビュー 疑わしい妥当性があります。研究者は、ニューヨーク西部にある中規模の単一大学の10年間の実際のアルコール使用量データを調べ、それを関連するさまざまなランキングと比較しました。 プリンストンレビュー。彼らはランキングを見つけました プリンストンレビュー 彼らが調べたどのアルコール使用データとも体系的な相関関係はありません。彼らが見つけたのは、アルコール消費量データが公開された後に公開されたランキングと相関していたことであり、一種の自己実現的な予言を示唆しています。

研究者たちは、彼らの研究は1つの大学でのみ行われたため、調査結果から一般化する前に、他の大学で研究を再現する必要があると指摘した。しかし、調査結果は興味深いものです。

参照：

クラーク、C.D。等al。（2008）。自己実現預言とプリンストンレビュー：大学で飲むための説明または処方箋？ 5月24日にシカゴイリノイ州シカゴで開催された第20回心理学会年次大会で発表されたポスター。