世界・オブ・心理学ブログ

おっとっと！結局のところ、心理学における「複製可能性の危機」はない

画期的な科学に取り組んでいる270人の科学者を含む研究プロジェクト（Open Science Collaboration（OSC））がある場合、彼らがいくつかの基本を正しく理解することを望みます。方法論的に健全で、同僚からの精査に耐えることができる無作為化研究を設計するように。

しかし、2015年8月に44人の研究者によって発表された画期的な記事「心理学の再現性の推定」（Nosek et al。、2015）には、いくつかの重大な欠陥があったようです。新しい記事は、心理学に「複製可能性の危機」が実際にはないことを示唆しています。

ハーバード大学とバージニア大学（Gilbert et al。、2016）の4人の研究者が彼らの調査結果を理科（彼らの心理学の複製のウェブサイトはすべてのデータと資料をホストしています）。彼らは、その調査結果に深刻な疑問を投げかける最初の研究で3つの主要な統計的エラーを発見したと信じています。新しい研究者は、「確かに、証拠は反対の結論と一致しています。心理学の再現性は非常に高く、実際には統計的に100％と区別がつかないのです。」

おっとっと。

元の研究（Nosek et al。、2015）は、2008年に発行された論文で報告された100件の実験からの発見を、3つの上位心理学ジャーナルに再現しようとしました。研究に対する最初の批判は、これは心理学研究の無作為抽出ではなかったということです。代わりに、Nosekグループは、研究の選択を心理学の2つの分野のわずかな2つを表す3つのジャーナルのみに制限し、発達心理学や臨床心理学などの主要な領域を除外しました。それからNosek等。彼らが調査した3つのジャーナルからの研究の77％以上を実際に失格とする、恣意的な規則と基準の複雑なセットを採用しました。

偏ったサンプルで始まる研究には問題があるに違いありません。ランダム化されたサンプルから始めないことで、研究者たちはすでに残念な結果を得るための準備を支援しました。

レプリケートするスタディを（大幅に）変更しましょう

バイアスのかかった、ランダム化されていないサンプルから始めるよりもさらに悪いのは、研究者が実際に複製を行う方法でした。最初に、研究者は「特定のチームに特定の研究を複製するよう依頼するか、またはチームに複製したい研究を選択することを許可しました」。研究者を無作為に複製する研究に割り当てるのではなく、研究者が自由に選択できるようにします。つまり、各研究者のバイアスを取り入れて、おそらく複製する可能性が最も低いと思われる研究を選択します。

新しい研究は、彼らが複製しようとしていた古い研究と大幅に異なる場合がありました。以下は、複製された研究がどのようにして重大な合併症を引き起こしたかを示す（少なくとも1ダースのうちの）1つの例です。

別の研究では、スタンフォード大学の白人学生が、大学での入学ポリシーについて話し合っている他の4人のスタンフォード学生のビデオを見ました（Crosby、Monin、およびRichardson、2008）。討論者の3人は白で、1人は黒でした。討論の間、白人の学生の1人が肯定的な行動について不快なコメントをしました。研究者は、他の人のコメントを聞くことができないときよりも聞くことができると信じたとき、オブザーバーが黒人の学生をかなり長く見ていることを発見しました。複製研究の参加者はアムステルダム大学の学生でしたが、スタンフォード大学の入学ポリシーについて（英語で！）スタンフォード学生が話している同じビデオを視聴しました。

アムステルダムの大学の学生は、アメリカ社会とアムステルダム社会の間の重要な文化的違いを考えると、アメリカでの積極的な行動が本当に何であったかを本当に理解できますか？驚くべきことに、複製を実施した研究者たちは、研究は「実質的に同一」であると述べています（当然、研究は 彼らの 調査）。しかし、元の研究者たちは、2つの集団における文化の大きな違いを認識しており、新しい複製研究を支持していませんでした。

ギルバートと彼の同僚は、この種の問題を1つだけでなく、多くの複製研究で発見しました。 Nosek et al。この種の不整合は研究の品質（または研究者が言う「忠実度」）に影響を与えないように感じましたしかし、これらは明らかに研究の再現性に影響を与える重要な質的違いです。

もっと力が必要です！

研究はその設計に依存することもあれば、落ちることもあります。そして、調査研究の設計の重要な部分は、 パワー。複製の研究では、最初から失敗する運命にあると思われる設計を使用しました。低消費電力の設計では、高出力の研究で得られるような効果サイズを選択できません。低電力設計を採用することを選択することにより、Nosekと同僚は事実上、単一のデータポイントを収集する前に否定的な結果を確実にしました。

Nosekと同僚は、デザインの選択について、いくつかのわらじらの議論を浮かび上がらせた。彼らの返事で一つずつ撃ち落とした。ギルバートと彼の同僚の結論？

要約すると、[レプリケーションの研究者]が行った主張は、[新しい研究]の作成者が低出力設計を使用したという事実に異議を唱えず、（ML2014データの分析が示すように）これは総彼らのデータの真の複製率の過小評価。

他の心理学研究者は、2014年に同様の複製実験を実施しました（Klein et al。、2014）。強力な設計を使用して、彼らが調べたほとんどの心理学研究は再現されたことがわかりました-13実験のうち11実験が再実行されました。 Nosekらの低電力設計の影響をテストするために、Gilbertら。 2014年の調査の複製率は85％から34％に低下すると見積もられました。重要でわかりやすい違い。