データを語らせますか？いいえ、常にではない

アイオワ大学の尊敬される教授であり研究者であるフランクLシュミットは、土曜日に行われた心理学協会の第20回大会で、科学的データがどのように嘘をつくかについて講演しました。はい、そうです。尊敬された査読付きのジャーナルで発表されたものであっても、経験的なデータは定期的に真実を伝えません。

シュミット氏の講演は、大会が開催されているシカゴのシェラトンホテルアンドタワーズで最大の宴会場の1つで盛大に行われました。不均一なプレゼンテーションでしたが、シュミットの主なポイントが出てきました。

その1つは、複数のデータセットの素朴な解釈が最も正確である可能性が高いことです— Occamのかみそり（「通常、最も簡単な解決策が最良の答えです」）。シュミットは、優れた研究が複雑なデータの根底にある単純な構造を見つけると主張しています。

彼は、データが研究に「存在する」ことができる主な理由が2つあると要約しました。それは、サンプリング誤差と測定誤差です。

シュミットの最大の批判は、統計的有意性などの有意性検定による心理学のフェチに向けられていました。彼は心理学がその信頼性と統計的有意性への魅力から遠く離れて移動することを望みます。なぜならそれは基本的に基礎となるデータや仮説についてほとんど語らない弱いバイアスのある測定だからです。

シュミットは、重要性テストを取り巻く6つの神話を説明しました。 1つの神話は、良いp値は実際には研究のパワーレベルの単なる指標であり、有意性の指標であるというものでした。もう1つは、有意性が見つからなかった場合、つまり変数間に関係が見つからなかったことを意味します（実際には、研究に十分な能力が欠けていたことを単に意味している可能性があります）。

シュミットのソリューションはシンプルです。代わりに、効果のサイズ（ポイント推定値）と信頼区間を報告し、有意性検定を完全に重視しないでください。

彼は心理学研究におけるメタ分析への新たに発見された強調を非難し、特にジャーナルを呼び出しました 心理学速報。まだ発表されていない研究で、彼と他の研究者は、出版されたすべてのメタ分析を調査しました 心理学速報 1978年から2006年まで—全体で199件の研究。

研究者らは、調査したこれらの研究の65％がメタアナリシスに「固定効果」モデルを使用していることを発見しました。シュミットは、固定効果モデルではデータの関係が過小評価され（50％程度）、研究者はそれらがどれほど正確であるかを過大評価している（その推定値には誤差がほとんどない）と主張しました。代わりに、シュミットはこれらの変動をよりよく説明する「ランダム効果」モデルを好みます。

また、調査した90％の研究では、測定誤差の修正は行われなかったことにも言及しました。これは、データが心理学の研究に「含まれている」可能性があると述べた主な理由の1つです。

この分析を踏まえて、シュミットは査読付きジャーナルに発表された非常に多くのメタ分析が誤ったまたは誤った結論に達することを示唆しています。

悲しいことに、この状況はすぐに変わることはほとんどありません。多くの心理学ジャーナルは、シュミットの提案をより忠実に守る研究の出版のためにより厳しい基準を採用していますが、多くはまだ変更しておらず、変更する意図はないようです。

これが平均的な人にとって意味することは、出版されたすべての研究が査読付きのジャーナルに載っているからといって信用できないということです。それはプレスリリースを通じてメディアに「事実」として公表されます。そのような事実は、順応性があり、変化し、欠陥があります。そのような研究を注意深く読み、分析することによってのみ、我々は彼らが提示するデータの価値を理解することができます。