悪い科学:MyType iPad Research

自分の「調査」レポートで統計や基本的な方法論を報告することについて最初に知らない「調査会社」に報道するのは嫌いです。それは、統計学者や社会科学者ではなく、主に技術者である人々が集まったときに何が起こるかだと思います。

先週、MyTypeはFacebookのパーソナリティアプリケーションで、データを受け取り、クイズへの回答に基づいて集計レポートを販売し、iPadに関するレポートをリリースしました。彼らは、iPadの所有者と購入を検討している人は「利己的なエリート」である一方、iPadの批評家である人は「独立したマニア」として特徴付けられていると示唆しました。

これが科学的分析になるとは限らないことはすでにお分かりでしょうね。

まず、MyTypeによる結果の報告です。実際のレポートに含まれていないのは、使用された実際の統計的検定、統計的有意性(p値)、および調査された各グループの被験者数です。ご存知のように、提示された結果を評価するために他の研究者が探している基本的な種類のデータ。基本的な情報がなければ、この種の「研究」は、Psychology 101クラスの学部生の論文に勝るものはありません。

ジョンホールという名前の人がコメントセクションで彼らを呼びました。その時点で、p値に関する広範な声明を発表し始めました(ただし、詳細はありませんが、各分析を分解します。これは、市場または科学で期待されることです)研究)。 F博士は、MyTypeの人々に、基本的な統計理論について教育を試みました。彼らは、優れた調査研究をどのようにデザインするかについてよく知らないためです。

コメントセクションからも明らかなのは、誰かがコメントを編集して、後で後悔したことを削除していることです。ジョンホールは明らかに、ティムケルケベックがコンピュータサイエンスの学位(どうやら学士号を取得している)を持っているため、統計学だけでなく研究デザインや方法論においても何らかの形で彼を適格だと言ったと述べています。奇数。

しかし、これが深刻な調査研究ではないという最大のプレゼントは、2つのグループの人々を説明するために選択された形容詞です。彼らは各グループを説明するためにいくつかの恣意的な性格特性を取った。 iPad以外の所有者は神経質で、安全でなく、誇りに思っており、不注意であると同じくらい簡単に言ったかもしれません。それはiPad以外の所有者の正当な特徴ですか?もちろん、そうではありません。それは、彼らの小さな偏ったデータセットが示すものだけです。それが臭いテストに合格しないことを考えると、ほとんどの研究者は、彼らが間違った道を進んでいるかどうか疑問に思うようになります。

自分たちのデータを見ると、iPadの批評家は不寛容であり、慈善活動や友情を嫌い、攻撃的で皮肉な10代の若者であると特徴付けられている可能性があります。驚いたことではありません。性別や年齢がこれらの結果をゆがめていたかどうかを気にする必要があります(また、上記の特性に代替の説明を提供する必要があります)。 「研究者」たちはまた、iPadの所有者を、想像力と洗練の両方を兼ね備えた、家族志向で、スマートで、達成度の高い大人と表現することもできました。

しかし、そうではありませんでした。彼らは、ニュースの見出しを作るために、キャッチーなマーケティングフレーズにさまざまな特性の束をまとめようとしました—フレーズは、特に正確でもなく、特に科学的に有効でもありませんでした。これにより、CNET、ZDNet、Wiredのように、科学的な厳密さや方法の欠如について眉をひそめることなく、合法的で主流の数十の報道機関が結果を報告することを止めることはできませんでした。

!-- GDPR -->