悪い研究：iPad、Kindle、本の読書速度の比較

次の人と同じくらいユーザビリティの研究が大好きです。しかし、私たちは自分たちの限界を正しく指摘し、何よりも査読付きのジャーナルに掲載されている、うまくデザインされたエレガントな研究が大好きです。プロパガンダとして機能する研究や、自分のデータに裏付けられていない結論を導き出す研究者への愛はあまりありません。

悪い研究はどこにでも見られます—使いやすさの研究から生計を立てているコンサルタントによってさえ。ヤコブ・ニールセンのような意味のある人たち。最近、彼は彼のウェブサイトでKindle、iPad、PC、そして短編小説を読むための本の使いやすさに関する研究を発表しました。

KindleまたはiPadでの読書の間に統計的な違いはなかったと指摘した後、データがiPadと本の統計的有意性に達しなかったと指摘した後も、このレポートの作成者は「タブレットよりも本が速い」と宣言しました。

ええ、そうです、それは一見して真実です。しかし、そもそも研究と統計分析のポイントは、 らしい 真実であり、違いが意味があるかどうかを確認します。結局のところ、データは何かを意味しているように見えるかもしれませんが、統計がそれを裏付けていない場合、意味の外観は単なる幻想です。誤解を招くおそれがあるため、サブタイトルで強調すべきではないもの。

実際、この特定の研究のデータによると、Kindleで読むことだけが統計的に本を読むこととは異なりました。しかし、それはより広い「タブレットよりも本が速い」よりもはるかにセクシーな結論ではありません。

この研究では、結果の代替説明はありませんでした。見つかった結果の最も明白な代替説明は、人々が本の印刷された単語を読むことに非常に精通し、経験を持っているということです。一方、新しいデバイス（KindleでもiPadでも、PCでも）からの読み取りに費やす時間と経験は非常に限られています。いずれにせよ、人々はこれらのデバイスの1つから何十年も本を読んだことはありません。したがって、それは単に親しみやすさの問題である可能性があります。本は、読み物を取り込むための簡単で親しみやすい方法です。 KindleとiPadは（まだ）そうではありません。

この代替の説明は、KindleとiPadのデータの違いを説明しています（Kindleは統計的には本よりも大幅に遅くなりましたが、iPadはそうではありませんでした）。 iPadは、ほとんどの人がすでに精通している画面を使用しており、この種のハンドヘルドデバイスに関するAppleのユーザビリティの専門知識はよく知られています。一方、Kindleは、これまでに出会ったことのないスクリーン技術を採用しています。また、Kindleは日常の状況（屋外で読書したり、毎日充電する必要がないなど）ではるかに使いやすくなっていますが、見慣れないテクノロジーを使用した見慣れないデバイスです。

研究の制限には、その設計と主題プールが含まれます。 24人の被験者が統計分析に十分な力を与える可能性がありますが、人々の読書スタイルは十分に異なるため、大規模な実験ではより堅牢で決定的な結果が得られる可能性があります。同じ17分のストーリーを4回続けて読むように求めることも、理想的とは言えないようです。デバイスが読み取るデバイスの順序はランダム化されていましたが、同じストーリーを4回続けて何度も読むのは、どれほど退屈で単調なことかと思わざるを得ません。

フィクションとノンフィクションの両方の異なる種類の読書資料を提供することも、測定値として使用されているコンテンツの種類が誤って読書速度に影響を与えていない可能性のある影響を排除します。ヘミングウェイ（現在の研究で使用されている作家）は優れた作家ですが、彼が誰の好みや趣味でもないということはほとんどありません。興味の少ない資料を読むことも、読書時間に影響を与える可能性があります。

この調査で実証されたのは、短いフィクションの作品を読むためのさまざまなテーブルコンピューティングデバイスは、デバイスに特に精通していないユーザーの読書時間に大きな影響を与えないことです（読書時間が大幅に遅いKindleを除く）。当然のことながら、iPad、Kindle、およびブックはすべて同様のユーザー満足度スコアを示しており、これらのデバイスには、ユーザーの使用満足度を損なうような重大なユーザビリティの問題がないことが示されています。