(選択した)群衆の知恵
ますます多くの企業が顧客やユーザーの知恵、つまり非常に厳選された群衆を利用しています。彼らはこれを「ビッグデータ」を通じて行います—匿名データの宝庫を収集し、それに対して事後分析を実行します。
この取り組みは、いくつかの興味深い洞察につながる可能性があります。また、企業全体に結果を一般化できると企業に提案する場合もあります。
そして、問題はこの後者の問題です。自分で選択したサンプルから始める場合、データは人口全体ではなく、そのような人々にのみ関連しているためです。これは、特定の群集からの情報に基づいて測定し、行動を起こす際の問題の1つにすぎません。
Webサイトは、約20年前から「ビッグデータ」測定を行ってきました。 Webサイトにアクセスするたびに、Webサイトのサーバーに小さなデータトレースが残ります。サーバーの所有者はこのデータを取得し、データ分析プラットフォーム(Google Analyticsなど)を介して実行します。これは、Webサイトの所有者に、Webサイトにアクセスするユーザーのタイプに関する集計情報を提供します。
すべてのWebサイトは一意であるため、そのような洞察はそのWebサイトにのみ関連しています。たとえば、CNNにアクセスするユーザーは、Match.comにアクセスするユーザーとほとんど共通点がない可能性があります。
群集の選択問題
データ分析では、統計学者はそのようなサンプリングを「自己選択サンプル」と呼んでいますが、これは「自己選択バイアス」の問題を引き起こします。簡単に言うと、これはデータが特定のアプリまたはソーシャルメディアの種類を使用する人々からのみ取得されるため、全体としての人口を表すものではないことを意味します。また、全体としての人口を表すものではないため、データについて一般化することはできません。
私はこれを「群集の選択」問題と呼んでいます。群衆から知恵を得ている場合、そこから一般化可能な洞察を得ようとする場合は、群衆が人口の代表であることを確認する方がよいためです。
Twitterからの傾向とデータを分析する以外に何もしない会社は全部あります。しかし、Twitterを誰がどのように使用しているかを見ると、そのようなデータが実際に何を意味するのかすぐに気になるでしょう。たとえば、Twitterのユーザーは一般の人口よりもはるかに若く、高齢者は非常に少ないです。 Twitterで健康の傾向を見ている会社を経営している場合、ランダムな電話調査を行った場合とは非常に異なることがわかります。
言い換えると、Twitterのトレンドは、Twitterを使用しないアメリカ人の80%以上に意味がある場合とない場合があります。
アプリは良くない
多くの場合、アプリはユーザーのデータを収集して匿名化し、それを使用して、アプリを使用している他のユーザーとパフォーマンスを比較します。これにより、アプリを共有しているソーシャルネットワークに参加しているように感じられます。それは素晴らしいアイデアです。
特定のタイプの人だけがその特定のアプリを使用するとしたらどうでしょうか?意気消沈した人だけが気分を追跡し、アプリを使用している他の人と進捗状況を比較することで、うつ病から人々を持ち上げるのに役立つ気分追跡アプリを使用するとどうなりますか?そのような結果は、それ自体で意図せずに憂鬱になる可能性があります。
あなたは社会的比較を通じて誰かを積極的に動機づけることができますか?できますが、あまりにも頻繁に、そのような社会的比較が人々を以前よりも気分が悪くなるように導くことも研究は示しています。これは非常に慎重に行う必要があります。最も一般的なアプリ開発者は理解していません。
測定すべき重要なものを除外する
アプリやサービスは、測定対象として選択したものと同じくらい優れています。測定することを選択し、測定しないことによって、意図的または非意図的にバイアスを結果にもたらすことができます。
次のように考えてください。雨の少ない新しい都市に移動することを考えているので、異なる都市の年間平均雨量のみを見ています。あなたはマイアミのような都市を調べて、「マイアミに引っ越しているわけではありません。年間62インチ近くの雨が降っています。それをシアトルがもたらすわずか37インチの雨と比較してください。シアトルは日当たりがよく、雨の少ない場所でなければなりません。」他の重要な指標を測定に含めなかったため、あまりにも限られた情報に基づいて誤った選択をしました。
アプリやウェブサイトの開発者が何かを測定する上で重要だと考えるものは、実際には、除外したものほど重要ではない場合があります。投薬に対する反応のみを測定し、気分や治療に寄与する他のすべての重要な要素を除外したアプリを想像してみてください。
治療は、あなたと単一の薬物を併用して真空で行われることはありません。これは、薬物療法を含む可能性のある豊かで複雑なエコシステムで行われますが、回復を助けるために行っている他の多くの重要なことも含まれます。それはあなたがどれだけ運動するか、反すうしないか、またはパニック発作を起こしたり、家族や仕事についてストレスを感じたりせずに過ごす日数かもしれません。
つまり、アプリやその他の意味のあるサービスで追跡する必要があるものは無数にありますが、そうではありません。そしてこれは、測定されている何かが自分の気分や回復の進行にどのように関係しているかについての歪んだ見方を与えます。薬物療法は多くの人の治療において確かに重要ですが、それは最も重要なことではない場合があり、多くの場合はそうではありません。