科学のクールな先導:TweetPsych

今週、Dan ZarrellaというWeb開発者によってTweetPsychという新しいサービスが開始されました。 Zarrellaは、オンラインマーケティング会社であるHubSpotのマーケティングマネージャーでもあります。 Zarrellaは自分を「科学者」と呼んでいます。「ウェブ開発者」や「マーケティングマネージャー」よりもセクシーに聞こえると思いますが、彼は学歴を挙げていません。 (Zarrellaが彼の新しいサービスについて特定の科学的主張をしていることを除いて、私は科学者または資格証明の部分については言及しません。)

興味深い新しいサービスは、Twitterへの投稿内容に基づいて「心理的プロファイリング」を提供するものとして販売されています。しかし、それは実際には単なるコンテンツ分析サービスであり、2つの心理辞書と過去1,000件のツイートを使用しています。ザレラは、この分析は「人の心理的プロファイルを構築する」と主張しています。本当の心理プロファイリングは科学であり、通常、人の人生のほんの一部(マイクロブログサービスで書いたものなど)だけではありません。 TweetPsychは、それが「娯楽目的のみ」であるという矛盾する主張をしています。どっち?

Zarrellaが分析に使用している辞書の1つにも問題があります。 1つの辞書— LIWC —は、有効な心理言語学データベースです。しかし、もう1つは英語の回帰画像辞書(RID)です。 RIDは、約3,200の単語と、43のカテゴリの思考と気分に割り当てられた語根で構成されています。 RIDの主な問題は、基本的にリサーチの裏付けがないことです(ZarrellaがWebサイトを引用しているにもかかわらず、Webサイトを引用しているように見えます)。それは一人の専門家によって開発され、それから、それと他の精神分析プロセスについての本の束を書き続けました。本はピアレビューされた研究ジャーナルの記事とは異なり(研究者が知っているように)、RIDには実証的な裏付けがまったくありません。これは、分析を始める前に分析の半分が無効であることを示唆しています。

2番目の辞書である言語探求と単語数(LIWC)は、セラピーセッションや2人の会話など、主に書かれた単語(人々の執筆)または話し言葉に基づいています。 Twitterで見つかったような、人為的に短い140文字のエントリを分析するために開発されたものではありません。文字数の制限により、人々はツイートするときに単語を省略します。単純なステミングが、オンザフライの非標準的な省略形で書かれたすべての単語を正確に分析することは明らかではありません。リツイートもどうですか?何かをリツイートする人は、必ずしも「話す」ことではなく、誰かの言葉の代弁者として振る舞います。サービスは差別化されますか?問題の程度を知らなければ、分析が何らかの方法で人工的にバイアスされているかどうかはわかりません(最初にこれらの種類の問題を具体的に調べた場合を除きます)。これらの問題は解決可能ですが、このサービスでは解決されていません。

Zarrellaの1,000のツイートをすばやく分析し、そこに含まれるすべてのテキストを数秒でこれら2つの辞書と比較できる機能は、言語プログラミングの素晴らしい偉業です。次に直面する課題は、「分析結果を思慮深く、直感的で実用的な方法でどのように提示するか」です。これは、TweetPsychが単に配信に失敗する部分です。

Zarrellaは明らかに心理学の背景がほとんどないため、心理学の結果はかなり満足できるものではありません。 「職業と仕事」のようなものを含む(あなたの性格?つぶやき?)「特徴」のリストを受け取ります。その隣には、「仕事と仕事についてたくさん話します」という役立つ説明とスコアがあります。

すばらしい洞察に感謝します。

コンテキストがないため、スコアの意味がわかりません。 47.87は良い仕事ですか、悪い仕事ですか?平均は?その他の機能には、「現在時制」、「上向きの動き」、「肯定的な感情」、「否定的な感情」、および他の30のカテゴリがあります。

分析のこの部分は、LIWCに基づいており、LIWCの基本的な辞書と同じくらい優れています。仕事、業績、余暇などのカテゴリはすべてLIWCが特定できる「現在の懸念」ですが、「関係の懸念」などのカテゴリはありません。しかし、LIWCを知らない限り、そのことはわかりません。それは、分析を行う人々にあなたが言及するものかもしれません。政治、テクノロジー、有名人など、定期的にツイートされる他の人気のあるトピックコンテンツも、LIWCの一部ではありません。繰り返しになりますが、それがあなたの話のすべてであったとしても、分析に表示されることはありません。したがって、LIWC(ひいてはTweetPsych)が提供できる情報は限られています。 (カスタマイズされた辞書を使用すると、これらの問題の一部が解決されますが、TweetPsychが提供する辞書ではありません。)

RIDの「原始的、概念的、感情的なコンテンツ」には、説明は一切含まれていません。また、スコアをあらゆる種類のコンテキストや理解に取り入れることはできません。しかし、それはそもそも科学的な辞書ではないので、とにかくスコアをほとんど無視することができます。それらはランダムに開発され、同じくらい役立つ情報を提供する可能性があります。

現在の分析の最後の部分は、ソーシャルネットワーキングサービスの一般的なコンポーネントである「あなたのようなその他」です。不思議なことに、このコンポーネントはこのツールの最初のバージョンにはありませんでした。ツイートした内容のみに基づいて、「あなたのように考える人もいる」と主張し、TweetPsychにアクセスし、ユーザー名を入力して分析した他の人のリストを提供します。

もちろんです ない あなたのように考える人—あなたのようにつぶやく人です。これは重要な違いです。あなたが毎日書いているもののごく一部を分析するサービスであり、ユーザーによる略語の広範囲にわたる使用に欠陥がある可能性のある分析に基づいている場合、あなたが何を分析していると主張することはできません。 思う。

TweetPsychの信頼性はどのくらいですか?さて、今日、この記事を書いているときに、1つのツイートのためにDan Zarrellaのすべてのスコアが変わっていることに気付きました(彼は今日1度だけツイートしています)。彼の「職業と仕事」のスコアは20%低下し、「現在形」のスコアは16%上昇しました。彼の抽象的な思考のスコアは16%低下しました。たった1つのツイートから、これらすべてがどのように発生するでしょうか1つのつぶやき-他の999件のつぶやきと比較して、スコアにそれほど影響を与えることはできません。何か他のことが起こっていない限り。(以下のスクリーンショットを午後2時55分に撮影したものと、今日の午前9時に撮影した上のスクリーンショットと比較してください。)

LIWC2007プログラムでZarrellaの過去1,000件のツイートを分析した私自身の結果は、非常に異なるものを示しています。 Zarrellaの方法論は知りません(彼はそれを共有しなかったためです)が、私は彼の過去の1,000件のツイートのテキストを取得し、それらをLIWCを通じて2つの形式で処理しました。どちらも、TweetPsychに表示されるものに近いスコアはありません。これは、彼が古いバージョンのディクショナリを使用しているか、または彼がTweetPsychに追加しているが、彼が開示しなかったある種の変換変数が原因である可能性があります。このLIWC2007分析の結果は、こちらで確認できます。 (TweetPsychがハイライトした黄色の部分と、TweetPsychによってハイライト表示されなくなった他の緑の領域を強調表示しました。スコアリングの大きな違いに注意してください。)しかし、サービスで何が行われているのか正確に不思議に思います。その心理測定の信頼性と妥当性が疑わしい場合、それはどれほど有用ですか?

TweetPsychは多くの肯定的な報道を受けており、懐疑論はほんの少ししか投げ出されていません。CNetのJosh Lowensohnはこのサービスについて書いており、ついに言及しただけでした。楽しい。」やった、楽しい! Yahoo!でベン・パターソン氏Tech氏は、「残念ながら、TweetPsychが提供する心理的プロファイルは、「法律と秩序:刑事意図」の常駐精神科医から聞こえるかもしれない一貫した物語の種類ではありません」と語っています。一部の説明のないカテゴリよりも?レポーターも、Mashableに関するオリジナルの記事も(いずれも驚きです!Zarrellaが寄稿者です)、Zarrellaが心理学の背景を欠いていることに注目してください。結果の解釈がなぜ不十分なのかについて、点をつなぐものはありませんでした。どうやらハイテクジャーナリストは、自分たちの肯定的なプレスリリースを再配布するのは得意ですが、そのようなサービスの主張された科学を掘り下げる実際のジャーナリストは得意ではありません。

もちろん、ザレラ自身は、彼が言ったように、彼がサービスにあまり考えを入れなかったことを認めます NYポスト「人々は自分を他の人と比較して、他の人の頭の中に「入り込む」ことを好むだけです」とザレラは言います。 「セラピーセッションで壁にハエがいるようなものです。」セラピーセッション?誰かが「上向きの動き」について話しているのを見つけるのは本当に洞察力がありますか?サービスをオンラインにする急いで、Zarrellaは明らかに「この情報のいずれかが実際に役立つか」という質問をしていませんでした。今日のように、このサービスは、再訪する人がほとんどいない未完成の考えです。

TweetPsychは、その制限にもかかわらず、有効性が高く、有用で実用的な情報を実際に提供する将来のサービスへの扉を開きました。人のツイートだけでなく、Facebookのプロファイルやブログなどに含まれる情報を取得して、すべてを1つの巨大な分析エンジンに組み込んだと想像してみてください。そのようなエンジンは、個人ベースの真の心理的洞察を提供する機能を持っている可能性があります。彼らがオンラインで言うことについて。

それまでは、TweetPsychのような新入生の努力があり、これは実際には「TweetFun!」と呼ばれるべきです。それは実際に遊ぶのは楽しいですが、それは誰にでも最も浅い種類を除いて、心理的な洞察をほとんど提供しないためです。

(ここでTyler HayesによるTweetPsychの追加の懸念を読むことができます。)

!-- GDPR -->