顔の表情だけでは感情的な状態を伝えられない

新しい研究では、感情的知性には、人々のミクロな表現を読む以上のものが含まれていることが明らかになっています。人の心の状態を読むことに関しては、背景や行動の視覚的コンテキストは、顔の表情やボディランゲージと同じくらい重要です。

カリフォルニア大学バークレー校の研究者は、オスカーにノミネートされた映画「127時間」で俳優ジェームズフランコの例を挙げています。ある場面では、フランコは映画のビデオ日記を記録しているので、漠然と幸せそうに見えます。しかし、カメラがズームアウトすると、観客は彼の腕が岩の下に押しつぶされ、彼の笑顔が彼の苦しみを嘘であることに気付きます。

新しい視点は、何十年にもわたる研究に挑戦し、感情的知性と認識は、主に顔の微細な表情を読み取る能力に基づいていると考えています。これらの表現は、幸福、悲しみ、怒り、恐れ、驚き、嫌悪、軽蔑、その他のポジティブおよびネガティブな気分や感情の指標であると考えられていました。

今週のジャーナルにオンラインで掲載される新しい研究 全米科学アカデミーの議事録は、感情的な検出には顔の「読み取り」以上のものが必要であることを示唆しています。

「私たちの研究は、感情認識は、本質的に、顔に関するのと同じくらい、文脈の問題であることを明らかにしています」と、カリフォルニア大学バークレー校の心理学の博士課程の学生であるZhimin Chenは述べています。

研究では、研究者たちはハリウッド映画やホームビデオからの何十ものミュートされたクリップで俳優の顔や体をぼかしました。キャラクターの仮想的な不可視性にもかかわらず、何百人もの研究参加者は、背景と彼らが周囲とどのように相互作用しているかを調べることにより、感情を正確に読むことができました。

チェンが調査のために作成した「感情的な追跡」モデルにより、研究者は、人々がビデオを見るときのキャラクターの瞬間的な感情をどのように評価するかを追跡できます。

Chenの方法は、短時間で大量のデータを収集することができ、最終的には自閉症や統合失調症などの障害を持つ人々がリアルタイムで感情を読み取る方法を測定し、診断に役立てることができます。

「一部の人々は、顔の表情を認識するのに欠陥があるかもしれませんが、文脈から感情を認識することができます」とチェンは言いました。 「他の人にとっては、それは逆です。」

さらに、収集された評価の統計分析に基づく調査結果は、顔認識技術の開発に影響を与える可能性があります。

「現在、企業は感情を認識するための機械学習アルゴリズムを開発していますが、モデルをトリミングした顔でのみトレーニングし、それらのモデルは顔から感情を読み取ることしかできません」とChen氏は述べています。 「私たちの調査によると、顔は真の感情を非常に正確に明らかにしておらず、人の心の枠組みを特定するにはコンテキストも考慮する必要があります。」

研究のために、チェンと研究の上級著者であるカリフォルニア大学バークレー校のビジョン科学者で心理学教授であるデービッドホイットニー博士は、約400人の若者の感情認識能力をテストしました。彼らが使用した視覚刺激は、ハリウッドのさまざまな映画のビデオクリップや、より自然な環境で感情的な反応を示したドキュメンタリーやホームビデオでした。

調査参加者は、ビデオクリップを表示して評価するためにオンラインになりました。評価グリッドがビデオの上に重ねられたので、研究者は各調査参加者のカーソルが画面上を移動するときにカーソルを追跡し、視覚情報を処理して瞬間的な感情を評価できました。

3つの実験のうちの最初の実験では、33人の研究参加者が2つのキャラクター間のムービークリップの相互作用を観察し、そのうちの1つはぼやけていて、ぼやけているキャラクターの知覚される感情を評価しました。結果は、研究参加者が対人関係だけでなく、背景で起こっていることからも、見えないキャラクターがどのように感じているかを推測したことを示しました。

次に、約200人の調査参加者が3つの異なる条件下での相互作用を示すビデオクリップを視聴しました。1つはすべてが表示され、もう1つは文字がぼやけ、もう1つはコンテキストがぼやけました。結果は、コンテキストが感情を解読するための顔認識と同じくらい重要であることを示しました。

最後の実験では、75人の研究参加者がドキュメンタリーやホームビデオのクリップを視聴したため、研究者はより自然な設定で感情認識を比較できました。繰り返しになりますが、文脈はキャラクターの表情やジェスチャーと同様にキャラクターの感情を推測するために重要でした。

UCバークレーの心理学教授であるホイットニー氏は、「全体として、結果は感情を認識するのに十分なだけでなく、人の感情を認識するのに必要なコンテキストでもあることを示唆している」と述べた。 「それに直面して、顔は感情を知覚するのに十分ではありません。」

出典：カリフォルニア大学バークレー校