OVERVIEW

UN REAL EMOTIONは、メタバースにおける新たな感情の表現を考えるためにスタートしたプロジェクトです。現在の技術では、メタバースでは人の表情や感情ではなく、人の見た目や動きを描写することに重点が置かれています。

以下の映像では、3人のインタビュイーが質問に答えながら、その感情をオリジナルの方法で表現しています。彼らの背後に浮遊する球体は、色や形を変えることで彼らの感情を表現しています。

Meta Human research

Virtual Human

UN REAL EMOTIONは、様々な人種や国籍を象徴するバーチャルヒューマンの制作からスタートしました。これらは、Unreal EngineやAfter Effectsなどの異なるプログラムを使用して作成されました。

キャラクターの外見は、特定の人種や国籍に縛られないようにデザインされています。目の色、肌の色、骨格も異なり、服装も含めて出来る限り違和感がなく、かつ特徴を出せるよう慎重に調整しました。

キャラクターをデザインした後は、Live Link Faceというアプリで顔の動きを撮影しながら、様々なモデルにインタビューを行い、バーチャルヒューマンと実際の人間の表情がリンクするように工夫しました。

Emotion Visualization

感情の可視化もこのプロジェクトのキーポイントです。現在の技術では、人間の表情を仮想世界に写し取ることにはどうしても限界があります。感情を表現したり読み取ったりする能力が現段階では低い為、仮想世界で感情を表現する方法を考える事にフォーカスしました。

また、私たちは分析した感情を単に数値やグラフで表すのではなく、より直感的に見せ、感じられるようにしたいと考えました。そこで、まず顔の表情や顔の感情認識AIの"Morphcast"を用いて、実際の人間のインタビュー映像から感情を分析しました。そして、抽出したデータを球体状のオブジェクトに変換しました。バーチャルヒューマンの背後に浮遊するオブジェクトは、アルゴリズムに基づく感情データに応じて、大きさや形、色が変化します。

Interview

最後の映像は、感情の変化を引き出すための質問に答えるバーチャルヒューマンで構成されています。インタビューは、近い将来言葉の壁がなくなることを想定し、様々な国の言語で行われています。

Full-Length Video