Overview

The Remix project is a research that generates visuals using AI technologies such as Stable Diffusion.By mixing different image data represented by various layers of reality and virtuality, we create visuals that lie between micro and macro.

このプロジェクトでは、初めに現実世界の中でランダムに作られる様々な規則性やパターンについてリサーチを開始しました。物理的な素材同士が融合してできる現象を調べ、その結果、ランダムで有機的なパターンを見つけていきました。

更に、様々な種類のパターンもリサーチし、最終的にはリキッドペインティングとGoogle Earthの画像に着目する事になりました。リキッドペインティングは、非常に美しいビジュアルを手作業でランダムに、かつミクロ単位で作り出せる事が特徴です。一方、Google Earthの画像は、地球上を俯瞰したマクロな視点のスケールで、美しく神秘的な画像データです。この異なる2種類のビジュアルを用いて、「textual_inversion」という手法で、数枚の画像で拡散モデルの微調整を行いました。ミクロの「リキッドペインティング」とマクロの「Google Earth View」をミックスして入力することで、独特の質感を持つビジュアルの生成を試みました。

AI Music Generator

新たな可能性を探求するため、生成されたビジュアルをもとにAI技術を取り入れた作曲を行いました。動画から4つの異なる静止画を選び、それらを説明するキーワードをImage to TextのAIツールによって生成しました。その一例がこちらです。

Keywords

iridescent texture, fluid energy, ultra detailed content : face, liquified, microscopic, froz, iridiscent, deformations

AI Music Generation Tool

そして、これらのキーワードをAI音楽生成ツールに送り、サウンドファイルのデモを生成しました。そして、最終的にはそれらの音楽を参考にし、オリジナルサウンドを作曲し、制作を行いました。