0

[Machine Learning] Rain Snow Moon

This interactive ‘town creation’ game is an experimental project of Machine Learning technology and created within 2 days during the summer school at CIID (Copenhagen Institute of Interaction Design), 2017.

In this work, we can build buildings, plant trees, and change weather based on our body & sound inputs. It recognizes body & sound pattern by Kinect and Wekinator (machine learning software), and associates these patterns with visual outputs .

For example, when someone raise his / her right arm up, it will show cloud in the sky. Similarly, when someone claps his / her hand, it started raining, and when someone kicks in the air, it destroys entire city.

I created weather’s visual and sound effect using Processing, and associated them with the body & sound pattern.

CIID (Copenhagen Institute of Interaction Design)というデンマークのサマースクールにてインターナショナルなチームメンバーと共に実質約半日で作った作品。
Kinect(体の動きをキャプチャするツール)や音声認識ツールで記録したパターンと、スクリーン上に街を作り上げるための各種ビジュアル要素(ビルを建てる、植物を植える、天気を変えるetc)を関連付け、右手を挙げたら空に雲が増え、キックをしたら破壊し、手をたたいたら雨が降る…などといった体験型の「街づくりゲーム」。
私はProcessingを用いた天気(雨、雪、晴)のビジュアル/サウンド表現と、各種認識したパターン変数との紐づけを担当。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です