ブログ

手書きのイラストと一緒に踊れるシステム、愛工大が開発 人の動きにイラストが反応:Innovative Tech

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 愛知工業大学の水野慎士研究室の研究チームが開発した「“Sketch Dance Stage Online”: Three-dimensional CG projection of hand-drawn characters to real space and interaction」は、オンラインユーザーが手描きスケッチした2次元キャラクターを遠方の現実空間に3次元CGキャラクターとしてプロジェクターで表示し、現地の人とインタラクションできるシステムだ。

 現地の人の動きに応じてCGキャラクターが動くため、現地の人はCGキャラクターに囲まれながらジェスチャー操作で制御し一緒に踊る体験が可能。オンラインユーザーは、自分が描いた絵と踊るその様子を遠隔から観察できる。

真ん中で踊る人の動きに応じて、周囲のCGキャラクターも同じ動きで踊る人のジャンプに連動して、CGキャラクターが一斉にジャンプしている様子

 システムは、PC2台とプロジェクター、カメラ、Kinectセンサーで構成する。1台のPCは手描きキャラクターから投影用のCGキャラクターに変換し、もう1台のPCはプロジェクターの近くに配置したカメラからのライブ映像の配信に使用する。プロジェクターは床面にキャラクターを投影し、Kinectはキャラクターに囲まれる人や物の位置や動きを捉える。

システムの概要図

 オンラインユーザーは、PCやタブレットでWebページにアクセスし、さまざまな色や太さのペンを使ってキャンバスにキャラクターを描く。描いたキャラクター画像は、パーツ分割(頭や胴体、手足など10のパーツに分割)とリギングが自動設定(手動の修正も可能)され、事前に取得したデータ群の中からランダムに動きが割り当てられる。

Webページでキャラクターを描き、リギングを設定する

 作成したキャラクターを遠く離れた現実空間の床面に対し、プロジェクターで投影する。通常の投影では床面に対し2次元的に表示するだけなため、プロジェクターの位置と光軸に基づいてCGキャラクターの視点を設定し、プロジェクターの視野角に基づいて投影を行う。これにより、投影した画像はアナモルフォーシスの効果を持ち、プロジェクターの位置からCGキャラクターが立体的に見えるようにできる。

 加えて、プロジェクターの近くにカメラを設置することで、オンラインユーザーは自分の描いた絵を遠方から立体感のあるCGキャラクターとしてライブ映像で観察できる。PCからボタン操作でCGキャラクターの遠隔制御も可能だ。

 投影したCGキャラクターは、真ん中を中心に円を描くように回りながら与えられた動きをするため、その真ん中に人が立つと、周囲でCGキャラクターが踊っているように見える。Kinectで捉えた真ん中に立つ人の動きをCGキャラクターに反映する、ジェスチャー操作(手足の上げ下げや腰のひねり、ジャンプなど)を可能にしているため、CGキャラクターと一緒の動きで踊る体験を提供できる。

手書きのイラストと一緒に踊れるシステム、愛工大が開発 人の動きにイラストが反応:Innovative Tech

 その際、人の後ろをCGキャラクターが通る時に発生する双方間のオクルージョンを考慮しなければならない。そのため、背景と同じ色の動く人の3Dモデルを生成し、CGキャラクターとともにCG空間に再配置、投影用の画像を生成することで、人と重なるキャラクターの領域だけを消して、あたかも人の後ろを回り込んでいるかのように表現している。

人の後ろをCGキャラクターが回り込めるように、オクルージョンを考慮している

Source and Image Credits: Sora Ahn and Shinji Mizuno. 2021. “Sketch Dance Stage Online”: Three-dimensional CG projection of hand-drawn characters to real space and interaction. In SIGGRAPH Asia 2021 Posters (SA ’21 Posters). Association for Computing Machinery, New York, NY, USA, Article 23, 1-2. DOI:https://doi.org/10.1145/3476124.3488640

関連記事

関連リンク

Copyright © ITmedia, Inc. All Rights Reserved.

メールマガジン「ITmedia NEWS アンカーデスクマガジン」に利用登録済みのアイティメディアIDでログインして続きを読む。または「ITmedia NEWS アンカーデスクマガジン」を利用登録して続きを読む。

ホット記事

iPhoneやパソコンでWebサイトをPDFで保存する方法 | Business Insider Japan

iPhoneやパソコンでWebサイトをPDFで保存する方法 | Business Insider Japan

無料のメールマガジンに登録平日17時にBusiness Insider Japanのメルマガをお届け。利用規約を確認iPhoneのSafariを含め各種ウェブブラウザーから、ウェブサイトをPDFとして保存できる。撮影:今村拓馬Webページは突...

続きを読む 続きを読む
Yahoo!ニュース 伝統の「小紋染め」紋様をデジタル化へ 消滅危機、老舗社長の挑戦

Yahoo!ニュース 伝統の「小紋染め」紋様をデジタル化へ 消滅危機、老舗社長の挑戦

富田篤さんが広げる手前のファイルには、保存状態の良い型紙をできるだけ空気に触れさせないよう入れている。デジタル化に備えて、劣化を防ぐためだ=東京都新宿区の富田染工芸で2021年12月10日午前、近藤浩之撮影 ...

続きを読む 続きを読む
ニュース 録画忘れでも大丈夫!オリンピックの名場面をスマホであとから見る方法

ニュース 録画忘れでも大丈夫!オリンピックの名場面をスマホであとから見る方法

アーカイブ配信の利用方法を解説選手のプレーはもちろん、ユニークな解説などでも注目が集まる東京オリンピック。話題になったのに見逃してしまったり、録画していなかったりした場合でも、あとから好きなタイミング...

続きを読む 続きを読む

関連記事