パフューム、サカナクションといった日本の人気アーティストや、ビョーク、OK Go、ノサッジ・シングといった世界的に有名なアーティストとのコラボレーションや、リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーでのAR映像演出などを手がけたライゾマティクスの真鍋大度氏。ライゾマティクス創業から15周年となる今春は、東京都現代美術館で大回顧展を開催したばかり。エンタテイメントからアート、スポーツ、医療と幅広いフィールドを横断しながら積極的に活動する真鍋氏を迎えた対談を前後編にてお届けする。

ライゾマティクスの飛躍は
ソフトとハードの両面にあり

杉原：僕が最初に真鍋さんを知るきっかけとなったのが、顔がピクピクする動画（electric stimulus to face /2008）だったのです。その時「ヒューマノイドの世界がついに来たんだ」と思いました。顔面の動きをトレースしていけば、今後は相当リアルなヒューマノイドが出来上がるんじゃないかと。

真鍋：今でこそSNSは当たり前ですが、当時はまだSNSもそこまで影響力がなかったですよね。やはりあの動画は海外で活動する大きなきっかけになりました。以前から同じようなことをやっていたのですが、なぜかあの動画だけかなりバズったんです。海外の人が見つけて面白がってくれたことが話題になった要因になっていたと思います。

杉原：それから、プリンターを使ったOK Goのミュージックビデオも印象的で、何度も繰り返して再生しました。あの動画は編集なしの一発勝負ということを聞いて、さらに驚いたんです。

真鍋：他にも似たようなことをやっている会社はあるのですが、ライゾマを評価していただいていることの１つの要因として、ハードウェアのエンジニアが多いことが挙げられると思います。なので、OK GoのMVのように大量のプリンターをハッキングして操作することができました。ソフトとハードの両方から難易度の高いことにアプローチできるので、「どうにもならなくなったらあいつらを呼ぼう」という感じで海外からオファーを受けることが多いんです。例えば広告の現場でドローンを上手く制御できなくて、どうにもならなくなって僕らが呼ばれるという。

杉原：はじめからライゾマにオファーするのは、ハードルが高いということでしょうか？

真鍋：というより、やはり最初はどの会社やチームも自分たちでやってみたいものなんですよね。難易度の高い仕事のひとつとしては、フェンシングの太田（雄貴）選手の剣先をマーキング無しで視覚化することがありました。

フェンシング・ヴィジュアライズド・プロジェクトついて

杉原：太田さんは前衛的な考え方で様々なテクノロジーやアイデアを柔軟に取り入れている印象ですよね。だから太田さんの一挙手一投足が注目されていたと思うし、ライゾマが剣先の動きを視覚化したことで、フェンシング競技の面白さが一気に高まりましたよね。本当に素晴らしいプロジェクトでした。

真鍋：ありがとうございます。2013年に、太田選手と電通からこれからのスポーツ観戦をテクノロジーの力でフェンシングをよりわかりやすく、魅力的に見せることが出来ないかというお題をいただき、ライゾマティクスが剣先を可視化するアイディアを提案、そしてプロトタイプの実装を担いプロジェクトがスタートしました。

杉原：剣道もそうだと思うんですが、フェンシングの勝負はあまりに一瞬すぎて、どう勝負が決まったのかが分かりにくいですからね。あれってカメラで剣先をトラッキングしたのですか？　それとも加速度センサーを使ったのでしょうか？

真鍋：最初は剣先に再帰性反射材を付けてマーキングして、赤外線カメラを64台設置し剣先をトラッキングしました。モーションキャプチャの技術を使えば、トラッキングは可能でした。デモンストレーションとしてはそれで充分でしたが、本番の試合ではマーキングはできません。国際試合でもこの技術を使えるようにするためには機械学習技術を用いる必要があり、2013年時点では長い道のりになることは明確でした。ただ、東京オリンピックまでにはできるはずだと話をしました。

エイブル presents 第73回全日本フェンシング選手権大会

杉原：本当にゼロからのスタートな訳ですよね。剣先の動きをありとあらゆる変数でアルゴリズム作ってディープラーニングさせていくということですよね。ちょっと吐き気がするほどの作業量ですね（笑）。

真鍋：システム開発もそうですが学習データを作る作業が大変でしたね。僕は途中からディレクションに回り、開発はライゾマの花井というシニアエンジニア主導で進めたのですが、まずは練習試合の動画データを取得し、そこからアルバイトの手によって20万枚の画像に手動で人の骨格と剣先をラベリングしました。最終的なハードウェア構成もソフトウェアの処理も本当に複雑で、かつ映像的にもきちんと見栄えが良いものを作らねばならず「良くぞこれを実装しきったな……」とエンジニアたちが開発したのを横目で見て感動していました。

杉原：技術を実用化するためには、システムのスリム化が必要ですよね。でも、ゼロから始めるときは、どうしてもマッチョなシステムから始めるしかない訳ですね。我々のプロジェクトにも同じことが言えるので非常に共感します。ふと思ったんですが、イーロン・マスクが開発しているニューラリンク（脳とコンピュータをつなぐ技術）が進み、集積したデータを自分の脳に移植すれば、ものすごいフェンシングが上達するわけですよね。

真鍋：まだまだ先の話になるでしょうが、そうした未来もあるでしょうね。僕個人としては、その技術ができたら真っ先に埋め込んでみたい（笑）。

杉原：30年後の未来を考えていくと、拡張型の技術はもはや避けては通れないですからね。だから僕は“アート×テクノロジー”というところで、真鍋さんの作品から1歩先の提案書をもらっている感じなんです。

真鍋：そう言っていただけるのは本当にありがたいです。医療の分野は倫理の問題などがあり、出来ないことも多々あるので難しいですけれど。おっしゃる通り、アートはちょっと先の未来を実験するにはちょうどいい分野でもありますね。

2015年の取り組みをアップデートさせた
ELEVENPLAY × Rhizomatiks “border 2021”

杉原：リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーのAR演出なども本当に素晴らしかったですね。さて、僕は結局観に行けず非常に悔しんですが、今年2月に行われた“border 2021”のコンセプトやバックグラウンドを改めて教えてください。

真鍋：ステージ上でパフォーマンスを体験しているお客さんもいるし、その様子を観客席の外から見ているお客さんもいる。そんな風にお客さんとパフォーマー、ステージと観客席、そういう境界線がない空間や入れ子構造になっている状態を作りたかったんですね。さらにリアルな現実とVRの世界をシームレスに行ったり来たりできるボーダレスな状態を作り出してみたいと思い、そこから“border”というプロジェクトが始まりました。たまたまパーソナルモビリティ・WHILL（ウィル：次世代型電動車椅子の名称であり、その開発会社）の人たちと仲良くなった時期ということもあり協力していただきました。最終的にはお客さんにMRゴーグルを装着してWHILLに乗ってもらった状態で、生のダンサーとVRのダンサーを体験する作品になりました。実際に開発して痛感したことなのですが、身体が車椅子で動かされることでさらに没入感が増すんです。

杉原：リアルと仮想のフュージョンみたいなところですね。没入感を高めるために身体の動きが重要だったというのは面白い発見ですね。

ELEVENPLAY x Rhizomatiks “border 2021” (2021)　Photo by hiroko hirota（同、トップ画像）

真鍋：そのとき改めて分かったことは、大脳ではなく中脳に作用するということです。中脳は平衡感覚神経を司っている部位なで、普段やっているVRではそれほど意識しないのですが、WHILLによって身体を動かされることで、よりリアリティを感じやすくなるということが分かったのです。

杉原：僕もVRを利用した車いすレーサーCYBER WHEEL Xを作りました。自分の腕で漕いで、VR上で2100年の東京を走るという新感覚のゲームです。その時に仕掛けた技術は、加速度をきちんと理解してもらうためにトルクを入れたのです。それで一気に没入度が上がったんですよね。上り坂になると急に重くなる、下り坂やジャンプもリアルに感じる。ジェットコースターのようにお腹が浮く感じが苦手な人はちょっと酔ってしまう…（笑）。

真鍋：車酔いと一緒ですよね。これは当時FacebookにいたGoromanさんにアドバイスをいただいたのですが、自分の体は動いていないのに、例えばジェットコースターのようにVRの世界では視点がゴリゴリ動いているようなものは確実に酔ってしまうんですね。
実際に車椅子に乗って体験すること、身体を映像と合わせてきちんと動かすこと、それによって大脳だけでなく中脳がリアルと錯覚する。そこが没入感のポイントだったんです。脳科学者の方たちにも“border 2021”を体験していただきましたが、「本当にこれは初めての体験だ！」と感動してもらえたのが嬉しかったですね。

杉原：中脳が刺激されるとは驚きました。脳科学者の方々も非常に興味深いデータが取れたのでしょうね。アートを通じて、いろんな人たちとのネットワークに繋がったのですね。

真鍋大度（まなべ・だいと）
1976年、東京都生まれ。大学卒業後、大手電気メーカーに就職するが1年で退社。2002年 IAMAS（岐阜県立国際情報科学芸術アカデミー）に進学しプログラミングを学び、2006年Rhizomatiksを設立。以後、さまざまなアーティストのMVやライブ演出、スポーツイベントやファッションショーの演出を手がける。現在も東京を拠点に、アーティスト、インタラクションデザイナー、プログラマ、DJとして活動。

関連記事を読む

• 始まりは“かめはめ波を撃ちたい！”という発想。テクノスポーツ「HADO」開発者インタビュー
• 音を感じる世界が、声を出すきっかけに！「Ontenna」開発者・本多達也が届けたいもの
• 「Arque」人間のための尻尾が生み出す、独創的な夢
• センシング技術と即自的インターフェースが導く未来「ORPHE TRACK」開発者・菊川裕也が見る夢

独立行政法人国立高等専門学校機構東京工業高等専門学校の学生たちが開発した“選手と同化する”スポーツ体験システム『シンクロアスリート』。ジェットコースターの仮想体験というアイデアからスタートしたこのプロジェクトは、東京2020への機運も相まって、国内のコンペティションで高い評価を受けた。後編では、『シンクロアスリート』の今後のロードマップや、開発に携わった学生と教員が抱くテクノロジーへの期待について聞いた。

課題は「速度」と「ユーザー体験」。
ゆくゆくはオープンソース化

左から瀧島和則さん、米本毬乃さん、一瀬将治さん

VR技術は市場の成熟を見ても、これから、という段階にあると思いますが、VRを活用したスポーツ観戦システムは、俯瞰映像が多い中で、選手の身になって見る、体験するタイプは珍しいですよね。今後のロードマップで考えていることがあれば教えてください。

瀧島：現段階ではライブ配信をすると、タイムラグが生じるため、通信スピードを改善したいです。こればかりは、私たちの問題というより回線速度技術の発展が必要になってくる部分です。『シンクロアスリート』は、ライブ配信モードで今まさに競技をしている人の生中継が可能ですが、その際にスムーズに配信を行うには、どうしても、インターネットの回線速度が必要になってきます。現状は、選手が競技をしている場所から中継映像を配信する場合に、多少の遅延が発生してしまいます。目標は、その待機時間を減少させた上で、動きと同時に高画質な映像を観戦者に届けること。そこは現状の技術だと難しい部分がありますが、将来的には、映像遅延の原因となる映像圧縮が不要で、高画質のまま映像を送信できるよう，ネットワーク回線の高速化について、研究機関や企業で研究していきたいと思っています。

米本：今私が取り組んでいるのは、『シンクロアスリート』のユーザー体験の改善です。スポーツの再現ができていても、やはり乗り物であって、VRを用いていることもあるので、いわゆる「VR酔い」なども起こりえます。そういった感覚的な違和感を低減する作業をしています。乗って頂いたいろいろな方からのフィードバックを踏まえて、どんな人がどう感じているかを分析しながら、『シンクロアスリート』を通じたスポーツ体験に心地よく没入できる状態を目指しています。誰が体験しても、純粋にコンテンツを楽しんで頂ける状態まで持っていきたいです。

一瀬：直近では、EVカーレースや、馬術、バスケットボールなどといった競技を収録していく予定ですが、今後も、東京2020に向けて多くのコンテンツを作っていくことになると思います。その過程で、よりこういったスポーツ観戦システムが浸透していくには、“誰でもコンテンツを作れる状態”が理想的だと考えています。例えば、撮影した動画とスマートフォンで収録した動きをパソコンにインストールするだけで『シンクロアスリート』との同期が可能になるソフトウェアを開発し、最終的には、コンテンツ制作の場をオープンにしていきたいと思っています。

「スポーツ体験のスタイルを根底から変えていく」

シンクロアスリートは今後スポーツにどのような影響を与えると考えていますか。

米本：私自身も今までいろいろなスポーツをやってきました。そこで感じているのは、やはり自分の身近にある競技でなければ体験する機会がないということです。例えば友達がやっていたからなど、何かの縁で触れる機会があるという具合ですね。その点で、『シンクロアスリート』はスポーツ体験の選択肢を広げることができると考えています。競技を選手目線で擬似体験した後に、そのスポーツを実際にやってみるきっかけになりうるということです。子どもたちがさまざまなスポーツに触れる機会を作ることができれば、結果としてスポーツ人口の裾野を広げることにもつながり、将来的に、オリンピックやパラリンピックでメダルを獲る選手が育っていくかもしれません。

松林：『シンクロアスリート』は、スポーツ体験のスタイルを根底から変えていくポテンシャルを秘めていると思っています。今までは絶対に不可能だった観戦ができるようになるので、例えばマラソンのペースメーカーにカメラとセンサーを付けて貰えれば、自分自身がペースメーカーになれる。周囲の選手も見えるし、実際には走っていないけれど、走っているような動きを体感して、選手たちの息遣いまで聞こえてくる。また、VR技術とモーションベースを組み合わせた機構という特性を活用すれば、スポーツのトレーニング方法も革命的に変わってくるのではないかと想像しています。

“数値化”だけでなく、
“芸術性”のトレーニングにも

松林教授と山下晃弘准教授（右）

目下、注目している分野はありますか？

山下：今までスポーツを教えたり、体験したりしようと思うと、感覚的な言葉で表現されるシチュエーションも多かったと思います。「シュッと」とか「ガッと」といった表現ですね（笑）。それが今、いろいろなセンサーが小型化されて、体に身につけることが容易になっています。そういった機器を使って動作を細かく数値化することで、今の動きは理想的な動きからこれだけズレている、ここをこう動かしたらこうなるといったシミュレーションを用いた評価やコーチングが簡単にできるようになっていくと思います。それは選手にとっても、コーチにとっても、かなり革命的なことで、センシング技術は、これからのトレーニングやコーチングの方法をドラスティックに変えていくと思います。それがチームスポーツにおける戦術や相手チームの分析にも転用されていくはずですから、ひいては観戦者の楽しみ方も変わってくるでしょう。

松林：私が今、面白いと思っているのが、画像処理技術が凄く向上してきており、それをスポーツに応用する事例が増えてきている点です。よくあるのがテニス。ボールがラインに乗っているか、いないかをリプレイで確認する場合がありますよね。あれはエンターテインメントとしてもよくできていて、選手が「チャレンジ」としてアピールし、確認するシステムになっています。確認の結果に応じて、周りの観客も拍手して盛り上がるように、技術を使って試合の運営上でうまく使っている好例だと思います。カメラを何十台も使っているようですが、そんなことが可能になった画像処理技術に注目しています。

山下：テクノロジーの発展に伴って「数値化する」ことはかなりのレベルまで来ていると思いますが、一方で、小説や芸術分野にコンピュータが入り込み始めていますよね。コンピュータが小説を書く、俳句を読む、絵を描く、音楽を作る。スポーツにも芸術的な側面があると思っていて、他方で競技における芸術性を高めるトレーニングはまだ確立されていないと思うのです。「人間の芸術性を磨くためのサポート技術」が生み出されたら、それはそれで面白くて、フィギュアスケートの表現力をどうやって高めるのかなど。非常に感覚的な領域なんだけれども、そこにコンピュータが何らかのサポートをすると、もう少し芸術力を向上させることができる、そんなサポートがこれからできてくるんじゃないかなと期待しています。

審査員の評価は得点で示されても、必ずしも数字では計測できないような部分ですよね。

山下：測れないと思います。コンピュータ自体が芸術作品をつくる、という方向があるとすると、それを人間の発想と組み合わせた時に、自分の中になかった新しい発想を与えてくれて、表現力や芸術性が高まっていくような“共存”もあるのではないかと思っています。そういうところをサポートできたらテクノロジーの用途としてますます貢献できると期待を持っています。

（前編はこちら）