パフューム、サカナクションといった日本の人気アーティストや、ビョーク、OK Go、ノサッジ・シングといった世界的に有名なアーティストとのコラボレーションや、リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーでのAR映像演出などを手がけたライゾマティクスの真鍋大度氏。ライゾマティクス創業から15周年となる今春は、東京都現代美術館で大回顧展を開催したばかり。エンタテイメントからアート、スポーツ、医療と幅広いフィールドを横断しながら積極的に活動する真鍋氏を迎えた対談を前後編にてお届けする。

ライゾマティクスの飛躍は
ソフトとハードの両面にあり

杉原：僕が最初に真鍋さんを知るきっかけとなったのが、顔がピクピクする動画（electric stimulus to face /2008）だったのです。その時「ヒューマノイドの世界がついに来たんだ」と思いました。顔面の動きをトレースしていけば、今後は相当リアルなヒューマノイドが出来上がるんじゃないかと。

真鍋：今でこそSNSは当たり前ですが、当時はまだSNSもそこまで影響力がなかったですよね。やはりあの動画は海外で活動する大きなきっかけになりました。以前から同じようなことをやっていたのですが、なぜかあの動画だけかなりバズったんです。海外の人が見つけて面白がってくれたことが話題になった要因になっていたと思います。

杉原：それから、プリンターを使ったOK Goのミュージックビデオも印象的で、何度も繰り返して再生しました。あの動画は編集なしの一発勝負ということを聞いて、さらに驚いたんです。

真鍋：他にも似たようなことをやっている会社はあるのですが、ライゾマを評価していただいていることの１つの要因として、ハードウェアのエンジニアが多いことが挙げられると思います。なので、OK GoのMVのように大量のプリンターをハッキングして操作することができました。ソフトとハードの両方から難易度の高いことにアプローチできるので、「どうにもならなくなったらあいつらを呼ぼう」という感じで海外からオファーを受けることが多いんです。例えば広告の現場でドローンを上手く制御できなくて、どうにもならなくなって僕らが呼ばれるという。

杉原：はじめからライゾマにオファーするのは、ハードルが高いということでしょうか？

真鍋：というより、やはり最初はどの会社やチームも自分たちでやってみたいものなんですよね。難易度の高い仕事のひとつとしては、フェンシングの太田（雄貴）選手の剣先をマーキング無しで視覚化することがありました。

フェンシング・ヴィジュアライズド・プロジェクトついて

杉原：太田さんは前衛的な考え方で様々なテクノロジーやアイデアを柔軟に取り入れている印象ですよね。だから太田さんの一挙手一投足が注目されていたと思うし、ライゾマが剣先の動きを視覚化したことで、フェンシング競技の面白さが一気に高まりましたよね。本当に素晴らしいプロジェクトでした。

真鍋：ありがとうございます。2013年に、太田選手と電通からこれからのスポーツ観戦をテクノロジーの力でフェンシングをよりわかりやすく、魅力的に見せることが出来ないかというお題をいただき、ライゾマティクスが剣先を可視化するアイディアを提案、そしてプロトタイプの実装を担いプロジェクトがスタートしました。

杉原：剣道もそうだと思うんですが、フェンシングの勝負はあまりに一瞬すぎて、どう勝負が決まったのかが分かりにくいですからね。あれってカメラで剣先をトラッキングしたのですか？　それとも加速度センサーを使ったのでしょうか？

真鍋：最初は剣先に再帰性反射材を付けてマーキングして、赤外線カメラを64台設置し剣先をトラッキングしました。モーションキャプチャの技術を使えば、トラッキングは可能でした。デモンストレーションとしてはそれで充分でしたが、本番の試合ではマーキングはできません。国際試合でもこの技術を使えるようにするためには機械学習技術を用いる必要があり、2013年時点では長い道のりになることは明確でした。ただ、東京オリンピックまでにはできるはずだと話をしました。

エイブル presents 第73回全日本フェンシング選手権大会

杉原：本当にゼロからのスタートな訳ですよね。剣先の動きをありとあらゆる変数でアルゴリズム作ってディープラーニングさせていくということですよね。ちょっと吐き気がするほどの作業量ですね（笑）。

真鍋：システム開発もそうですが学習データを作る作業が大変でしたね。僕は途中からディレクションに回り、開発はライゾマの花井というシニアエンジニア主導で進めたのですが、まずは練習試合の動画データを取得し、そこからアルバイトの手によって20万枚の画像に手動で人の骨格と剣先をラベリングしました。最終的なハードウェア構成もソフトウェアの処理も本当に複雑で、かつ映像的にもきちんと見栄えが良いものを作らねばならず「良くぞこれを実装しきったな……」とエンジニアたちが開発したのを横目で見て感動していました。

杉原：技術を実用化するためには、システムのスリム化が必要ですよね。でも、ゼロから始めるときは、どうしてもマッチョなシステムから始めるしかない訳ですね。我々のプロジェクトにも同じことが言えるので非常に共感します。ふと思ったんですが、イーロン・マスクが開発しているニューラリンク（脳とコンピュータをつなぐ技術）が進み、集積したデータを自分の脳に移植すれば、ものすごいフェンシングが上達するわけですよね。

真鍋：まだまだ先の話になるでしょうが、そうした未来もあるでしょうね。僕個人としては、その技術ができたら真っ先に埋め込んでみたい（笑）。

杉原：30年後の未来を考えていくと、拡張型の技術はもはや避けては通れないですからね。だから僕は“アート×テクノロジー”というところで、真鍋さんの作品から1歩先の提案書をもらっている感じなんです。

真鍋：そう言っていただけるのは本当にありがたいです。医療の分野は倫理の問題などがあり、出来ないことも多々あるので難しいですけれど。おっしゃる通り、アートはちょっと先の未来を実験するにはちょうどいい分野でもありますね。

2015年の取り組みをアップデートさせた
ELEVENPLAY × Rhizomatiks “border 2021”

杉原：リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーのAR演出なども本当に素晴らしかったですね。さて、僕は結局観に行けず非常に悔しんですが、今年2月に行われた“border 2021”のコンセプトやバックグラウンドを改めて教えてください。

真鍋：ステージ上でパフォーマンスを体験しているお客さんもいるし、その様子を観客席の外から見ているお客さんもいる。そんな風にお客さんとパフォーマー、ステージと観客席、そういう境界線がない空間や入れ子構造になっている状態を作りたかったんですね。さらにリアルな現実とVRの世界をシームレスに行ったり来たりできるボーダレスな状態を作り出してみたいと思い、そこから“border”というプロジェクトが始まりました。たまたまパーソナルモビリティ・WHILL（ウィル：次世代型電動車椅子の名称であり、その開発会社）の人たちと仲良くなった時期ということもあり協力していただきました。最終的にはお客さんにMRゴーグルを装着してWHILLに乗ってもらった状態で、生のダンサーとVRのダンサーを体験する作品になりました。実際に開発して痛感したことなのですが、身体が車椅子で動かされることでさらに没入感が増すんです。

杉原：リアルと仮想のフュージョンみたいなところですね。没入感を高めるために身体の動きが重要だったというのは面白い発見ですね。

ELEVENPLAY x Rhizomatiks “border 2021” (2021)　Photo by hiroko hirota（同、トップ画像）

真鍋：そのとき改めて分かったことは、大脳ではなく中脳に作用するということです。中脳は平衡感覚神経を司っている部位なで、普段やっているVRではそれほど意識しないのですが、WHILLによって身体を動かされることで、よりリアリティを感じやすくなるということが分かったのです。

杉原：僕もVRを利用した車いすレーサーCYBER WHEEL Xを作りました。自分の腕で漕いで、VR上で2100年の東京を走るという新感覚のゲームです。その時に仕掛けた技術は、加速度をきちんと理解してもらうためにトルクを入れたのです。それで一気に没入度が上がったんですよね。上り坂になると急に重くなる、下り坂やジャンプもリアルに感じる。ジェットコースターのようにお腹が浮く感じが苦手な人はちょっと酔ってしまう…（笑）。

真鍋：車酔いと一緒ですよね。これは当時FacebookにいたGoromanさんにアドバイスをいただいたのですが、自分の体は動いていないのに、例えばジェットコースターのようにVRの世界では視点がゴリゴリ動いているようなものは確実に酔ってしまうんですね。
実際に車椅子に乗って体験すること、身体を映像と合わせてきちんと動かすこと、それによって大脳だけでなく中脳がリアルと錯覚する。そこが没入感のポイントだったんです。脳科学者の方たちにも“border 2021”を体験していただきましたが、「本当にこれは初めての体験だ！」と感動してもらえたのが嬉しかったですね。

杉原：中脳が刺激されるとは驚きました。脳科学者の方々も非常に興味深いデータが取れたのでしょうね。アートを通じて、いろんな人たちとのネットワークに繋がったのですね。

真鍋大度（まなべ・だいと）
1976年、東京都生まれ。大学卒業後、大手電気メーカーに就職するが1年で退社。2002年 IAMAS（岐阜県立国際情報科学芸術アカデミー）に進学しプログラミングを学び、2006年Rhizomatiksを設立。以後、さまざまなアーティストのMVやライブ演出、スポーツイベントやファッションショーの演出を手がける。現在も東京を拠点に、アーティスト、インタラクションデザイナー、プログラマ、DJとして活動。

関連記事を読む

• 始まりは“かめはめ波を撃ちたい！”という発想。テクノスポーツ「HADO」開発者インタビュー
• 音を感じる世界が、声を出すきっかけに！「Ontenna」開発者・本多達也が届けたいもの
• 「Arque」人間のための尻尾が生み出す、独創的な夢
• センシング技術と即自的インターフェースが導く未来「ORPHE TRACK」開発者・菊川裕也が見る夢

東京オリンピック・パラリンピックのチケット抽選申込受付も始まり、開催までいよいよか、とカウントダウンを感じられるようになった。そんななか、近年ではスポーツ観戦の楽しみ方が多様化し、最新テクノロジーによる全く新しい体験が新機軸として注目を集めている。NTTドコモは、2017年にスマートライフ推進部にスポーツ＆ライブビジネス推進室を発足し、スポーツやエンタテイメントの領域を市場として広げる施策に取り組んでいる。AR、VR など HERO X ではすでにお馴染みとなった最新技術は、スポーツ観戦でどのように取り入れられ、どんなシナジーが生み出されるのか。同部署の企画開発担当部長 滝澤 暢氏に話を伺った。

高速大容量、低遅延、多端末接続。
5Gの回線だから楽しめる新しいスポーツ体験を提案中

NTTドコモが提供する新しい体験を語る上で欠かせないのが、2020年に本格的にサービス開始予定の5G (第5世代移動通信システム)。すでに米国と韓国では商用化が始まっており、環境次第では、現行 (4G）の何十倍もの伝送速度が出せると言われている。

「5Gで実現するのは高速大容量、低遅延、多端末接続。同じエリアでも多くの端末が繋げることで、サービス内容がより豊かになっていくと思われます」（滝澤氏）

同社では、5Gの回線を活用した施策を試験的に行い続けており、2017年12月には、ラグビーチーム・NTTドコモ レッドハリケーンズとNEC グリーンロケッツの試合で実証実験を行った。その際活用された「ARライブ映像視聴システム」は、今後の普及に大きく期待が寄せられている。

「ARライブ映像視聴システム」とは、新しいスポーツ観戦スタイルを提供するシステム。スマートグラス上に投影されているコンテンツを、手の動きで自由な位置に動かしたり、動かしたコンテンツの表示位置に応じて大きさを変えることができる。実証実験では5Gを活用して、高速大容量化とタイムラグのない複数カメラ映像の同時配信を実現し、観戦時、肉眼だけでなく同時に映像や解説、選手情報などのコンテンツを楽しめる環境を構築した。

スタジアムの来場者がスマートグラスを装着すると、中継カメラで撮影したフィードが映し出される。自身が肉眼で見ているものとは違った視点での観戦が同時に楽しめるというわけだ。また、スマートグラスに表示されるのは、生中継映像だけでなく、選手のプロフィールや試合内容を解説するテキストなど、観戦がより充実するコンテンツ群。この表示されるコンテンツをリモコンなどの端末ではなく、手を直感的に動かしながら操作できることもこのシステムの大きな特徴で、これは「空間インターフェース」という同社の特許技術である。

さらに、映像をリプレイすれば、見逃した部分を即時にキャッチアップすることもできて、競技やルールに詳しくなくても観戦を楽しめる仕組みになっており、もし来場者がライトファンだとしても簡単に楽しめそうだ。

「AR技術はラグビーのほかにもバレーボールや水泳などでも実証実験を行っておりますので、スマートグラスに表示するコンテンツがどんなものだったら、その競技をより楽しめるものにできるのかが、今後工夫を加えていくべきところですね。ライブ映像が良いのか、リプレイが良いのか、それとも選手の出した記録が世界記録と比べてどうだったというデータを出すのが良いのか…。競技によって異なる楽しみ方を見出していきたいです。

また、映像が突然目の前に現れてはびっくりするでしょうから、ユーザーが希望するタイミングで表示できるとか、邪魔にならない見せ方についても、これから工夫が必要になるはずです」（滝澤氏）

フェンシングにおける日本人初のメダリスト、太田雄貴選手とリオ2016パラリンピック女子車いすフェンシング金メダリストであるベアトリーチェ・マリア・ヴィオ選手のエキシビションマッチでは、複数台のカメラで様々な視点から撮影した映像を、東京スカイツリー スカイアリーナにある多様なモニターに同時に伝送して映し出し、まるでその場でフェンシングの試合が行われているかのようなマルチアングルでの観戦を提案した。

特設のタッチパネルで、観たいアングルの映像を自由にスイッチングしながら観戦を楽しむという、来場者にとっても新たな視聴体験となったこの施策は同社のプロジェクト「FUTURE-EXPERIMENT」でもフィーチャーされている。

 会場と観客、観客同士、会場とまた別の会場…
数万人が一斉に繋がることで新たな楽しみ方が生まれる

NTTグループの最先端通信テクノロジーを活用してスポーツやライブなどエンタテインメント全般の新体験を追求する本プロジェクトの最新事例は、2018年の年末に横浜アリーナで開催されたPerfumeのライブ。NTTドコモとPerfumeがコラボレーションしたスペシャルコンテンツ「FUTURE-EXPERIMENT VOL.04　その瞬間を共有せよ。」だ。

観客のスマートフォンからアンケートの回答を集め、リアルタイムでステージ上モニターに反映、Perfumeがその場で書いたメッセージを観客のスマートフォンにリアルタイムで届けるという、双方向のコミュニケーションを実現したこの日のライブにもやはり「5G」と高効率Wi-Fiの存在があった。

「通信でステージ上のアーティストと観客が繋がっていることを前提とした企画ですから、多端末の接続に対応している必要があります。ただ、現状では、イベントの様子をSNSにアップするだけでも接続が快適なところと、そうでない場所があります。ステージと観客、観客同士、またひとつの会場と異なる会場など、何万人もの端末を一斉に繋ぐことが可能になれば、会場でも自宅でもない場所、たとえばパブリックビューイングやライブビューイングでの楽しみ方を広げていけるのではないかと思っています」（滝澤氏）

 ARやVRが人間の目の感覚に追いつくのはまだ先。
技術とコンテンツのブラッシュアップに期待

いくつものトライアルを重ね、サービスのブラッシュアップは今後も続きそうだが、すでに体験してみたユーザーからはどのような反応が返ってきているのだろうか。これからARスポーツ観戦をしてみたい！という人にとっても気になるポイントだろう。

「概ね高評価をいただいていますが、実際にいくつか課題はあります。ARのスマートグラスにしても、全く装着感がないとまではいかず、重さや視野角などデバイスについての意見もあります。スタジアムのどの位置で観戦するかにもよるのですが、太陽の方向を向いた状態でスマートグラスを装着していると、その上に半透明の映像が重なると、眩しさや見えづらさを感じてしまうこともあり、画質や明るさについてはこれからの課題だと考えています。

一方、目で見るだけや数字の情報だけでは分からなかったものが、ARグラスに映し出すことで体感できるようになり、これまでは不可能だったことが可能になってきているということもあります。とはいえ、実際見ているもののほうが鮮明で綺麗ですから、グラスによってさらに体験価値を上げることができるように、今後も技術、コンテンツ面もさらに精度を高めていきたいと思います」（滝澤氏）

5Gのサービス開始と、東京オリンピック・パラリンピックを控える2020年が、テクノロジーのエポックイヤーとなることは間違いなさそうだ。

あと1年で、どれだけ技術が進歩するのか追っていきたい。