パフューム、サカナクションといった日本の人気アーティストや、ビョーク、OK Go、ノサッジ・シングといった世界的に有名なアーティストとのコラボレーションや、リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーでのAR映像演出などを手がけたライゾマティクスの真鍋大度氏。ライゾマティクス創業から15周年となる今春は、東京都現代美術館で大回顧展を開催したばかり。エンタテイメントからアート、スポーツ、医療と幅広いフィールドを横断しながら積極的に活動する真鍋氏を迎えた対談を前後編にてお届けする。

ライゾマティクスの飛躍は
ソフトとハードの両面にあり

杉原：僕が最初に真鍋さんを知るきっかけとなったのが、顔がピクピクする動画（electric stimulus to face /2008）だったのです。その時「ヒューマノイドの世界がついに来たんだ」と思いました。顔面の動きをトレースしていけば、今後は相当リアルなヒューマノイドが出来上がるんじゃないかと。

真鍋：今でこそSNSは当たり前ですが、当時はまだSNSもそこまで影響力がなかったですよね。やはりあの動画は海外で活動する大きなきっかけになりました。以前から同じようなことをやっていたのですが、なぜかあの動画だけかなりバズったんです。海外の人が見つけて面白がってくれたことが話題になった要因になっていたと思います。

杉原：それから、プリンターを使ったOK Goのミュージックビデオも印象的で、何度も繰り返して再生しました。あの動画は編集なしの一発勝負ということを聞いて、さらに驚いたんです。

真鍋：他にも似たようなことをやっている会社はあるのですが、ライゾマを評価していただいていることの１つの要因として、ハードウェアのエンジニアが多いことが挙げられると思います。なので、OK GoのMVのように大量のプリンターをハッキングして操作することができました。ソフトとハードの両方から難易度の高いことにアプローチできるので、「どうにもならなくなったらあいつらを呼ぼう」という感じで海外からオファーを受けることが多いんです。例えば広告の現場でドローンを上手く制御できなくて、どうにもならなくなって僕らが呼ばれるという。

杉原：はじめからライゾマにオファーするのは、ハードルが高いということでしょうか？

真鍋：というより、やはり最初はどの会社やチームも自分たちでやってみたいものなんですよね。難易度の高い仕事のひとつとしては、フェンシングの太田（雄貴）選手の剣先をマーキング無しで視覚化することがありました。

フェンシング・ヴィジュアライズド・プロジェクトついて

杉原：太田さんは前衛的な考え方で様々なテクノロジーやアイデアを柔軟に取り入れている印象ですよね。だから太田さんの一挙手一投足が注目されていたと思うし、ライゾマが剣先の動きを視覚化したことで、フェンシング競技の面白さが一気に高まりましたよね。本当に素晴らしいプロジェクトでした。

真鍋：ありがとうございます。2013年に、太田選手と電通からこれからのスポーツ観戦をテクノロジーの力でフェンシングをよりわかりやすく、魅力的に見せることが出来ないかというお題をいただき、ライゾマティクスが剣先を可視化するアイディアを提案、そしてプロトタイプの実装を担いプロジェクトがスタートしました。

杉原：剣道もそうだと思うんですが、フェンシングの勝負はあまりに一瞬すぎて、どう勝負が決まったのかが分かりにくいですからね。あれってカメラで剣先をトラッキングしたのですか？　それとも加速度センサーを使ったのでしょうか？

真鍋：最初は剣先に再帰性反射材を付けてマーキングして、赤外線カメラを64台設置し剣先をトラッキングしました。モーションキャプチャの技術を使えば、トラッキングは可能でした。デモンストレーションとしてはそれで充分でしたが、本番の試合ではマーキングはできません。国際試合でもこの技術を使えるようにするためには機械学習技術を用いる必要があり、2013年時点では長い道のりになることは明確でした。ただ、東京オリンピックまでにはできるはずだと話をしました。

エイブル presents 第73回全日本フェンシング選手権大会

杉原：本当にゼロからのスタートな訳ですよね。剣先の動きをありとあらゆる変数でアルゴリズム作ってディープラーニングさせていくということですよね。ちょっと吐き気がするほどの作業量ですね（笑）。

真鍋：システム開発もそうですが学習データを作る作業が大変でしたね。僕は途中からディレクションに回り、開発はライゾマの花井というシニアエンジニア主導で進めたのですが、まずは練習試合の動画データを取得し、そこからアルバイトの手によって20万枚の画像に手動で人の骨格と剣先をラベリングしました。最終的なハードウェア構成もソフトウェアの処理も本当に複雑で、かつ映像的にもきちんと見栄えが良いものを作らねばならず「良くぞこれを実装しきったな……」とエンジニアたちが開発したのを横目で見て感動していました。

杉原：技術を実用化するためには、システムのスリム化が必要ですよね。でも、ゼロから始めるときは、どうしてもマッチョなシステムから始めるしかない訳ですね。我々のプロジェクトにも同じことが言えるので非常に共感します。ふと思ったんですが、イーロン・マスクが開発しているニューラリンク（脳とコンピュータをつなぐ技術）が進み、集積したデータを自分の脳に移植すれば、ものすごいフェンシングが上達するわけですよね。

真鍋：まだまだ先の話になるでしょうが、そうした未来もあるでしょうね。僕個人としては、その技術ができたら真っ先に埋め込んでみたい（笑）。

杉原：30年後の未来を考えていくと、拡張型の技術はもはや避けては通れないですからね。だから僕は“アート×テクノロジー”というところで、真鍋さんの作品から1歩先の提案書をもらっている感じなんです。

真鍋：そう言っていただけるのは本当にありがたいです。医療の分野は倫理の問題などがあり、出来ないことも多々あるので難しいですけれど。おっしゃる通り、アートはちょっと先の未来を実験するにはちょうどいい分野でもありますね。

2015年の取り組みをアップデートさせた
ELEVENPLAY × Rhizomatiks “border 2021”

杉原：リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーのAR演出なども本当に素晴らしかったですね。さて、僕は結局観に行けず非常に悔しんですが、今年2月に行われた“border 2021”のコンセプトやバックグラウンドを改めて教えてください。

真鍋：ステージ上でパフォーマンスを体験しているお客さんもいるし、その様子を観客席の外から見ているお客さんもいる。そんな風にお客さんとパフォーマー、ステージと観客席、そういう境界線がない空間や入れ子構造になっている状態を作りたかったんですね。さらにリアルな現実とVRの世界をシームレスに行ったり来たりできるボーダレスな状態を作り出してみたいと思い、そこから“border”というプロジェクトが始まりました。たまたまパーソナルモビリティ・WHILL（ウィル：次世代型電動車椅子の名称であり、その開発会社）の人たちと仲良くなった時期ということもあり協力していただきました。最終的にはお客さんにMRゴーグルを装着してWHILLに乗ってもらった状態で、生のダンサーとVRのダンサーを体験する作品になりました。実際に開発して痛感したことなのですが、身体が車椅子で動かされることでさらに没入感が増すんです。

杉原：リアルと仮想のフュージョンみたいなところですね。没入感を高めるために身体の動きが重要だったというのは面白い発見ですね。

ELEVENPLAY x Rhizomatiks “border 2021” (2021)　Photo by hiroko hirota（同、トップ画像）

真鍋：そのとき改めて分かったことは、大脳ではなく中脳に作用するということです。中脳は平衡感覚神経を司っている部位なで、普段やっているVRではそれほど意識しないのですが、WHILLによって身体を動かされることで、よりリアリティを感じやすくなるということが分かったのです。

杉原：僕もVRを利用した車いすレーサーCYBER WHEEL Xを作りました。自分の腕で漕いで、VR上で2100年の東京を走るという新感覚のゲームです。その時に仕掛けた技術は、加速度をきちんと理解してもらうためにトルクを入れたのです。それで一気に没入度が上がったんですよね。上り坂になると急に重くなる、下り坂やジャンプもリアルに感じる。ジェットコースターのようにお腹が浮く感じが苦手な人はちょっと酔ってしまう…（笑）。

真鍋：車酔いと一緒ですよね。これは当時FacebookにいたGoromanさんにアドバイスをいただいたのですが、自分の体は動いていないのに、例えばジェットコースターのようにVRの世界では視点がゴリゴリ動いているようなものは確実に酔ってしまうんですね。
実際に車椅子に乗って体験すること、身体を映像と合わせてきちんと動かすこと、それによって大脳だけでなく中脳がリアルと錯覚する。そこが没入感のポイントだったんです。脳科学者の方たちにも“border 2021”を体験していただきましたが、「本当にこれは初めての体験だ！」と感動してもらえたのが嬉しかったですね。

杉原：中脳が刺激されるとは驚きました。脳科学者の方々も非常に興味深いデータが取れたのでしょうね。アートを通じて、いろんな人たちとのネットワークに繋がったのですね。

真鍋大度（まなべ・だいと）
1976年、東京都生まれ。大学卒業後、大手電気メーカーに就職するが1年で退社。2002年 IAMAS（岐阜県立国際情報科学芸術アカデミー）に進学しプログラミングを学び、2006年Rhizomatiksを設立。以後、さまざまなアーティストのMVやライブ演出、スポーツイベントやファッションショーの演出を手がける。現在も東京を拠点に、アーティスト、インタラクションデザイナー、プログラマ、DJとして活動。

関連記事を読む

• 始まりは“かめはめ波を撃ちたい！”という発想。テクノスポーツ「HADO」開発者インタビュー
• 音を感じる世界が、声を出すきっかけに！「Ontenna」開発者・本多達也が届けたいもの
• 「Arque」人間のための尻尾が生み出す、独創的な夢
• センシング技術と即自的インターフェースが導く未来「ORPHE TRACK」開発者・菊川裕也が見る夢

2019年1月8日～11日の4日間、アメリカ・ラスベガスで開催された世界最大級の家電・エレクトロニクス技術展示会「Consumer Electronics Show (CES) 2019」。毎年開催される世界最大規模のこの見本市では、この1年のみならず、これからの未来を予見させる製品や技術が集まるだけに、全世界から18万2000人以上が来場。参加企業はなんと4400社以上というビッグスケール。今年は最新のテレビやオーディオといった家電の分野だけでなく、5G回線を使った製品や、AI搭載製品、モビリティ関連、ヘルスケアといったジャンルが話題になっていた模様。その中から、気になる製品を5つピックアップしたので紹介していきたい。

高い場所にいても車イスのまま乗り込める!?
災害時にも役立つ四足歩行可能なモビリティ

韓国の自動車メーカーであるHyundai（現代自動車）は、通常は4輪自動車のように高速走行ができ、いざというときには四足歩行での移動ができる「Elevate」のコンセプトデザインを発表した。

車輪を変形させて四足歩行モードになると、前後左右だけでなく上部にも移動でき、高さ5フィート（約152cm）の段差をも登ることができるという。もちろん、障害物をまたぐことも可能。これにより、地震や噴火、水害、大雪といった各種自然災害時の救助に役立てることもできる。また、欧米のアパートなどに多い、建物の正面階段を上ることができるため、タクシーとして利用すれば車いすユーザーも容易に乗り込むことができるといった使い方も披露された。

動力はEV（電気自動車）であり、Hyundaiではこれを「Ultimate Mobility Vehicle（究極の移動手段）」と謳っている。

自動運転機能搭載の車イスに
シェアリングサービス機能をプラス

横浜に本社を置くWHILLは、自動運転・自動停止機能を備えたパーソナルモビリティを発表。これは空港や商業施設などでのシェアリングを想定しており、アプリでWHILLを呼び出したり、乗り捨てたあとは自動で待機場所に戻るといった機能も搭載されている。

開発のきっかけとなったのは、空港や駅、商業施設などで、車いすの介助や、車いすの回収に多くの人手が必要とされている現状がある。とくに先進国の多くは「旅客の権利」が保護されており、EUでは乗客の乗降に必要な支援を無償で提供することを、事業者に法令で義務付けている。そのため、航空業界では車いすの介助や回収のための人手やコストが年々増え続けているというのだ。運用側にとっては費用が抑えられるという利点があるが、利用者にとっても人の手を借りずに好きな場所に移動できるというのは大きなメリットである。

すでにオランダのスキポール空港や英国のヒースロー空港などで実用化に向けた協議が進められており、いずれはスポーツ施設や商業施設、観光地などでも順次実用化されていく予定。なお、「WHILL自動運転システム」は、CES2019のAccessibilityカテゴリで最優秀賞を受賞した。

自分の健康状態を常にチェック！
いつでもどこでも心電図、家庭で心血管疾患検出

フランスのメーカーWithingsは、いつでもどこでも心電図が取れるアナログウォッチ「Move ECG」と、自宅でさまざまな心血管疾患を検出できる血圧・心拍数・心電図監視・デジタル聴診器を搭載した「BPM Core」を展示。

「Move ECG」はウォッチケースに指を置くだけで、20秒後に心電図が記録されるというもの。データは専用アプリを搭載したスマートフォンなどにリアルタイムで表示され、専門家に相談が必要な場合は警告が発せられる。さらに、心電図記録を医師に送信することも可能だ。

本体は、12ヶ月という長期のバッテリー寿命と最大50mの耐水性を実現。運動を促進させる機能としてのウォーキング、ランニング、スイミングの自動追跡や、体重や睡眠状態も記録してくれる。さらに階段昇段用の高度計も搭載。

「BPM Core」は、Afib（心房細動）と心臓弁膜症のリスクを検出するための心電図とデジタル聴診器を統合したスマート血圧モニター。腕に巻いた状態で3種類（血圧モニター、心電図、デジタル聴診器）を測定することができ、すべては90秒で終了する。本体のLED表示で結果を確認することができ、専用アプリを使えばすべての履歴を確認することも可能。

アメリカでは成人の3人に1人が高血圧に苦しんでいるといわれ、米国心臓協会と欧州高血圧学会は共に、高血圧症に苦しむ人に向けた腕用カフスタイル機器による在宅血圧モニタリングを推奨している。

「Move ECG」「BPM Core」ともに、CES2019のINNOVATIONアワードを受賞。

世界初の8K OLED（有機EL）テレビは
これまた世界初の巻き取り式！

韓国の家電メーカーLGからは、世界初の巻き取り式テレビ｢The LG SIGNATURE OLED TV R｣が登場。テレビを観ないときは自動でくるくると巻かれてボックスに収納されるというのは画期的。ディスプレイは、すべてを露出させるFull Viewと、時計や写真フレームなど必要なサイズの画面を露出させるLine View、すべてを収納させるZero Viewの3つのモードを用意している。

今回発表されたのは、8K（7,680×4,320）で88インチという末広がりな仕様。これまではテレビの置き場所次第で部屋の使い方が限定されてしまったが、これがあれば設置場所のバラエティも増え、何より空間を美しく演出することができる。

CESでは他に、中国のスタートアップ企業ROYOLEより曲げられるスマホ「FlexPai」が展示されるなど、OLED（有機EL）は今後も大きな発展が期待される。

役に立たない家族型ロボットに
海外メディアも注目！

日本ではすでに購入予約も始まり、さまざまなメディアで取り上げられて話題になっている家族型ロボットの「LOVOT（ラボット）」。日本のロボティクスメーカー、GROOVE Xによる製品だ。これは、家族の一員として愛されるペットのような存在を目指したもので、掃除や洗濯をするなど家事を担ってくれるといったことはしてくれない。しかし、人肌に近い体温があり、抱き心地にもこだわって作られているなど、とにかく愛くるしい。また、世話してくれる人の顔を覚える顔認証（イヤがることばかりする人には寄ってこなくなる）、視線を合わせる機能、後ろをついてくる追従機能、抱っこするとホイールを自動で収納して抱っこをねだるモード、障害物を検知してぶつからずに移動する機能などを搭載。

基本的には愛でるものだが、本体にはAIや各種センサー、カメラなどが搭載されており、人を検知すると撮影して報告してくれるお留守番機能や、赤ちゃんの見守り、家の見回り、抱っこされた時間やお着替えされた時間など毎日の様子をプライバシーに考慮しつつ記録するダイアリー機能などを有している。

家族の一員としてのロボットは極めて日本的な発想だが、その愛くるしさやユニークさにBBC、CNETといった大手メディアからも取り上げられ、大きな注目を集めた。