パフューム、サカナクションといった日本の人気アーティストや、ビョーク、OK Go、ノサッジ・シングといった世界的に有名なアーティストとのコラボレーションや、リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーでのAR映像演出などを手がけたライゾマティクスの真鍋大度氏。ライゾマティクス創業から15周年となる今春は、東京都現代美術館で大回顧展を開催したばかり。エンタテイメントからアート、スポーツ、医療と幅広いフィールドを横断しながら積極的に活動する真鍋氏を迎えた対談を前後編にてお届けする。

ライゾマティクスの飛躍は
ソフトとハードの両面にあり

杉原：僕が最初に真鍋さんを知るきっかけとなったのが、顔がピクピクする動画（electric stimulus to face /2008）だったのです。その時「ヒューマノイドの世界がついに来たんだ」と思いました。顔面の動きをトレースしていけば、今後は相当リアルなヒューマノイドが出来上がるんじゃないかと。

真鍋：今でこそSNSは当たり前ですが、当時はまだSNSもそこまで影響力がなかったですよね。やはりあの動画は海外で活動する大きなきっかけになりました。以前から同じようなことをやっていたのですが、なぜかあの動画だけかなりバズったんです。海外の人が見つけて面白がってくれたことが話題になった要因になっていたと思います。

杉原：それから、プリンターを使ったOK Goのミュージックビデオも印象的で、何度も繰り返して再生しました。あの動画は編集なしの一発勝負ということを聞いて、さらに驚いたんです。

真鍋：他にも似たようなことをやっている会社はあるのですが、ライゾマを評価していただいていることの１つの要因として、ハードウェアのエンジニアが多いことが挙げられると思います。なので、OK GoのMVのように大量のプリンターをハッキングして操作することができました。ソフトとハードの両方から難易度の高いことにアプローチできるので、「どうにもならなくなったらあいつらを呼ぼう」という感じで海外からオファーを受けることが多いんです。例えば広告の現場でドローンを上手く制御できなくて、どうにもならなくなって僕らが呼ばれるという。

杉原：はじめからライゾマにオファーするのは、ハードルが高いということでしょうか？

真鍋：というより、やはり最初はどの会社やチームも自分たちでやってみたいものなんですよね。難易度の高い仕事のひとつとしては、フェンシングの太田（雄貴）選手の剣先をマーキング無しで視覚化することがありました。

フェンシング・ヴィジュアライズド・プロジェクトついて

杉原：太田さんは前衛的な考え方で様々なテクノロジーやアイデアを柔軟に取り入れている印象ですよね。だから太田さんの一挙手一投足が注目されていたと思うし、ライゾマが剣先の動きを視覚化したことで、フェンシング競技の面白さが一気に高まりましたよね。本当に素晴らしいプロジェクトでした。

真鍋：ありがとうございます。2013年に、太田選手と電通からこれからのスポーツ観戦をテクノロジーの力でフェンシングをよりわかりやすく、魅力的に見せることが出来ないかというお題をいただき、ライゾマティクスが剣先を可視化するアイディアを提案、そしてプロトタイプの実装を担いプロジェクトがスタートしました。

杉原：剣道もそうだと思うんですが、フェンシングの勝負はあまりに一瞬すぎて、どう勝負が決まったのかが分かりにくいですからね。あれってカメラで剣先をトラッキングしたのですか？　それとも加速度センサーを使ったのでしょうか？

真鍋：最初は剣先に再帰性反射材を付けてマーキングして、赤外線カメラを64台設置し剣先をトラッキングしました。モーションキャプチャの技術を使えば、トラッキングは可能でした。デモンストレーションとしてはそれで充分でしたが、本番の試合ではマーキングはできません。国際試合でもこの技術を使えるようにするためには機械学習技術を用いる必要があり、2013年時点では長い道のりになることは明確でした。ただ、東京オリンピックまでにはできるはずだと話をしました。

エイブル presents 第73回全日本フェンシング選手権大会

杉原：本当にゼロからのスタートな訳ですよね。剣先の動きをありとあらゆる変数でアルゴリズム作ってディープラーニングさせていくということですよね。ちょっと吐き気がするほどの作業量ですね（笑）。

真鍋：システム開発もそうですが学習データを作る作業が大変でしたね。僕は途中からディレクションに回り、開発はライゾマの花井というシニアエンジニア主導で進めたのですが、まずは練習試合の動画データを取得し、そこからアルバイトの手によって20万枚の画像に手動で人の骨格と剣先をラベリングしました。最終的なハードウェア構成もソフトウェアの処理も本当に複雑で、かつ映像的にもきちんと見栄えが良いものを作らねばならず「良くぞこれを実装しきったな……」とエンジニアたちが開発したのを横目で見て感動していました。

杉原：技術を実用化するためには、システムのスリム化が必要ですよね。でも、ゼロから始めるときは、どうしてもマッチョなシステムから始めるしかない訳ですね。我々のプロジェクトにも同じことが言えるので非常に共感します。ふと思ったんですが、イーロン・マスクが開発しているニューラリンク（脳とコンピュータをつなぐ技術）が進み、集積したデータを自分の脳に移植すれば、ものすごいフェンシングが上達するわけですよね。

真鍋：まだまだ先の話になるでしょうが、そうした未来もあるでしょうね。僕個人としては、その技術ができたら真っ先に埋め込んでみたい（笑）。

杉原：30年後の未来を考えていくと、拡張型の技術はもはや避けては通れないですからね。だから僕は“アート×テクノロジー”というところで、真鍋さんの作品から1歩先の提案書をもらっている感じなんです。

真鍋：そう言っていただけるのは本当にありがたいです。医療の分野は倫理の問題などがあり、出来ないことも多々あるので難しいですけれど。おっしゃる通り、アートはちょっと先の未来を実験するにはちょうどいい分野でもありますね。

2015年の取り組みをアップデートさせた
ELEVENPLAY × Rhizomatiks “border 2021”

杉原：リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーのAR演出なども本当に素晴らしかったですね。さて、僕は結局観に行けず非常に悔しんですが、今年2月に行われた“border 2021”のコンセプトやバックグラウンドを改めて教えてください。

真鍋：ステージ上でパフォーマンスを体験しているお客さんもいるし、その様子を観客席の外から見ているお客さんもいる。そんな風にお客さんとパフォーマー、ステージと観客席、そういう境界線がない空間や入れ子構造になっている状態を作りたかったんですね。さらにリアルな現実とVRの世界をシームレスに行ったり来たりできるボーダレスな状態を作り出してみたいと思い、そこから“border”というプロジェクトが始まりました。たまたまパーソナルモビリティ・WHILL（ウィル：次世代型電動車椅子の名称であり、その開発会社）の人たちと仲良くなった時期ということもあり協力していただきました。最終的にはお客さんにMRゴーグルを装着してWHILLに乗ってもらった状態で、生のダンサーとVRのダンサーを体験する作品になりました。実際に開発して痛感したことなのですが、身体が車椅子で動かされることでさらに没入感が増すんです。

杉原：リアルと仮想のフュージョンみたいなところですね。没入感を高めるために身体の動きが重要だったというのは面白い発見ですね。

ELEVENPLAY x Rhizomatiks “border 2021” (2021)　Photo by hiroko hirota（同、トップ画像）

真鍋：そのとき改めて分かったことは、大脳ではなく中脳に作用するということです。中脳は平衡感覚神経を司っている部位なで、普段やっているVRではそれほど意識しないのですが、WHILLによって身体を動かされることで、よりリアリティを感じやすくなるということが分かったのです。

杉原：僕もVRを利用した車いすレーサーCYBER WHEEL Xを作りました。自分の腕で漕いで、VR上で2100年の東京を走るという新感覚のゲームです。その時に仕掛けた技術は、加速度をきちんと理解してもらうためにトルクを入れたのです。それで一気に没入度が上がったんですよね。上り坂になると急に重くなる、下り坂やジャンプもリアルに感じる。ジェットコースターのようにお腹が浮く感じが苦手な人はちょっと酔ってしまう…（笑）。

真鍋：車酔いと一緒ですよね。これは当時FacebookにいたGoromanさんにアドバイスをいただいたのですが、自分の体は動いていないのに、例えばジェットコースターのようにVRの世界では視点がゴリゴリ動いているようなものは確実に酔ってしまうんですね。
実際に車椅子に乗って体験すること、身体を映像と合わせてきちんと動かすこと、それによって大脳だけでなく中脳がリアルと錯覚する。そこが没入感のポイントだったんです。脳科学者の方たちにも“border 2021”を体験していただきましたが、「本当にこれは初めての体験だ！」と感動してもらえたのが嬉しかったですね。

杉原：中脳が刺激されるとは驚きました。脳科学者の方々も非常に興味深いデータが取れたのでしょうね。アートを通じて、いろんな人たちとのネットワークに繋がったのですね。

真鍋大度（まなべ・だいと）
1976年、東京都生まれ。大学卒業後、大手電気メーカーに就職するが1年で退社。2002年 IAMAS（岐阜県立国際情報科学芸術アカデミー）に進学しプログラミングを学び、2006年Rhizomatiksを設立。以後、さまざまなアーティストのMVやライブ演出、スポーツイベントやファッションショーの演出を手がける。現在も東京を拠点に、アーティスト、インタラクションデザイナー、プログラマ、DJとして活動。

関連記事を読む

• 始まりは“かめはめ波を撃ちたい！”という発想。テクノスポーツ「HADO」開発者インタビュー
• 音を感じる世界が、声を出すきっかけに！「Ontenna」開発者・本多達也が届けたいもの
• 「Arque」人間のための尻尾が生み出す、独創的な夢
• センシング技術と即自的インターフェースが導く未来「ORPHE TRACK」開発者・菊川裕也が見る夢

慶應義塾大学理工学部でのBMI（ブレイン・マシン・インターフェース）研究を経て、“リハビリテーション神経科学”という新たなサイエンスを打ち出した牛場潤一氏。「脳の機能は、一度でも深刻なダメージを受けると回復できない」という医学界では当たり前の概念を、自ら覆そうとしている同氏は、“医”と“工”の壁を取り払い、そこを行き来することで、「脳卒中による身体の麻痺が治る未来が見えてきた」と語る。それは異端が思い描いた幻想などではない。純粋な探究心と行動力、ユニークな発想が実を結び不可能を可能にしつつあるのだ。その現状を知るべく、まるでバーが併設したアート展示空間のような牛場氏の研究室を訪ねた。

こんなに重い麻痺を治すなんてことは
“無理だよ”と笑われた

BMIの研究を始めた当初は、「そんなの無理」と周りから言われるほど闘志が湧いたという。自分は「負けず嫌いで、天邪鬼な性格」だと笑いながら分析する。

牛場氏が、“リハビリテーション神経科学”としてBMI研究を始めたのは2008年。“医”と“工”両者の視点から、脳卒中によって失われた脳機能を治療するという画期的な研究ではあったものの、当初は異質とみなされ、周囲に理解を得るのは難しかったという。

「まだ自分が若い頃に成果発表をしたときは、医学部の先生に“君の研究は、どのドクターと一緒にやっているの？　そのドクターはなんて言っている？”と聞かれたり、“それは無理だよ”と笑われたりしたことも多々あります。自分の存在をなかなか見てもらえなかったんですね。そういうときに感じたのは、医学の世界で生きてこられた方々に、接してきた患者さんの数や治療実績で勝負しても勝ち目はないし、そもそも僕には医師免許すらないわけですから、同じ土俵に上がろうとしても意味がないということでした」

とはいえ、「無理」と言われるたびに、牛場氏は「やる気が出た」という。なかなか認めてはくれないものの、出入りしていた医局の方々は、“同じ釜のメシを食う仲間”という意識もあったためか、協力してくれることも多かった。それゆえ、気持ちが折れることはなかったという。

「環境には恵まれていたと思います。“牛場がそんなに言うなら”と、助け舟を出してくれた先生も大勢いらっしゃいましたので、本当に感謝しています。でもそういうことに甘えているだけではだめで、自分ならではの立ち位置で成果を出さなければ存在価値はないと認識していました。結局、テクノロジーの仕組みをどれだけロジカルに説明しても（医学界に）理解してもらえませんし、いい物、面白い物を作っても、今までよりもどれだけ優越性があるかを医学グレードでしっかり立証、実証できないと、振り向いてさえもらえませんでした」

牛場氏の考案したBMIで脳機能が回復するなどとは、当初、医者は誰一人として考えていなかったという。それでも地道に研究を続けることで、明らかな成果が出始める。それは、医学の教科書に載っている常識や正解だけを追っているだけでは、得られないものだった。

慢性期の脳卒中患者でも
10日ほどの訓練で指が動く

「僕たちが作っているBMIは、ヘッドホン型の電極を脳卒中患者さんの頭に取り付けるシンプルなものです。例えば右の脳に損傷があって左手が麻痺している患者さんの場合、右の脳の運動野と呼ばれる部位が活性化したときにだけロボットのスイッチが入って、手の動きをサポートします。本人が手を動かそうと思っても、運動野の興奮性が上がらなければロボットは動きません。ですので、BMIを操作しようと試行錯誤を繰り返すことで、患者さんは、どういうやりかたがもっとも上手な脳の使い方なのかを学習していくのです」

そんなウェアラブルで取り付けも簡単なBMIで、なんと脳卒中を発症して１年以上経過した慢性期の患者であっても、10日ほど訓練すれば、指を開いたり閉じたり、物をつかんだりできるようになるケースがあるという。

筋肉に全く反応のなかった患者でも、BMIでの訓練を経れば明らかな反応が現れる。

そして筋肉が自分の意思で反応するようになったら、今度は頭の電極を外して、筋肉の反応を読み取るグローブ型のデバイスに移行する。それを装着して日常生活を送れば、３週間もすればデバイスを完全に外しても指が動かせるようになるのだ。

グローブ型の運動補助デバイスは、日常生活で使うこと自体が脳のトレーニングになる。

「脳卒中で脳が損傷した生身の状態でやみくもに訓練をしても、脳にとっては手がかりがなさすぎて機能を回復することはできません。でも、我々のBMIは、治療対象となる脳領域が活性化したときだけ運動をアシストして、脳に“いまのはよかったよ”と成功報酬を与えるので、脳内に新しい神経回路を獲得していけるのです。これは生物学的な治癒能力を引き出してあげるデバイスですから、実際に頭部に電極を埋め込んで、サイボーグ的に動かすことを目的としたBMIとは、似て非なるものだといえます」

脳の適応機能やキャパシティは
生物学的にまだまだ引き出せる

牛場氏が監修したパナソニック製のBMI。実にシンプルで見た目もスタイリッシュだ。

研究、開発を初めてから今年で10年。現在、牛場研究室で生まれた技術は、大手メーカーであるパナソニック社の全面協力のもと、製品版プロトタイプの完成段階まで進んでいる。同時に関東の４つの病院では、40症例規模の治験も進めていて、承認審査機関へ提出するための正式なデータを収集中だ。

これらの成果と実績から考えれば、牛場流BMIの実用は、そう遠くない未来に多方面で実現するに違いない。さらに、こういった実用的な研究と平行して進めている基礎研究の結果から、牛場氏は脳にはまだまだ無限の可能性があると日々感じているという。それを引き出すことにも大いなるロマンがある。

「研究室では、複数の方に参加していただき、ある脳波が出たら、コンピューター画面のなかの猿の尻尾を模したCGが動くという、ユニークなBMIの実験もしています。そうすると、各々が最初はお尻を振るイメージだとか、バットを振るイメージだとか、思い思いのイメージをすることで、四苦八苦しながら尻尾を動かそうとするのですが、そのうち上手に操れるようになります。３日もするとまるで手足のように自由に、しかも言葉にできない直感的な感覚で尻尾を動かせるようになる人もいます。人間に尻尾はありませんから、こうした適応過程は脳というものの柔軟性を如実に表していると言えます。普段、脳のパフォーマンスは体の構造や周囲の環境に制限されているのですが、BMIを使ってそれらを取り払えば、脳はもっと自由に機能を生み出せるのだと思います。脳には、まだまだ多くの生物学的な能力が秘められていると思います」

研究室ではこちらの大きなモニターに映る尻尾を、BMIで動かすという実験も行っている。それにより脳のまた違った能力が確認できるという。

神経機能を治すためのデバイスを
処方する時代へと突入した

研究室では、授業やゼミのほか、夏休みには高校生向けのワークショップなども開催している。遠方からの参加者も多いという。

体という入れ物の制限を取り払えば、脳のパフォーマンスレベルが広がる。同様に医療もまた、牛場氏のように“医”や“工”という区別や制限を取り払うことで、可能性はもっと広げられるのかもしれない。

「これまでは、神経系の病気は、診断することはできても治すことはできませんでした。でも、もはや脳の情報を分析する情報技術（インフォマティクス）や、ロボティクス、そして我々のBMIのようなテクノロジーは、十分脳神経への治療性が認められていますし、どこに効くかもわかってきています。神経の活動を整えるために化学物質（薬）を飲む、脳の傷を治すためにウィルスや細胞を注射するといった方法論に次いで、外的、物理的な技術の処方が神経治療の第三のウェーブになりつつあるのです」

患者の状態に合わせて適切なデバイスを段階的に処方していくことで、治療の効果はもっと上げられる。複数のデバイスをどう組み合わせて活用するのか？　研究や開発はもちろん、テクノロジーの用法、用量を適切に処方するためのしくみを考えることがリハビリテーション神経科学の役目になってくるのだ。

「いろいろな治療をベストミックスさせることで、今まで治せないとされてきた脳神経系の疾患に対してアプローチして、患者さんが豊かに生活できるようにする。そういう医療を理工学部から作りたいんです。“神経の病気は診断ができるけど治らないなんて、だいぶ昔の話だよね”。そんなふうに言われる未来の当たり前を作りたいと思っています」

前編はこちら

牛場潤一（うしば・じゅんいち）
1978年、東京生まれ。慶應義塾大学理工学部生命情報学科准教授。2004年に博士（工学）を取得し、同年から慶應義塾大学理工学部生命情報学科に助手としてキャリアをスタートさせる。専門は、リハビリテーション神経科学。2008年よりBMI研究を開始し、理工学部からの新たな神経医療の創造を目指している。芸術や音楽への造詣も深く、学生時代はファンクバンドやジャズバンドでトランペットを担当していた。祖父は、慶應義塾大学医学部第8代医学部長の牛場大蔵氏、父は、應義塾大学名誉教授でフランス文学者の牛場暁夫氏。
http://www.brain.bio.keio.ac.jp/