パフューム、サカナクションといった日本の人気アーティストや、ビョーク、OK Go、ノサッジ・シングといった世界的に有名なアーティストとのコラボレーションや、リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーでのAR映像演出などを手がけたライゾマティクスの真鍋大度氏。ライゾマティクス創業から15周年となる今春は、東京都現代美術館で大回顧展を開催したばかり。エンタテイメントからアート、スポーツ、医療と幅広いフィールドを横断しながら積極的に活動する真鍋氏を迎えた対談を前後編にてお届けする。

ライゾマティクスの飛躍は
ソフトとハードの両面にあり

杉原：僕が最初に真鍋さんを知るきっかけとなったのが、顔がピクピクする動画（electric stimulus to face /2008）だったのです。その時「ヒューマノイドの世界がついに来たんだ」と思いました。顔面の動きをトレースしていけば、今後は相当リアルなヒューマノイドが出来上がるんじゃないかと。

真鍋：今でこそSNSは当たり前ですが、当時はまだSNSもそこまで影響力がなかったですよね。やはりあの動画は海外で活動する大きなきっかけになりました。以前から同じようなことをやっていたのですが、なぜかあの動画だけかなりバズったんです。海外の人が見つけて面白がってくれたことが話題になった要因になっていたと思います。

杉原：それから、プリンターを使ったOK Goのミュージックビデオも印象的で、何度も繰り返して再生しました。あの動画は編集なしの一発勝負ということを聞いて、さらに驚いたんです。

真鍋：他にも似たようなことをやっている会社はあるのですが、ライゾマを評価していただいていることの１つの要因として、ハードウェアのエンジニアが多いことが挙げられると思います。なので、OK GoのMVのように大量のプリンターをハッキングして操作することができました。ソフトとハードの両方から難易度の高いことにアプローチできるので、「どうにもならなくなったらあいつらを呼ぼう」という感じで海外からオファーを受けることが多いんです。例えば広告の現場でドローンを上手く制御できなくて、どうにもならなくなって僕らが呼ばれるという。

杉原：はじめからライゾマにオファーするのは、ハードルが高いということでしょうか？

真鍋：というより、やはり最初はどの会社やチームも自分たちでやってみたいものなんですよね。難易度の高い仕事のひとつとしては、フェンシングの太田（雄貴）選手の剣先をマーキング無しで視覚化することがありました。

フェンシング・ヴィジュアライズド・プロジェクトついて

杉原：太田さんは前衛的な考え方で様々なテクノロジーやアイデアを柔軟に取り入れている印象ですよね。だから太田さんの一挙手一投足が注目されていたと思うし、ライゾマが剣先の動きを視覚化したことで、フェンシング競技の面白さが一気に高まりましたよね。本当に素晴らしいプロジェクトでした。

真鍋：ありがとうございます。2013年に、太田選手と電通からこれからのスポーツ観戦をテクノロジーの力でフェンシングをよりわかりやすく、魅力的に見せることが出来ないかというお題をいただき、ライゾマティクスが剣先を可視化するアイディアを提案、そしてプロトタイプの実装を担いプロジェクトがスタートしました。

杉原：剣道もそうだと思うんですが、フェンシングの勝負はあまりに一瞬すぎて、どう勝負が決まったのかが分かりにくいですからね。あれってカメラで剣先をトラッキングしたのですか？　それとも加速度センサーを使ったのでしょうか？

真鍋：最初は剣先に再帰性反射材を付けてマーキングして、赤外線カメラを64台設置し剣先をトラッキングしました。モーションキャプチャの技術を使えば、トラッキングは可能でした。デモンストレーションとしてはそれで充分でしたが、本番の試合ではマーキングはできません。国際試合でもこの技術を使えるようにするためには機械学習技術を用いる必要があり、2013年時点では長い道のりになることは明確でした。ただ、東京オリンピックまでにはできるはずだと話をしました。

エイブル presents 第73回全日本フェンシング選手権大会

杉原：本当にゼロからのスタートな訳ですよね。剣先の動きをありとあらゆる変数でアルゴリズム作ってディープラーニングさせていくということですよね。ちょっと吐き気がするほどの作業量ですね（笑）。

真鍋：システム開発もそうですが学習データを作る作業が大変でしたね。僕は途中からディレクションに回り、開発はライゾマの花井というシニアエンジニア主導で進めたのですが、まずは練習試合の動画データを取得し、そこからアルバイトの手によって20万枚の画像に手動で人の骨格と剣先をラベリングしました。最終的なハードウェア構成もソフトウェアの処理も本当に複雑で、かつ映像的にもきちんと見栄えが良いものを作らねばならず「良くぞこれを実装しきったな……」とエンジニアたちが開発したのを横目で見て感動していました。

杉原：技術を実用化するためには、システムのスリム化が必要ですよね。でも、ゼロから始めるときは、どうしてもマッチョなシステムから始めるしかない訳ですね。我々のプロジェクトにも同じことが言えるので非常に共感します。ふと思ったんですが、イーロン・マスクが開発しているニューラリンク（脳とコンピュータをつなぐ技術）が進み、集積したデータを自分の脳に移植すれば、ものすごいフェンシングが上達するわけですよね。

真鍋：まだまだ先の話になるでしょうが、そうした未来もあるでしょうね。僕個人としては、その技術ができたら真っ先に埋め込んでみたい（笑）。

杉原：30年後の未来を考えていくと、拡張型の技術はもはや避けては通れないですからね。だから僕は“アート×テクノロジー”というところで、真鍋さんの作品から1歩先の提案書をもらっている感じなんです。

真鍋：そう言っていただけるのは本当にありがたいです。医療の分野は倫理の問題などがあり、出来ないことも多々あるので難しいですけれど。おっしゃる通り、アートはちょっと先の未来を実験するにはちょうどいい分野でもありますね。

2015年の取り組みをアップデートさせた
ELEVENPLAY × Rhizomatiks “border 2021”

杉原：リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーのAR演出なども本当に素晴らしかったですね。さて、僕は結局観に行けず非常に悔しんですが、今年2月に行われた“border 2021”のコンセプトやバックグラウンドを改めて教えてください。

真鍋：ステージ上でパフォーマンスを体験しているお客さんもいるし、その様子を観客席の外から見ているお客さんもいる。そんな風にお客さんとパフォーマー、ステージと観客席、そういう境界線がない空間や入れ子構造になっている状態を作りたかったんですね。さらにリアルな現実とVRの世界をシームレスに行ったり来たりできるボーダレスな状態を作り出してみたいと思い、そこから“border”というプロジェクトが始まりました。たまたまパーソナルモビリティ・WHILL（ウィル：次世代型電動車椅子の名称であり、その開発会社）の人たちと仲良くなった時期ということもあり協力していただきました。最終的にはお客さんにMRゴーグルを装着してWHILLに乗ってもらった状態で、生のダンサーとVRのダンサーを体験する作品になりました。実際に開発して痛感したことなのですが、身体が車椅子で動かされることでさらに没入感が増すんです。

杉原：リアルと仮想のフュージョンみたいなところですね。没入感を高めるために身体の動きが重要だったというのは面白い発見ですね。

ELEVENPLAY x Rhizomatiks “border 2021” (2021)　Photo by hiroko hirota（同、トップ画像）

真鍋：そのとき改めて分かったことは、大脳ではなく中脳に作用するということです。中脳は平衡感覚神経を司っている部位なで、普段やっているVRではそれほど意識しないのですが、WHILLによって身体を動かされることで、よりリアリティを感じやすくなるということが分かったのです。

杉原：僕もVRを利用した車いすレーサーCYBER WHEEL Xを作りました。自分の腕で漕いで、VR上で2100年の東京を走るという新感覚のゲームです。その時に仕掛けた技術は、加速度をきちんと理解してもらうためにトルクを入れたのです。それで一気に没入度が上がったんですよね。上り坂になると急に重くなる、下り坂やジャンプもリアルに感じる。ジェットコースターのようにお腹が浮く感じが苦手な人はちょっと酔ってしまう…（笑）。

真鍋：車酔いと一緒ですよね。これは当時FacebookにいたGoromanさんにアドバイスをいただいたのですが、自分の体は動いていないのに、例えばジェットコースターのようにVRの世界では視点がゴリゴリ動いているようなものは確実に酔ってしまうんですね。
実際に車椅子に乗って体験すること、身体を映像と合わせてきちんと動かすこと、それによって大脳だけでなく中脳がリアルと錯覚する。そこが没入感のポイントだったんです。脳科学者の方たちにも“border 2021”を体験していただきましたが、「本当にこれは初めての体験だ！」と感動してもらえたのが嬉しかったですね。

杉原：中脳が刺激されるとは驚きました。脳科学者の方々も非常に興味深いデータが取れたのでしょうね。アートを通じて、いろんな人たちとのネットワークに繋がったのですね。

真鍋大度（まなべ・だいと）
1976年、東京都生まれ。大学卒業後、大手電気メーカーに就職するが1年で退社。2002年 IAMAS（岐阜県立国際情報科学芸術アカデミー）に進学しプログラミングを学び、2006年Rhizomatiksを設立。以後、さまざまなアーティストのMVやライブ演出、スポーツイベントやファッションショーの演出を手がける。現在も東京を拠点に、アーティスト、インタラクションデザイナー、プログラマ、DJとして活動。

関連記事を読む

• 始まりは“かめはめ波を撃ちたい！”という発想。テクノスポーツ「HADO」開発者インタビュー
• 音を感じる世界が、声を出すきっかけに！「Ontenna」開発者・本多達也が届けたいもの
• 「Arque」人間のための尻尾が生み出す、独創的な夢
• センシング技術と即自的インターフェースが導く未来「ORPHE TRACK」開発者・菊川裕也が見る夢

2018年、大ヒットしたドラマ「ブラックペアン」には「スナイプ」と呼ばれる最新手術医療器具が登場したが、ロボットや機械が手術を補助する場面は今後ますます増えると推測される。なかでも、先端を行く存在として注目されているのが手術支援ロボット『ダビンチ』だ。ダビンチによる手術を行うニューハート・ワタナベ国際病院を訪ね、ロボット手術の現状や課題、医療の未来について話を伺った。

痛くない、血が出ない。
患者の負担が最低限で済むので、最短3日で退院できる。

米粒にすら文字が書ける精密さ。医療用ロボット「ダビンチ」とは？ (http://hero-x.jp/movie/5178/)

まず最初に説明しておきたいのは、ダビンチとは厳密には「ロボット」ではなく「世界初、遠隔操作型の内視鏡器具」であるということ。

「現在はマニュアルを基にした医師の操作が必要ですが、いつか熟練した人の腕を再現できるような時代が来るのだろうという希望をこめて、ロボットと呼んでいるのかもしれません」

そう語るのは、ニューハート・ワタナベ国際病院 総長 兼 理事長の渡邊剛氏。ダビンチを使用した心臓弁の形成術や、心臓の血管を繋げるバイパス手術をはじめとした心臓血管外科領域において国内外での豊富な経験を誇り、日本ロボット外科学会の理事長も務める、まさにダビンチを広めた第一人者だ。

ニューハート・ワタナベ国際病院 総長 兼 理事長・渡邊剛氏

ダビンチと従来の内視鏡との違いは、まずその機能性と自由度の高さにあると言えるだろう。

3D内視鏡で捉えた患者の術野を立体画像として映し出すステレオビューワ、鉗子 (「ペアン」に代表されるように、手術や治療の際血管などの組織をつまむ器具のこと) や内視鏡カメラを自在に操作できるマスターコントローラ、瞬間的に鉗子や3D内視鏡の切り替えができるフットスイッチなどを駆使し、医師は患者から離れ、座った姿勢のまま遠隔操作で執刀する。

動かした手の幅を縮小して伝えるモーションスケール機能を使えば、手を5cm動かすと、鉗子は1cm動く仕組みに設定ができるし（この対比は2対1、3対1にも設定可能、手術前に設定した後、術中の状況に応じて変更することもできる）手ぶれ補正機能や左右を反転できる機能など、狭い空間での作業や、血管の縫合や切除なども精密さを求められる作業にも適している。

また、鉗子の種類も100種類ほど揃っており、臓器や目的に合わせた器具が発展しているそうだ。

「ダビンチを使うメリット、それは、まず患者さんの負担が少ないことです。患者さんの皮膚を1～2cmの幅で数か所切開し、そこから鉗子を挿入して手術をするので痛みも少ない、開放手術と比較すると出血が少ない、小さな傷口を開くだけなので、術後の疼痛が軽減され傷が早く治る、手術後に後遺症も残りにくく、手術痕が綺麗なことが特徴と言えるでしょう。当然、手術する部位や状態にもよりますが、最短であれば術後3日で退院して、仕事や学校に復帰することができますよ」（渡邊氏）

早く退院できるというのは、手術後回復を待っている間に体力が低下してしまい、そのまま寝たきりになってしまうことも多い高齢者の手術にも大きな効果が期待されるであろう。

ダビンチは2000年に米国で誕生した。当時、世界で初めての内視鏡下冠動脈バイパス術を行った渡邊氏は、いつかダビンチを使って心臓の手術を行いたいと考えていた。

大学への交渉や文部科学省からの資金拠出を経て、渡邊氏が日本国内ではじめてダビンチを使った手術を行ったのは、金沢大学と東京医大で教授職に就いていた2005年のこと。2009年に先進医療として認定されるまでは、研究費でダビンチによる手術を行うなど、試行錯誤を重ねながらもチーム ワタナベは2005年12月から2018年10月にいたるまで、553件もの手術を実施してきた。

そして、2014年に開業したニューハート・ワタナベ国際病院では弁形成術をはじめとして、心房中隔欠損症、心室中隔欠損症、心臓腫瘍などの心臓手術のほか、国内で唯一のダビンチによる甲状腺手術も行っている。

「年間、弁形成の手術が4000例ほどあるなかで、私たちが担当しているのはその5％、200件ほど。シェアという意味では大きいですが、保険適用がスタートしたのは2018年の4月とごく最近のこと。認知が広がっていくのはこれからではないかと考えています」

医師の腕が手術のクオリティを左右する。
誰にでも扱える万能なロボットではない。

元々、心臓外科の手術用で始まったダビンチ、現在アメリカでは2500台ほど導入されており、そのなかでも泌尿器科の手術の8割以上はダビンチで行われている。この15年で、開放手術の件数とは逆転現象が起こったほどだ。一方、日本に入ってきたダビンチは500台ほどで、泌尿器科での件数はようやく6割に届く程度と言われている。

患者数や医療制度は国ごとに異なり、一般化することは難しいながらも、これまで日本での普及がなかなか進まなかった理由は、コストの問題と並んで、医師の腕が大きく左右される手術であることも大きく関係している。

「胸やお腹を大きく開けば、術部がよく見えるし、どこまで取るか、どう縛るかなど相談もしやすく標準化できます。しかしダビンチをはじめとした内視鏡手術は、ほぼ１人で手術を行うもので、手術時間にしても吻合技術 (心臓血管手術において血管等を繋ぎ合わせる技術のこと) にしても、医師の腕が手術のクオリティに大きく影響してしまいます。

ダビンチは誰でも使える万能なロボットだと思われることもありますが、結局は医師の判断や裁量によるところが大きく、誰が使ってもいいものではありませんし、新しい技術に挑戦するには勉強も臨床経験も必要です。たとえば車の運転がロクにできない人がF1カーを運転したらエンジンをかけることもままならないですよね。自分のかわりに手術を行ってくれるロボットではないですから、ダビンチを使って手術ができるようになるためには、まず外科医として一人前にならなければならない」（渡邊氏）

日本ロボット外科学会の
サーティフィケートが今後の判断基準になる

更なる認知の向上を目指すも、医療機関はもちろん広告を出すことはできず、インターネット上に患者さんの声を反映する際にも制約がある。

それでも、「日本に導入したものの責任として、安全に正しく広めることが必要だと感じています」と語る渡邊氏は医師の育成もかねて、日本ロボット外科学会を立ち上げた。経験や症例数に応じて、国際A、国際B、国内A、国内Bの4種類のライセンスを与え、認定証書を授与している。

「このサーティフィケートが今後、患者さんの判断基準にもなっていくと思います。より認知が広がっていけば、大腸がんならこの病院、甲状腺ならこの病院、と手術を受けるべき病院も分かって、後悔のない治療を受けられるのではないでしょうか」

まだ、件数は少ないものの、これからは産婦人科の手術での活躍に期待が集まっている。泌尿器などに比べると、産婦人科は臓器も病気の種類も多く、より多くの患者に安全な治療を施せる将来性にも満ちている。

日本に導入しようとした当初は、厚生労働省から薬事法承認が下りるまでのハードルが高かったダビンチも現在は第4世代まで進んでおり、川崎重工とシスメックスによる国産手術支援ロボット「メディカロイド」も2019年の販売に向けて開発が大詰めを迎えるなど、技術の進歩は止まらない。

今後、患者にとって当たり前の選択肢としてロボット手術がより発展していくことに期待したい。