あらゆる情報がデータ化され、これまで見えづらかった事象が可視化されるようになった現在。エンタテイメントやスポーツ分野におけるデジタルテクノロジーの可能性について語り合った前編に続き、後編ではさらに突っ込んだデジタルアート、さらには金融や医療分野についても話が及んだ。まだ混沌としているブロックチェーン技術や、倫理の問題が立ちはだかる身体データの活用など、今を生きる我々が避けては通れないトピックスについてのヒントがここにある。いずれにせよ、しばらく真鍋氏の動向から目が離せないことだけは確実だ。

東京現代美術館にて展示された
《Rhizomatiks ×　ELEVENPLAY “multiplex”》2021

《Rhizomatiks ×　ELEVENPLAY “multiplex”》2021　「ライゾマティクス_マルティプレックス」展示風景（東京都現代美術館、2021年） photo by Muryo Homma(Rhizomatiks)

杉原：さて、今東京都現代美術館で開催している「rhizomatiks_multiplex」についてお伺いしたいです。僕はまだ動画でしか拝見していないのですが、実際に見た人の感想を訊くと、みんな口を揃えてすごい！って絶賛していますよ。

真鍋：お客さんにわざわざ足を運んでいただくだけの価値がある体験にしようというコンセプトがありました。生で、肉眼で見てもらって、リアルなオブジェクトを動かすことや空間を上手く使うことなどを感じてもらいたかったんです。

杉原：白いオブジェクトが動くのは、ルンバとかで使われているSLAM（自己位置推定と環境地図作成の同時実行）ですか？

真鍋：《Rhizomatiks ×　ELEVENPLAY “multiplex”》では、外からセンサーカメラを使ってオブジェクトについているマーカーを認識して位置と角度をトラッキングしています。外で動いているロボットはGPS、RTK-GNSSですね。映像だけでなくかなりたくさんのアナログ装置を用いています。残念ながら4月は丸々緊急事態宣言でクローズしていました。

杉原：もったいない！　せっかくの機会だからもっと延期してくれればいいのに。コロナで気分が落ち込んでしまいがちですが、こういう時期こそアートやスポーツの力で、個々の価値観を再定義できたらいいと思っているのです。

NFTの抱える問題と可能性について

杉原：そうした中で、NFT（ブロックチェーン技術を使って固有の価値を持たせる）が昨年から急激に注目されるようになりましたね。知人が「真鍋さんの作品を買ったぞー」という話をしていて、びっくりしていたんですよ。

真鍋：今はほとんどのクリエーターが既存のマーケットプレイス、OpenSea、Rarible、Foundationなどで作品をミントしていると思うのですが、ライゾマは独自のマーケットを作りました。実践を通じて現状分析、未来予測を行うという意味合いが大きいですね。

杉原：ライゾマのNFTを使ったマーケット知らなかったです！　とはいえ、この種のマーケットはまだきちんとしたプラットフォームになってないですよね。どちらかと言えばアイデア先行で始まって、まだアーリーアダプター向けなんですよね。

真鍋：6年前にドイツのカールスルーエ・アート・アンド・メディア・センターではビットコインのトランザクションのビジュアリゼーションや自動取引をテーマにした作品を展示したこともあり、ブロックチェーン関連は興味がある分野だったのでNFTも早くから注目していました。

杉原：この間、レブロン・ジェームズのダンクシュートの動画が2000万円で売られたことも話題になりましたね。

真鍋：NBAトップショットですね。いやぁ、海外の動きは早いですね。まだ黎明期で何が本命かは判断が難しいところもあるのですが、そこを含めて面白いと思っています。

杉原：ちょうどiTunesで楽曲を購入できるようになった頃、WinnyとかNapsterとか（ファイル共有サービス）が出てきて、問題になった時と似ていますよね。ある程度の不正には目を瞑りながらもサービス自体を普及させていくという。結局大事なことは、アーティストの権利をどう守るのかということですよね。

真鍋：NFTには可能性があることは揺るぎない事実かと思います。特に永続性の部分は大きいのではないでしょうか。例えば、YouTubeの画像はYouTubeのサービスが終わってしまったら無くなってしまいますよね。しかしNFTアートでよく使われているIPFSというハイパーメディア分散プロトコルを使えば、対改ざん性、耐障害性、対検閲性など作品が存在する上でのメリットがあります。もちろん、画像や動画、3DデータなどだけではなくDNAデータをアップロードするなど、貴重なデータを保存することにも使えますし、ゲームから始まってアートに移行して、これからはさらに広い分野でこの技術が使われるだろうなと思います。

杉原：遊休資産が一気に値上がりするパターンがありますよね。例えば、昔作ったプロモーションビデオの一部の切り取りを買える訳じゃないですか？

真鍋：眠っていたコンテンツがNFTをきっかけに蘇って価値が出てくるということもあるでしょうね。よく言われていることではありますが、音楽の流通やミュージックビデオも形態が変わっていくんじゃないかなと思います。日本ではまだまだ事例が少ないですよね。海外だとWarp Recordsの代表的なアーティストであるAphex Twinがオーディオビジュアル作品を出していたり、有名どころでも面白い事例もたくさんあります。
杉原：たしかBLURもやっていますよね。僕個人としては、今後さらにNFTを利用したサービスが支持されると思うし、自分自身でもライゾマの作品を購入したいと思っています。ただ気がかりなのがめちゃめちゃ薄型でかっこいいスクリーンというか、デジタルアート作品にぴったり合うモニターがあればいいなと。やっぱり自分が惚れ込んだ絵画作品には、それ相応の額装が必要になるじゃないですか？　ライゾマの作品はライゾマのディスプレイとセットにして鑑賞したいですものね。

真鍋：まさにおっしゃる通り！　先読みされた感じがしました。作品を買った人がどうやって鑑賞するのかというと、結局ディスプレイが必要になります。ですから、僕らはウォレット搭載のNFTディスプレイの開発も検討しています。

先端医療におけるデータ活用とこれから

杉原：今回お話をして、ライゾマとRDSに親和性があるなと思ったことが、身体の可視化についてです。単純にデータを医療につなげようとしているのではなく、新しい項目を見つけて、今僕らが生活している中での当たり前をもう少し面白くできないだろうかと考えているのです。歩くという単純な行動が、ドラゴンクエストウォークとかポケモンGOとか、コンテンツが付与されるだけでエンタテイメントになる。そうした背景とかコンテキストみたいなのをぶち込んでいきたいなと考えているのです。そこで大事なことは、コミュニケーションでありUXなんですよね。僕らはあくまでもテクノロジーの基礎とツールを提供しているだけで、出口をどうするかが課題なんです。例えば、医療データを解析して「あなたの身体はこんな状態です」とぶっきらぼうに言われるような、しょっぱいUXだったら「そんなの要らない！」ってなっちゃうと思うから。

真鍋：たしかに、いきなりエクセルのグラフを見せつけられても興醒めしてしまいますよね。そもそもセンシティブな情報ですし、そんなこと知りたくないという人も多いですから。

杉原：真鍋さんの作品を見ていると、奥深いところにあるメッセージのように見えて、実はすでに身近にあったことを可視化してくれているのではと思ったのです。健康状態をダイレクトに伝えるだけではなく、どういう風に生活を改善した方がいいとか、コーチングから始めたらいいのかなと。だから、真鍋さんが取り組んでいるテクノロジーとアートを掛け合わせる手法を使って、1つのアライアンスになればいいなと。点と点が面になっていくように医療データを掛け合わせて、人々のQOL（クオリティ・オブ・ライフ）につなげていきたいのです。

真鍋：人の脳に埋め込んだ方がQOLが上がるというレベルまで行けるかどうか、いう話ですよね。個人的には早くやってみたいんです。この間も京都大学に行ってMRIのデータを取らせてもらって作品を制作したり、特任教授をやっているSFCでは藤井先生の協力を得てTMSと呼ばれる電気刺激を用いた作品制作を行っています。普段は主に医療に使われるものですね。

杉原：わっ！　痛そうですね。頭蓋骨も通り抜けて、脳に通電させているのですね。

真鍋：モーキャプのシステムとMRIのデータをTMSのシステムと組み合わせています。ちょっと痛いです（笑）。視覚野を刺激してどのような映像体験が出来るかを調べました。その時は思うような結果は得られなかったのですが、今後は作品の体験や制作に繋がればと思っています。

杉原：先ほども話しましたが、イーロン・マスクがやっていることにも通じますよね。デバイスを装着して脳に電流を流すことで、手を動かすことなくテレビゲームのキャラクターを動かすことができるという。

真鍋：それから最近面白かったのが、ドルビーの人たちと一緒にスタンフォード大学の研究所に1週間滞在して行った実験です。最近のテレビゲームはHDRが進化して、眩しいくらいに高解像度かつ高階調度になっています。それを利用してゲーム中の爆発シーンを見ると、本当に火災が起きたと思って顔の表面温度が上がる。脳波のデータはノイズが多くて使いづらいのですが、サーモのデータは使いやすいんです。

杉原：高所の映像を見ただけで手に汗をかく現象と同じですね。脳に刺激を与えることで、実際に火を使わずに火傷をさせることもできると聞きました。僕のプロジェクトでもサーモを利用した歩行実験で、その人の身体状態が大体わかるんですよね。

真鍋：僕は昔骨折したところがあって、ちゃんと治療せずにいたので歩き方がおかしくなっていると思うので、是非杉原さんのところで実験してもらいです。

今後のデジタルアートはさらなる変革期に突入

杉原：それでは最後に、コロナ以降のデジタルアートの展望について、どんな風に予想しているのかを教えてください。

真鍋：コロナの反動でリアルスペースに対する欲求が高まっている。それは来年の秋ぐらいまでには必ず戻ってくるでしょうね。

杉原：たしかにそうでしょうね。僕はデジタルに対してそれほど好意的ではなかった人たちが、コロナを通じて一気にデジタルにシフトしてきたと実感しています。

真鍋：本当にものすごく変わりましたし、実際アート界も変わってきています。現代アートの人たちはVRとかに懐疑的でしたが、そういう人たちですらオンラインギャラリーやバーチャルギャラリー、NFTを普通に使うようになってきた。もはやデジタル、リモート、オンラインは現代の必需品ですね。あっという間に人々が合意して価値観が変わった。

杉原：多くの人たちにとっては大変な時期だけれども、既にその前から取り組んでいた人たちからしたら、半歩先かなと思っていた未来が、もうここまで来たという感じですよね。

真鍋：もうここまで来て、あっという間にその先に行こうとしているというか（笑）。例えばミュージシャンがグリーンバックでオンライン配信ライブをやったり、少し前ならすごく特殊なことが今や普通のことになっていますよね。だから僕たちは、その更に先を行かないと。

真鍋大度（まなべだいと）
1976年、東京都生まれ。大学卒業後、大手電気メーカーに就職するが1年で退社。2002年 IAMAS（岐阜県立国際情報科学芸術アカデミー）に進学しプログラミングを学び、2006年Rhizomatiksを設立。以後、さまざまなアーティストのMVやライブ演出、スポーツイベントやファッションショーの演出を手がける。現在も東京を拠点に、アーティスト、インタラクションデザイナー、プログラマ、DJとして活動。

関連記事を読む

• 電気刺激で「触感」を疑似体験！ 最新のゲームコントローラーが熱い
• 脳をヒントにしたAI開発が次のアーキテクチャを作る　自律型AIはどこまでいけるのか
• “目は口ほどに物を言う”心や身体の不調が瞳で分かる時代へ！ 日本が誇る「瞳孔反応解析技術」
• 勝負はたったの0．5秒 どう防ぐ？子どもにふりかかる危険な事故
• テクノロジーが失った余白を座敷わらしのような“妖怪ロボ”が取り戻す!?　ユカイ工学が考えるロボットの未来

人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。前編では、氏がこのAIの研究に至った経緯や実情について伺った。後編では、認知症の初期症状などを読み取るために、研究の成果がどう活かされているのか？　気になる具体例やそれがもたらす今後の展望を語っていただいた。編集長・杉原が描く未来との共通点とは？

複数の行動データから認知症傾向を読み取る

杉原：岡田さんのプロジェクトのひとつは、認知症の症状を読み取るというものですよね。

岡田：そうですね。老人ホームのどの場所でよく生活していたのかという行動のデータを取りながら、高齢者にロボットと対話してもらったりして、行動履歴・対話履歴といったデータを掛け合わせたものを分析すると、認知症予備軍といいますか、認知症傾向にある方がある程度判断できることを示しました。ただ、限られた人数での実験結果なので、結果の解釈には注意が必要です。

杉原：それは、（認知症の）進行度とかがわかるということですかね。

岡田：ある程度はそうですね。データがもっと増えてくれば、そういうことがより可能になってくると思います。ただ、難しいところが感情と一緒で、認知症かどうかの診断っていうのは、お医者さんがいろんな検査をした上で統合的に判断するものなので、認知症傾向を検出できるというと、言い過ぎになってしまうんです。僕らの研究での正解データは、認知症の傾向を測る簡易的なスクリーニングテストの点数ですから、あくまで行動データからAIがスクリーニングテストの結果の傾向を推定しました、ということになるんですよ。

「超高齢化社会こそ、テクノロジーにとっては多くのチャンスがある時代」だと常々言っている杉原。認知症検知のシステムには、これからを生き抜くヒントがあると感じている。

杉原：医療行為ではないってことですよね。あくまで予測、予防のアドバイス的な役割を果たすのが岡田さんの研究ということですね。

岡田：そうですね。「こういう可能性があるのですが、大丈夫ですか？」というようなことですね。あくまで診断ではなくて。

杉原： AIなので、どれだけデータを溜められるのかも重要ですよね。結構な日数のデータを採らないと所見というのはわかりませんし、行動に合わせてその変化を見ていくことも重要になりますよね。

岡田：まさに、そうですね。

杉原：取ったデータをAIで解析する出口としては、認知症に限らず何でもありなんですかね。

岡田：そういうことは言えると思います。ただ、自分が専門とする分野は、AIのなかでも機械学習というものと、あとはセンサーの時系列解析というものを合わせて、例えば認知症テストの点数の良し悪しを推定する技術までなんです。データの結果をどうやって活かしていくかということになると、いろんなものが考えられますが、ちゃんとしたサービスと考えると、まだ明確なものはできていないので、これからですね。

2019年、英・ケンブリッジ大学で開催された著名な国際学会“ACII”では、ジョージ・アンド・ショーン株式会社と岡田研究室の共著論文「ライフログを活用した認知症の早期検知」が採択された。

 熟練者から得たデータはいわば遺言みたいなもの!?

杉原：まだしっかりとした形になってはいなくても、いくつかお話していただけるプロジェクトはありますか？

岡田：例えば美容アドバイザーのコンサルティングのテクニックをモデル化するというフューチャー株式会社さんとの共同研究の試みにも携わっています。美容コンサルタントの第一人者で、非常に有名な小林照子さんというアドバイザーの方がいらっしゃいますが、小林さんは、クライアントに対して化粧の仕方だけでなく、これから何になりたくてどこに向かって行きたいのか？　というようなライフスタイルのヴィジョンまで聞き出したり、提案したりするんですね。その小林さんのアドバイスのオリジナルメソッドを、AIを通して後世に伝えていけないだろうかと、いま試行錯誤しているところです。

杉原：それは面白いですね。

岡田：それでお弟子さんと小林照子さんのコンサルの仕方を、音声やジェスチャー、目線などのデータとして読み取って、“上手なコンサル”のノウハウみたいなものを積み上げていこうとしています。

岡田氏は、「人間の内面を数値化、可視化できれば、これまでできなかった試みがいろいろできるようになる」という。

杉原：そのデータが溜まってくれば、小林照子さんがこれまで感覚的にやってきたものが、数値として見えるようになる。まさにテクノロジーでわかりやすく提示するということですね。

岡田：そういうことを実現していければいいですよね。

杉原：そういうデータの集積っていうものは、成功された方や、その道の第一人者の方々の「遺言」みたいな感じになりそうですね（笑）。

岡田：そういうものの最初の例みたいになったらいいですね（笑）。確かに自分の遺言になるようなものを後世に残したい気持ちはあります。

杉原：例えばウォルト・ディズニーがまだ生きていたら、彼の感覚的な部分や、言葉のチョイスだったりをAI化していくと考えたらすごいですよね。それが精度の高いものであれば、ウォルト・ディズニーが永遠にコンサルできるってことですよね（笑）。

岡田：何年経ってもアニメーターに厳しく的確な指示を出し続ける。そんなことができるかもしれません（笑）。

コミュニケーションスキルの問題点もデータから紐解く

杉原：自分の会社も先代がもう亡くなっていますが、会社経営って意味では、蘇ったらめちゃくちゃ嫌ですけどね（笑）。それはスポーツの世界にも活用できそうですね。

岡田：そうですね。チャンスがあれば、何か一緒に取り組めたら面白いですね。

杉原：例えば、過疎が進んでいる場所とかもそうですし、そうではなくても、いまは子供たちが自由にスポーツできる場所も少なくなってきています。そうすると良質の指導を受ける機会も減りますよね。

岡田：スポーツがのびのびできる場所は、確かに昔より少ないかもしれません。

杉原：そういった状況に対して、チュートリアル的な取り組みも可能になっていくということですね。極端に言えば、イチロー選手のメソッドがあって、そのメソッドを、AIを通して効率よく伝えていければ、イチローさんを知らない子供たちがイチローさんの弟子になるみたいな感じですね。

岡田：そうですね。例えば若い担い手の少ない伝統芸術の職人さんなどの技術やメソッドを、情報化して伝えていければ面白いかなと思います。アメリカの南カリフォルニア大の研究グループは、戦争の体験者の姿をVirtual Reality（VR）の技術で再現し、また体験に関する証言もコンピュータに蓄積することで、戦争の体験に関してVR上の体験者と実際に質問応答の対話ができるシステムを作りました。実際のミュージアムでこのシステムが展示されたようです。

杉原：確かに人々が防げるものを事前にアドバイスできれば、それを回避することができますよね。認知症もそのひとつですね。あとは先ほどの小林照子さんのような技術を紡いで継承していくようなもの。そのほかに岡田さんの研究が活かせるものは何かありますか？

岡田：あとはコミュニケーションのスキルですかね。例えばプレゼントとかで、説明の質を上げることにも活用できます。わかりやすい説明だったか？　流暢に喋れたか？　などをあらゆるデータから自動推定して、あなたのプレゼンのこの部分がちょっとわかりづらいみたいなものを割り出す研究もしています。

杉原：それは助かるなぁ（笑）。ゲーム感覚にもなりますね。自分で100%だと思ったとしても、例えば70%だと判定されれば、こことここは直さないといけないってなりますよね。

岡田：そこで逆に、AIに指摘されたところだけがうまくなってしまうこともありそうですけど（笑）。

杉原：それだけ様々な出口がある岡田さんの研究ですけど、一歩先の未来を考えたとき、どんな分野に一番応用されそうですか？

岡田：どれもまだ一歩足りないんですが、やはり高齢者関連は大事だと感じています。例えば老人ホームを利用している高齢者が、実際に普段はどんな生活をしているかというライフログを、ご家族がまとめて見たいというニーズは高まっています。推定するだけじゃなくて、そういう行動を可視化するだけで、様々な対応ができるようになりますから、高齢者自体のライフスタイルの質も、その家族の気持ちも、全然変わりますよね。

杉原：確かにそうですね。僕も超高齢化社会は逆にチャンスだと感じていますから、これから面白いことがいろいろできる未来がやってくると思っているんですよ。

岡田：僕もこういう時代だからこそ楽しんで、やはり若いときのテンションやパッションを持ったまま、年老いて死んでいきたいと思っています（笑）。そのために若い頃の感覚・新鮮さを忘れないように心がけていますし、社会的にもそんな自分の思いや経験を行動として伝承できる技術を作りたいという思いが、常にあります。

杉原：そういう未来は、自分で作るしかないですね。

岡田：待っていても歳はとっちゃいますからね（笑）。

前編はこちら

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。