パフューム、サカナクションといった日本の人気アーティストや、ビョーク、OK Go、ノサッジ・シングといった世界的に有名なアーティストとのコラボレーションや、リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーでのAR映像演出などを手がけたライゾマティクスの真鍋大度氏。ライゾマティクス創業から15周年となる今春は、東京都現代美術館で大回顧展を開催したばかり。エンタテイメントからアート、スポーツ、医療と幅広いフィールドを横断しながら積極的に活動する真鍋氏を迎えた対談を前後編にてお届けする。

ライゾマティクスの飛躍は
ソフトとハードの両面にあり

杉原：僕が最初に真鍋さんを知るきっかけとなったのが、顔がピクピクする動画（electric stimulus to face /2008）だったのです。その時「ヒューマノイドの世界がついに来たんだ」と思いました。顔面の動きをトレースしていけば、今後は相当リアルなヒューマノイドが出来上がるんじゃないかと。

真鍋：今でこそSNSは当たり前ですが、当時はまだSNSもそこまで影響力がなかったですよね。やはりあの動画は海外で活動する大きなきっかけになりました。以前から同じようなことをやっていたのですが、なぜかあの動画だけかなりバズったんです。海外の人が見つけて面白がってくれたことが話題になった要因になっていたと思います。

杉原：それから、プリンターを使ったOK Goのミュージックビデオも印象的で、何度も繰り返して再生しました。あの動画は編集なしの一発勝負ということを聞いて、さらに驚いたんです。

真鍋：他にも似たようなことをやっている会社はあるのですが、ライゾマを評価していただいていることの１つの要因として、ハードウェアのエンジニアが多いことが挙げられると思います。なので、OK GoのMVのように大量のプリンターをハッキングして操作することができました。ソフトとハードの両方から難易度の高いことにアプローチできるので、「どうにもならなくなったらあいつらを呼ぼう」という感じで海外からオファーを受けることが多いんです。例えば広告の現場でドローンを上手く制御できなくて、どうにもならなくなって僕らが呼ばれるという。

杉原：はじめからライゾマにオファーするのは、ハードルが高いということでしょうか？

真鍋：というより、やはり最初はどの会社やチームも自分たちでやってみたいものなんですよね。難易度の高い仕事のひとつとしては、フェンシングの太田（雄貴）選手の剣先をマーキング無しで視覚化することがありました。

フェンシング・ヴィジュアライズド・プロジェクトついて

杉原：太田さんは前衛的な考え方で様々なテクノロジーやアイデアを柔軟に取り入れている印象ですよね。だから太田さんの一挙手一投足が注目されていたと思うし、ライゾマが剣先の動きを視覚化したことで、フェンシング競技の面白さが一気に高まりましたよね。本当に素晴らしいプロジェクトでした。

真鍋：ありがとうございます。2013年に、太田選手と電通からこれからのスポーツ観戦をテクノロジーの力でフェンシングをよりわかりやすく、魅力的に見せることが出来ないかというお題をいただき、ライゾマティクスが剣先を可視化するアイディアを提案、そしてプロトタイプの実装を担いプロジェクトがスタートしました。

杉原：剣道もそうだと思うんですが、フェンシングの勝負はあまりに一瞬すぎて、どう勝負が決まったのかが分かりにくいですからね。あれってカメラで剣先をトラッキングしたのですか？　それとも加速度センサーを使ったのでしょうか？

真鍋：最初は剣先に再帰性反射材を付けてマーキングして、赤外線カメラを64台設置し剣先をトラッキングしました。モーションキャプチャの技術を使えば、トラッキングは可能でした。デモンストレーションとしてはそれで充分でしたが、本番の試合ではマーキングはできません。国際試合でもこの技術を使えるようにするためには機械学習技術を用いる必要があり、2013年時点では長い道のりになることは明確でした。ただ、東京オリンピックまでにはできるはずだと話をしました。

エイブル presents 第73回全日本フェンシング選手権大会

杉原：本当にゼロからのスタートな訳ですよね。剣先の動きをありとあらゆる変数でアルゴリズム作ってディープラーニングさせていくということですよね。ちょっと吐き気がするほどの作業量ですね（笑）。

真鍋：システム開発もそうですが学習データを作る作業が大変でしたね。僕は途中からディレクションに回り、開発はライゾマの花井というシニアエンジニア主導で進めたのですが、まずは練習試合の動画データを取得し、そこからアルバイトの手によって20万枚の画像に手動で人の骨格と剣先をラベリングしました。最終的なハードウェア構成もソフトウェアの処理も本当に複雑で、かつ映像的にもきちんと見栄えが良いものを作らねばならず「良くぞこれを実装しきったな……」とエンジニアたちが開発したのを横目で見て感動していました。

杉原：技術を実用化するためには、システムのスリム化が必要ですよね。でも、ゼロから始めるときは、どうしてもマッチョなシステムから始めるしかない訳ですね。我々のプロジェクトにも同じことが言えるので非常に共感します。ふと思ったんですが、イーロン・マスクが開発しているニューラリンク（脳とコンピュータをつなぐ技術）が進み、集積したデータを自分の脳に移植すれば、ものすごいフェンシングが上達するわけですよね。

真鍋：まだまだ先の話になるでしょうが、そうした未来もあるでしょうね。僕個人としては、その技術ができたら真っ先に埋め込んでみたい（笑）。

杉原：30年後の未来を考えていくと、拡張型の技術はもはや避けては通れないですからね。だから僕は“アート×テクノロジー”というところで、真鍋さんの作品から1歩先の提案書をもらっている感じなんです。

真鍋：そう言っていただけるのは本当にありがたいです。医療の分野は倫理の問題などがあり、出来ないことも多々あるので難しいですけれど。おっしゃる通り、アートはちょっと先の未来を実験するにはちょうどいい分野でもありますね。

2015年の取り組みをアップデートさせた
ELEVENPLAY × Rhizomatiks “border 2021”

杉原：リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーのAR演出なども本当に素晴らしかったですね。さて、僕は結局観に行けず非常に悔しんですが、今年2月に行われた“border 2021”のコンセプトやバックグラウンドを改めて教えてください。

真鍋：ステージ上でパフォーマンスを体験しているお客さんもいるし、その様子を観客席の外から見ているお客さんもいる。そんな風にお客さんとパフォーマー、ステージと観客席、そういう境界線がない空間や入れ子構造になっている状態を作りたかったんですね。さらにリアルな現実とVRの世界をシームレスに行ったり来たりできるボーダレスな状態を作り出してみたいと思い、そこから“border”というプロジェクトが始まりました。たまたまパーソナルモビリティ・WHILL（ウィル：次世代型電動車椅子の名称であり、その開発会社）の人たちと仲良くなった時期ということもあり協力していただきました。最終的にはお客さんにMRゴーグルを装着してWHILLに乗ってもらった状態で、生のダンサーとVRのダンサーを体験する作品になりました。実際に開発して痛感したことなのですが、身体が車椅子で動かされることでさらに没入感が増すんです。

杉原：リアルと仮想のフュージョンみたいなところですね。没入感を高めるために身体の動きが重要だったというのは面白い発見ですね。

ELEVENPLAY x Rhizomatiks “border 2021” (2021)　Photo by hiroko hirota（同、トップ画像）

真鍋：そのとき改めて分かったことは、大脳ではなく中脳に作用するということです。中脳は平衡感覚神経を司っている部位なで、普段やっているVRではそれほど意識しないのですが、WHILLによって身体を動かされることで、よりリアリティを感じやすくなるということが分かったのです。

杉原：僕もVRを利用した車いすレーサーCYBER WHEEL Xを作りました。自分の腕で漕いで、VR上で2100年の東京を走るという新感覚のゲームです。その時に仕掛けた技術は、加速度をきちんと理解してもらうためにトルクを入れたのです。それで一気に没入度が上がったんですよね。上り坂になると急に重くなる、下り坂やジャンプもリアルに感じる。ジェットコースターのようにお腹が浮く感じが苦手な人はちょっと酔ってしまう…（笑）。

真鍋：車酔いと一緒ですよね。これは当時FacebookにいたGoromanさんにアドバイスをいただいたのですが、自分の体は動いていないのに、例えばジェットコースターのようにVRの世界では視点がゴリゴリ動いているようなものは確実に酔ってしまうんですね。
実際に車椅子に乗って体験すること、身体を映像と合わせてきちんと動かすこと、それによって大脳だけでなく中脳がリアルと錯覚する。そこが没入感のポイントだったんです。脳科学者の方たちにも“border 2021”を体験していただきましたが、「本当にこれは初めての体験だ！」と感動してもらえたのが嬉しかったですね。

杉原：中脳が刺激されるとは驚きました。脳科学者の方々も非常に興味深いデータが取れたのでしょうね。アートを通じて、いろんな人たちとのネットワークに繋がったのですね。

真鍋大度（まなべ・だいと）
1976年、東京都生まれ。大学卒業後、大手電気メーカーに就職するが1年で退社。2002年 IAMAS（岐阜県立国際情報科学芸術アカデミー）に進学しプログラミングを学び、2006年Rhizomatiksを設立。以後、さまざまなアーティストのMVやライブ演出、スポーツイベントやファッションショーの演出を手がける。現在も東京を拠点に、アーティスト、インタラクションデザイナー、プログラマ、DJとして活動。

関連記事を読む

• 始まりは“かめはめ波を撃ちたい！”という発想。テクノスポーツ「HADO」開発者インタビュー
• 音を感じる世界が、声を出すきっかけに！「Ontenna」開発者・本多達也が届けたいもの
• 「Arque」人間のための尻尾が生み出す、独創的な夢
• センシング技術と即自的インターフェースが導く未来「ORPHE TRACK」開発者・菊川裕也が見る夢

今やどこへ行っても求められる、手先の消毒と体温測定。最初は煩わしいと思っていたけれど、コロナの国内初感染者の発表から1年を経た今、こうした光景はもはや当たり前に。そんな温度センサー付きのセキュリティシステムを開発し、国内でシェアを拡大しヒットを飛ばしているのが、2018年に設立されたばかりの株式会社データスコープである。 今回は、さまざまな企業でデジタル活用のプロジェクトを手がけてきた府川誠二氏に最新の顔認証技術とデータ解析がもたらす未来について語っていただいた。

日本における顔認証のニーズが
高まったのはコロナの登場だった

「画像解析における顔認証のニーズが高まったのは、たまたまなんです」と語る府川氏。プライバシー保護の観点から顔認証システム導入に消極的だった公的機関や企業が一転、コロナの登場により意識が大きく変わっているという。

「顔認証による個人識別によって、誰がいつその空間に入ったのかがデータ化できるので、クラスター感染の可能性が高い空間では特に効果的です。実際、病院、学校、企業のオフィスなど、幅広い施設で導入されています。意外なところでは、不特定多数・多種多様な人間が出入りする工事現場への導入も多いということです」

温度検知センサー付きの顔認証技術で国内シェアを広げる同社では、画像解析技術に加え、AIのディープラーニングによって、個人を正確に特定することも可能だという。しかもマスクを着用していても識別できるほど精度が高いというから驚きである。最近では“マスク着用有無”を検知する機能を併せもつシステムが移動の拠点となる成田空港にも導入され、今後より身近な存在になることは必至である。

VR/AR、IoT、画像解析が
繋がることで見えてきた2つの分野

急速に需要が拡大する顔認証技術。精度の高い画像解析技術を提供するデータスコープ社の前身となるのが、府川氏が取り組んできたエンタテインメントとスポーツ、２つの分野におけるDX（デジタルトランスフォーメーション）化事業だ。特にスポーツ分野においては、画像解析が大きな役割を担っており、今後のアスリート育成にも欠かせない技術となりそうだ。

「今となってはスマホさえあれば、スタジアムや競技場にスムーズに入場できるようになってきていますよね。でも、そういったシステムを導入している施設ですら、つい最近まではチケットのモギリを手作業でやっていたのです。それほど、デジタルインフラが整っていない分野であるスポーツに、DXが貢献できることがたくさんあるなと。例えば、これまで手入力でデータ化していた試合内容を、フィールドに設置したカメラを通じて自動入力させることで、試合中の選手の動きをより正確に、素早く解析できるようになりました。さらに選手の骨格を解析したデータによって、身体の軸がブレていないか測定したり、蓄積したデータをリハビリにも利用することができるのです」

こうして、画像解析の重要性に着眼して設立されたのが、データスコープ社である。データスコープでは本物か偽物かを見分ける“顔認証”、商業施設などで来店客の動線や滞留を分析する“ヒートマップ”、動線を追って解析する“アクセスログ”、そして人や物体を認識検知しカウントする“ピープルカウント”、これら４つの画像解析技術・サービスを提供している。

人の動きを記録・データ化することには大きなメリットがある。しかし私たちが意図せず普段の行動を記録・データ化されることに対して意見はさまざま。漠然とある“監視社会”に対する不安やデータ解析がもたらす未来について話を伺う。

顔認証を取り巻く現状、
監視社会への不安をどう考えるか？

顔認証技術は個人情報と紐付くので、利便性かプライバシーか？という議論は絶えない。顔認証によるセキュリティシステムは犯罪抑止には効果的だが、人々の自由な行動を制限する監視社会になるのでは？というネガティブな反応がコロナ禍以前に導入が進まなかった大きな要因であろう。

日本と一線を画し、顔認証が普及しているのが隣国、中国や東アジア諸国地域だ。「日本企業が追いつけないほど、ものすごいスピードで顔認証の技術が発展している」と府川氏は語る。データスコープ社も台湾の大手・ホンハイ（FOXCONN）と業務提携し、製品を開発・製造している。

「画像解析に必要なサンプル値が膨大で、なかでも中国は日本の１万倍以上のデータをAIに学習させていますから、もはや技術面でも経験値という面でも追いつけないですね。画像認証による利便性を捨ててまでプライバシーを優先するというのは、現実的にもはや難しい局面にあると言わざるを得ません」

行動履歴を含めた個人情報をデータ化することで、さまざまな利便性がもたらされる一方で、たまたまその場所にいただけで犯罪の濡れ衣を着せられるのでは？という恐怖もある。

「画像解析とVR/ARとIoTは繋がった技術なんです。IoTと画像解析を組み合わせ、さらに感情データを加えると、より正確な判断を導き出すことができます。データの蓄積と解析によって、真実が浮かび上がってくるはずです。ですから、犯罪の濡れ衣といったことすらもなくなるかも知れません」

生活の利便性を高めるためだけに
テックを利用する

昨年ニュースとして大きく取り上げられた、定額給付金や持続化給付金の遅れ。今後はデータを活用すれば、よりスピーディかつ正確に行える。それゆえ、日本においてもマイナンバーに免許証や国民健康保険証、さらには金融口座を紐付けて一元管理することが議論されている。

「セキュリティかプライバシーかという問題は、やはり法律と行政の問題。政権が新しくなって、マイナンバーの普及とデジタル化を推し進めることで、個人情報を取り扱う分野が広がることに我々は期待を寄せています。Go Toトラベル開始時に、成田空港の第二・三ターミナルのセキュリティゲートに、弊社の製品を導入していただきました。そこで、もしパスポートとマイナンバーが紐付くことになれば、ゾーニングが容易になり、検疫がより安全かつスムーズに行えるはずです。我々は、生活の中の利便性を高めるためだけにテックを利用しています。決して監視をしたい訳ではないのです」

顔認証技術はセキュリティやコロナ対策だけではなく、医療の分野でも大きな期待がなされている。

「例えばカルテ情報と顔認証をつなげることで、チェックインしましたという情報がすぐさま担当医に伝わり、待合室がなくなります。コロナ禍における遠隔診療の推奨もあり、スマートミラーを通じて初診をデジタルで行えます。今後は、調剤薬局で適切な薬やサプリメントを処方することや、最適なフィットネスを提案することができると思います。血中酸素を測定できる新型のアップルウォッチが話題になりましたが、デジタルデバイスから吸い上げたバイオデータをカルテと結びつけることで、医療はさらに便利になるはずです」

まだ経験したことのない未知の体制・システムに対して、負の側面がクローズアップされがちだが、同じくらいメリットもあるようだ。以前、HERO Xラジオにゲストとして出演した際には、認知症の人を識別することや、未病を発見することも可能になると語る。

「画像解析によって、対象者の特定のビヘイバー（行動）を検知することができますので、病気予測にも役立てるはずです。データスコープとは別にスマートタウン事業にも取り組んでいます。街中にカメラを設置することで、認知症の徘徊老人を補足して、保護することもできます」

社会をより良くするテックは
見えないことが理想

医療分野でのデータ解析はスポーツにも応用しやすく、ウェルネス分野にもつながると府川氏は続ける。

「サッカー元日本代表監督の岡田武史さんが取り組んでいる、今治のスマートスタジアム計画があります。そのコンセプトは里山＆人間らしさを取り戻すで、スタジアムという単なる人が集まる場ではなく、人々がそこで交流して楽しく健康的に過ごすことができる場所を理想としています。医療とスポーツが他の分野と違うのは、個人情報を自ら進んで提供してくれることです。このスタジアムの里山構想では、『テクノロジーやAIはあくまで基礎として導入されている』ことが前提。そうして集まったデータを解析することによって、メディカルとスポーツ、地域経済が融合し、健康的な人々が集う街ができるのではないかと模索しています」

前述で「医療とスポーツの分野は、個人情報を進んで提供してくれる」とあるように、データ取得・解析の目的が明確で、自身や社会のために活用されることが分かると、個々人が抱える漠然とした不安は取り除かれ、データ解析がもたらす利便性や安全性の高い未来を描くことが容易になる。「技術面だけが先行すると人々の心配や不安が先回りしてしまうから、テックは見えない方がいいのです」と語る府川氏の言葉の裏には、「データ解析の恩恵は、最終的に人へと還元されるべき」という信念が込められている。奇しくもコロナの登場で顔認証が広まりつつある日本。私たちがデータの恩恵を享受できる未来も遠くないかもしれない。

府川誠二（ふかわ・せいじ）
20代でデザイン制作会社を設立。CGアプリ制作などデジタルを活用した事業を手掛ける。その後、デロイトトーマツコンサルティングのデジタル事業部の立ち上げに従事し、さまざまな業界のDXコンサルティング、新規事業の立ち上げに携わる。また画像解析スポーツテック、AR/VR事業など新しい技術で事業を立ち上げる。その経験から、スポーツ＆エンターテイメントのD X、及び、不動産のデジタル化推進の事業を立ち上げ、スマートホームIoT、業務管理システムなど不動産テック事業に従事。現在は画像認証、顔認証を使ったサービス開発やスマートタウン事業などを手がけている。