パフューム、サカナクションといった日本の人気アーティストや、ビョーク、OK Go、ノサッジ・シングといった世界的に有名なアーティストとのコラボレーションや、リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーでのAR映像演出などを手がけたライゾマティクスの真鍋大度氏。ライゾマティクス創業から15周年となる今春は、東京都現代美術館で大回顧展を開催したばかり。エンタテイメントからアート、スポーツ、医療と幅広いフィールドを横断しながら積極的に活動する真鍋氏を迎えた対談を前後編にてお届けする。

ライゾマティクスの飛躍は
ソフトとハードの両面にあり

杉原：僕が最初に真鍋さんを知るきっかけとなったのが、顔がピクピクする動画（electric stimulus to face /2008）だったのです。その時「ヒューマノイドの世界がついに来たんだ」と思いました。顔面の動きをトレースしていけば、今後は相当リアルなヒューマノイドが出来上がるんじゃないかと。

真鍋：今でこそSNSは当たり前ですが、当時はまだSNSもそこまで影響力がなかったですよね。やはりあの動画は海外で活動する大きなきっかけになりました。以前から同じようなことをやっていたのですが、なぜかあの動画だけかなりバズったんです。海外の人が見つけて面白がってくれたことが話題になった要因になっていたと思います。

杉原：それから、プリンターを使ったOK Goのミュージックビデオも印象的で、何度も繰り返して再生しました。あの動画は編集なしの一発勝負ということを聞いて、さらに驚いたんです。

真鍋：他にも似たようなことをやっている会社はあるのですが、ライゾマを評価していただいていることの１つの要因として、ハードウェアのエンジニアが多いことが挙げられると思います。なので、OK GoのMVのように大量のプリンターをハッキングして操作することができました。ソフトとハードの両方から難易度の高いことにアプローチできるので、「どうにもならなくなったらあいつらを呼ぼう」という感じで海外からオファーを受けることが多いんです。例えば広告の現場でドローンを上手く制御できなくて、どうにもならなくなって僕らが呼ばれるという。

杉原：はじめからライゾマにオファーするのは、ハードルが高いということでしょうか？

真鍋：というより、やはり最初はどの会社やチームも自分たちでやってみたいものなんですよね。難易度の高い仕事のひとつとしては、フェンシングの太田（雄貴）選手の剣先をマーキング無しで視覚化することがありました。

フェンシング・ヴィジュアライズド・プロジェクトついて

杉原：太田さんは前衛的な考え方で様々なテクノロジーやアイデアを柔軟に取り入れている印象ですよね。だから太田さんの一挙手一投足が注目されていたと思うし、ライゾマが剣先の動きを視覚化したことで、フェンシング競技の面白さが一気に高まりましたよね。本当に素晴らしいプロジェクトでした。

真鍋：ありがとうございます。2013年に、太田選手と電通からこれからのスポーツ観戦をテクノロジーの力でフェンシングをよりわかりやすく、魅力的に見せることが出来ないかというお題をいただき、ライゾマティクスが剣先を可視化するアイディアを提案、そしてプロトタイプの実装を担いプロジェクトがスタートしました。

杉原：剣道もそうだと思うんですが、フェンシングの勝負はあまりに一瞬すぎて、どう勝負が決まったのかが分かりにくいですからね。あれってカメラで剣先をトラッキングしたのですか？　それとも加速度センサーを使ったのでしょうか？

真鍋：最初は剣先に再帰性反射材を付けてマーキングして、赤外線カメラを64台設置し剣先をトラッキングしました。モーションキャプチャの技術を使えば、トラッキングは可能でした。デモンストレーションとしてはそれで充分でしたが、本番の試合ではマーキングはできません。国際試合でもこの技術を使えるようにするためには機械学習技術を用いる必要があり、2013年時点では長い道のりになることは明確でした。ただ、東京オリンピックまでにはできるはずだと話をしました。

エイブル presents 第73回全日本フェンシング選手権大会

杉原：本当にゼロからのスタートな訳ですよね。剣先の動きをありとあらゆる変数でアルゴリズム作ってディープラーニングさせていくということですよね。ちょっと吐き気がするほどの作業量ですね（笑）。

真鍋：システム開発もそうですが学習データを作る作業が大変でしたね。僕は途中からディレクションに回り、開発はライゾマの花井というシニアエンジニア主導で進めたのですが、まずは練習試合の動画データを取得し、そこからアルバイトの手によって20万枚の画像に手動で人の骨格と剣先をラベリングしました。最終的なハードウェア構成もソフトウェアの処理も本当に複雑で、かつ映像的にもきちんと見栄えが良いものを作らねばならず「良くぞこれを実装しきったな……」とエンジニアたちが開発したのを横目で見て感動していました。

杉原：技術を実用化するためには、システムのスリム化が必要ですよね。でも、ゼロから始めるときは、どうしてもマッチョなシステムから始めるしかない訳ですね。我々のプロジェクトにも同じことが言えるので非常に共感します。ふと思ったんですが、イーロン・マスクが開発しているニューラリンク（脳とコンピュータをつなぐ技術）が進み、集積したデータを自分の脳に移植すれば、ものすごいフェンシングが上達するわけですよね。

真鍋：まだまだ先の話になるでしょうが、そうした未来もあるでしょうね。僕個人としては、その技術ができたら真っ先に埋め込んでみたい（笑）。

杉原：30年後の未来を考えていくと、拡張型の技術はもはや避けては通れないですからね。だから僕は“アート×テクノロジー”というところで、真鍋さんの作品から1歩先の提案書をもらっている感じなんです。

真鍋：そう言っていただけるのは本当にありがたいです。医療の分野は倫理の問題などがあり、出来ないことも多々あるので難しいですけれど。おっしゃる通り、アートはちょっと先の未来を実験するにはちょうどいい分野でもありますね。

2015年の取り組みをアップデートさせた
ELEVENPLAY × Rhizomatiks “border 2021”

杉原：リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーのAR演出なども本当に素晴らしかったですね。さて、僕は結局観に行けず非常に悔しんですが、今年2月に行われた“border 2021”のコンセプトやバックグラウンドを改めて教えてください。

真鍋：ステージ上でパフォーマンスを体験しているお客さんもいるし、その様子を観客席の外から見ているお客さんもいる。そんな風にお客さんとパフォーマー、ステージと観客席、そういう境界線がない空間や入れ子構造になっている状態を作りたかったんですね。さらにリアルな現実とVRの世界をシームレスに行ったり来たりできるボーダレスな状態を作り出してみたいと思い、そこから“border”というプロジェクトが始まりました。たまたまパーソナルモビリティ・WHILL（ウィル：次世代型電動車椅子の名称であり、その開発会社）の人たちと仲良くなった時期ということもあり協力していただきました。最終的にはお客さんにMRゴーグルを装着してWHILLに乗ってもらった状態で、生のダンサーとVRのダンサーを体験する作品になりました。実際に開発して痛感したことなのですが、身体が車椅子で動かされることでさらに没入感が増すんです。

杉原：リアルと仮想のフュージョンみたいなところですね。没入感を高めるために身体の動きが重要だったというのは面白い発見ですね。

ELEVENPLAY x Rhizomatiks “border 2021” (2021)　Photo by hiroko hirota（同、トップ画像）

真鍋：そのとき改めて分かったことは、大脳ではなく中脳に作用するということです。中脳は平衡感覚神経を司っている部位なで、普段やっているVRではそれほど意識しないのですが、WHILLによって身体を動かされることで、よりリアリティを感じやすくなるということが分かったのです。

杉原：僕もVRを利用した車いすレーサーCYBER WHEEL Xを作りました。自分の腕で漕いで、VR上で2100年の東京を走るという新感覚のゲームです。その時に仕掛けた技術は、加速度をきちんと理解してもらうためにトルクを入れたのです。それで一気に没入度が上がったんですよね。上り坂になると急に重くなる、下り坂やジャンプもリアルに感じる。ジェットコースターのようにお腹が浮く感じが苦手な人はちょっと酔ってしまう…（笑）。

真鍋：車酔いと一緒ですよね。これは当時FacebookにいたGoromanさんにアドバイスをいただいたのですが、自分の体は動いていないのに、例えばジェットコースターのようにVRの世界では視点がゴリゴリ動いているようなものは確実に酔ってしまうんですね。
実際に車椅子に乗って体験すること、身体を映像と合わせてきちんと動かすこと、それによって大脳だけでなく中脳がリアルと錯覚する。そこが没入感のポイントだったんです。脳科学者の方たちにも“border 2021”を体験していただきましたが、「本当にこれは初めての体験だ！」と感動してもらえたのが嬉しかったですね。

杉原：中脳が刺激されるとは驚きました。脳科学者の方々も非常に興味深いデータが取れたのでしょうね。アートを通じて、いろんな人たちとのネットワークに繋がったのですね。

真鍋大度（まなべ・だいと）
1976年、東京都生まれ。大学卒業後、大手電気メーカーに就職するが1年で退社。2002年 IAMAS（岐阜県立国際情報科学芸術アカデミー）に進学しプログラミングを学び、2006年Rhizomatiksを設立。以後、さまざまなアーティストのMVやライブ演出、スポーツイベントやファッションショーの演出を手がける。現在も東京を拠点に、アーティスト、インタラクションデザイナー、プログラマ、DJとして活動。

関連記事を読む

• 始まりは“かめはめ波を撃ちたい！”という発想。テクノスポーツ「HADO」開発者インタビュー
• 音を感じる世界が、声を出すきっかけに！「Ontenna」開発者・本多達也が届けたいもの
• 「Arque」人間のための尻尾が生み出す、独創的な夢
• センシング技術と即自的インターフェースが導く未来「ORPHE TRACK」開発者・菊川裕也が見る夢

未来のウェアラブル機器に欠かせない、エレクトロ二クス、通信、繊維という3大要素。これらを一気通貫に行える新会社『帝人フロンティアセンシング』が2018年4月に誕生した。スポーツ分野での普及を皮切りに、今後はヘルスケアや労働時の作業管理へと広げていくという。近い将来、同社からどのようなイノベーションが生まれていくのかに迫った。

世界でも類を見ない新会社が誕生

独自の無線技術をベースに、主にスポーツ分野における動きや生体信号を計測するデバイスの開発。さらには測定した数値の分析までを得意とする『スポーツセンシング』。そして、繊維製品を中心とした大手商社兼メーカーであり、近年はスポーツやヘルスケアにおけるウェアラブル製品の研究・開発にも注力してきた『帝人フロンティア』。そんなふたつの会社が『帝人フロンティアセンシング』という新しい会社を2018年4月に設立した。

代表取締役社長に就任したのは、スポーツセンシングの代表も務める澤田泰輔氏。新会社では、それぞれの強みを活かしながら、スポーツやヘルスケア分野における革新的なウェアラブル製品の開発をおこなっていくという。そこで、澤田氏にこれまでの軌跡と新会社が描く未来についての話を訊いた。

「スポーツセンシングという会社についてまずご説明しますと、スポーツバイオメカニクス（生理学、解剖学、力学を融合して身体の特徴をとらえる）分野における研究開発用機器の販売からスタートしています。前身の企業時代から数えると10年になります。きっかけとなったのは、当時はまだ海外の高価な計測機器しかなかったこともあり、より広く国内で普及させるための新たな製品作りが求められたことがあります」

指導者としての経験から生まれたテクノロジーへの興味

澤田氏は、U-12世代のサッカー指導者という経歴を持つ。その際、スポーツ分野におけるテクノロジーの必要性に気づき、スポーツセンシングを立ち上げることとなった。

「人口減少の時代、教えられる子どもの人数にもまた限りがあります。そのなかで、いかに素材を伸ばすかを考えたとき、教育という行為だけでは実現不可能な部分があることを感じたんです。私がコーチをしていた20年前であれば、ハーフタイムに前半戦の映像を活用するということは、到底考えられなかった。現在も根底にあるのは、計測 → 分析 → フィードバック → トレーニング／試合という循環をいかに適格かつ効率的におこなうかということ。そういうツールやサービスの種類が増えてスポーツ界に広まれば、より継続的な育成ができると思うんです」

スポーツセンシングの主力製品のひとつに『DSPワイヤレス筋電センサ』がある。これは、6軸センサ（加速度3軸／角速度3軸）を備えた計測機器で、表面筋電図と同時に取り付けた部位の運動データを詳細に読み取ることができるものだ。しかも、コンパクトな機器のなかに演算装置も組み込まれている。これをどう使うかは、スポーツの特性によって変わってくるので一概にはいえない。

「加速度センサーを活用するといっても、ボクシングならばパンチ力という評価軸になり、リハビリであれば身体の姿勢という評価軸になることもあります。つまり、計測自体は同じでも計算の仕方がまったく異なるんです。だからといって、パソコンにすべてのデータを漏れなく転送することは難しく、計算精度を得られないことが多々ある。そのために、小さいセンサーの中に演算装置を組み込んでいるのです」

計測した数値を、どのような評価軸で提示する（フィードバックする）のか。そこもまた重要なのだ。

「もうひとつは無線技術です。我々が独自の無線方式（国内電波認証取得済み）を開発しているのは、複数を同時に測るため。ラグビーやサッカーのような競技では、20人や30人を同時に計測したい場面があるんです。そうなると、Bluetoothのような一般的な技術ではマッチしません」

DSPワイヤレス筋電センサ（乾式）

スポーツジャンルを問わず、競技技術の向上を目的とした製品作りをおこなってきたスポーツセンシング。一方で、計測という意味では応用範囲が広いため、ヘルスケアはもちろん、ロボット工学や人間工学など、人の動きを取り扱うジャンルの研究者にも広く活用されている。すでに、500を超える大学の研究室で使われているというから驚きだ。

ウェアラブル化により、いつもと変わらない動きが計測できる

さて、ここからが本題。そんなスポーツセンシングが、革新的なウェアラブル製品へと注力する際に、なぜ帝人フロンティアと組んだのだろうか。

「計測機器を身体に取り付ける際、選手や被験者の方々にとって違和感のないものであることが重要です。機器を取り付けたことで、いつもとは違う動きになったら意味がありませんから。そこを突き詰めていくと、ウェアと一体化したものになっていく。そのためには、繊維の技術、糸を作る技術、ウェアを作る技術が必要不可欠になってきます。そこを自前で開発するということは不可能です。ですから、日本を代表する繊維商社であり、さまざまなグループを持つ帝人フロンティアさんと協業できることは大きな強みなんです。繊維、エレクトロニクス、通信、そこを一気通貫してできる会社は世界に類を見ません」

ウェアにポケットを取り付けて装置を入れたり、サポーターのようなものに貼り付けるのではなく、ウェア自体がデバイスも兼ねていれば計測していることを忘れてしまう。吸汗速乾性やストレッチ性など、快適な着心地を備えていることも重要だ。そんな世界を目指して、帝人フロンティアセンシングは誕生している。

帝人グループがこれまでに開発したウェアラブル技術の一例：関西大学と帝人株式会社の共同開発によって生まれた、圧電体を組紐状にしたウェアラブルセンサー「圧電組紐」。柔軟かつ屈曲性のある紐状のセンサーなため、目的に合わせてさまざまな太さや長さ、形状に調整可能。脈拍計測など広い用途での使用が可能。

「心電・心拍や加速度を計測するものなど、スポーツセンシングがすでに発売しているものはすべてウェアラブル化していきます。早いもので今年の秋には発表できると思います。分野としては、スポーツ、ヘルスケア、作業管理が大きな柱。スポーツは運動強度が高く、リハビリなどのヘルスケアは運動強度が弱く、作業管理はその中間といった感じ。作業管理に関しては、発汗の管理やストレスのようなものを計測しながら、居眠りや疲れを予想していくアルゴリズムを作っていきます。まずは熱中症対策からスタートする予定です」

高みを目指す、すべての人が活用できる社会へ

ウェアラブル、つまり計測機器がウェア化することで、今後はB to Cの領域が広がっていく。では、パラスポーツに関しては、どのような動きが生まれるのだろうか。

「スポーツセンシングとしては、すでにパラリンピック競技をされている方々と深い関わりがあります。開発中のウェアラブルデバイスにおいても、さまざまな競技で導入の流れが進んでいます。パラ系競技の場合、疲労度などが外見から判断できないことが多いのです。なので、いまは選手交代もプレイ時間で見ていくしかない。今後は良質なデータを得ることで、より安全で高レベルな競技ができるようになればと思っています」

最後に、革新的なウェアラブル計測器を生み出すことで、どんな未来がやってくるのかを聞いてみた。

「私の夢は前述のように、計測 → 分析 → フィードバック → トレーニングという循環のスピードを速めることなんです。その実現のひとつにウェアラブルがある。また、古くからトップアスリートの方々とご一緒してきましたが、たとえマイナーな競技であってもトップを目指している人の熱量は変わらないんです。お金が多く集まる競技ばかりにツールやソリューションが集中するのではなく、どの競技でもどんな世代でも、高みを目指そうとしたら手に入るツール、システム、ソリューションを提供することで、社会に貢献できればと思っています」

澤田泰輔
帝人フロンティアセンシング株式会社・代表取締役社長
九州芸術工学大学（現九州大学） 芸術工学部 音響設計学科卒。学生時代よりU-12世代のサッカー指導者として活躍。音響機器メーカー入社後も、指導を行っていた。その後、フリーランスのエンジニアとなり、株式会社ロジカルプロダクトへ参加。2015年、スポーツ分野向け計測機器の開発・販売を行う株式会社スポーツセンシング代表取締役社長へ就任。2018年より、帝人フロンティアセンシング株式会社の代表取締役社長と兼務。