動員数16万人超えと、過去7年間の最高動員数を更新した「ニコニコ超会議2018」にて、音にとらわれないダンスの可能性がプレゼンテーションされた。音楽と連動した触覚振動(Haptic vibration)を通信で届けるシステムを用いて、Deaf Dancer (耳の聞こえないダンサー)がダンスを披露した『Sync-pulse 振動で踊ってみた』プロジェクトである。

この日ダンスパフォーマンスでステージを盛り上げてくれたのは、プロとして活躍する Deaf Dancer 鹿子澤拳さん。鹿子澤さんは、生まれつき聴覚に障がい(感音性難聴 /骨伝導が適用できないタイプ)があるが、「千本桜 feat 初音ミク」の高速ビートをもコンプリートしたダンスを華麗に披露した。

『Sync-pulse 振動で踊ってみた』プロジェクトは、NTTコミュニケーション科学基礎研究所が、専門技能を持つ社外コラボレーターとともに実現したものだ。同研究所は、人には聞こえない周波数の音「非可聴音」を使った通信で、ダンスをするために作られた触覚振動(Haptic vibration)を届けるシステムの開発を行った。

システムの仕組みはこうだ。まずは、ダンサー自身が曲に合わせて振動を感じられるよう、譜面を作成。音楽に合わせた振動のタイミングを設定する訳だ。それにあわせて、人には聞こえない周波数の音「非可聴音」を使い、ダンサーの持つスマートフォンに接続されたデバイスを振動させる。(ダンサーの胸と背中に振動子が装着されている)

「非可聴音」は、スマホでは検知可能な信号のため、情報伝達ができるのである(非可聴音通信の仕組み自体はエヴィクサー株式会社が開発)。スマホの中には、音楽に合わせた振動情報が入っており、非可聴音信号を検知することでそれが再生されるといった仕組みだ。

また、この振動は、音楽に合わせて踊るために作られた振動であり、リズムを強調したり、振りやメロディに合わせて作られているとのこと。

さらに、このシステムは同時に多くの人に、ダンスのためにデザインされた振動を伝えることができるため、同じデバイスをつけた複数のダンサーが同時に振動信号を受け取り、団体でのダンスも可能にした。

音楽は、言葉も人種も超える力があるが、ダンスはそれ以上だ。耳が聞こえても聞こえなくとも、すべての人がダンスを楽しめる試みの先が、非常にたのしみである。

「Sync–pulse 振動で踊ってみた」プロジェクト
企画：渡邊淳司 (NTTコミュニケーション科学基礎研究所)
ダンサー：鹿子澤拳
プロジェクト・インタープリター：和田夏実
触覚デザイナー：鈴木理絵子
触覚制作ディレクター：鈴木泰博 (名古屋大学 情報学部)
ウェラブル技術協力：吉田知史 (of Sheep inc.)
運営協力：野口綾子
非可聴音通信技術協力：エヴィクサー株式会社
システム開発協力：株式会社カタリナ

渡邊 淳司 (Juniji Watanabe)
NTTコミュニケーション科学基礎研究所所属。人間の触覚の知覚メカニズムを研究。主著『情報を生み 出す触覚の知性』(毎日出版文化賞受賞)。同時に科学館 やメディア芸術祭等において研究の展示公開も行う。

鹿子澤 拳 (Ken Kanokozawa)
生まれつき聴覚に障がい(感音性難聴)がある。幼い頃からダンスに興味があり、高校 1 年より少女時代等 の k-pop の分野で踊ってみたを始める。ストリートダンス歴(Lock / Hip Hop)4 年。2017 年、東京2020 公認文化オリンピアード SLOW MOVEMENT Next Stage ショーケース&フォーラム「聞こえなくても、 聞こえても(ダンス劇)」 / ヨコハマ・パラトリエンナーレ 2017 空中パフォーマンス(エアリアル) / Rock Carnival ミュージカル 2017 あうるすぽっとタイアップ公演シリーズ:「夏の夜の夢」。2018年、アジア太平洋障害者芸術祭「TRUE COLOURS FESTIVAL」BOTAN x DAZZLE メンバーとして出演。

（Photo提供：NTTコミュニケーション科学基礎研究所）
（Movie提供：野口綾子）

独立行政法人国立高等専門学校機構東京工業高等専門学校の学生たちが開発した“選手と同化する”スポーツ体験システム『シンクロアスリート』。ジェットコースターの仮想体験というアイデアからスタートしたこのプロジェクトは、東京2020への機運も相まって、国内のコンペティションで高い評価を受けた。後編では、『シンクロアスリート』の今後のロードマップや、開発に携わった学生と教員が抱くテクノロジーへの期待について聞いた。

課題は「速度」と「ユーザー体験」。
ゆくゆくはオープンソース化

左から瀧島和則さん、米本毬乃さん、一瀬将治さん

VR技術は市場の成熟を見ても、これから、という段階にあると思いますが、VRを活用したスポーツ観戦システムは、俯瞰映像が多い中で、選手の身になって見る、体験するタイプは珍しいですよね。今後のロードマップで考えていることがあれば教えてください。

瀧島：現段階ではライブ配信をすると、タイムラグが生じるため、通信スピードを改善したいです。こればかりは、私たちの問題というより回線速度技術の発展が必要になってくる部分です。『シンクロアスリート』は、ライブ配信モードで今まさに競技をしている人の生中継が可能ですが、その際にスムーズに配信を行うには、どうしても、インターネットの回線速度が必要になってきます。現状は、選手が競技をしている場所から中継映像を配信する場合に、多少の遅延が発生してしまいます。目標は、その待機時間を減少させた上で、動きと同時に高画質な映像を観戦者に届けること。そこは現状の技術だと難しい部分がありますが、将来的には、映像遅延の原因となる映像圧縮が不要で、高画質のまま映像を送信できるよう，ネットワーク回線の高速化について、研究機関や企業で研究していきたいと思っています。

米本：今私が取り組んでいるのは、『シンクロアスリート』のユーザー体験の改善です。スポーツの再現ができていても、やはり乗り物であって、VRを用いていることもあるので、いわゆる「VR酔い」なども起こりえます。そういった感覚的な違和感を低減する作業をしています。乗って頂いたいろいろな方からのフィードバックを踏まえて、どんな人がどう感じているかを分析しながら、『シンクロアスリート』を通じたスポーツ体験に心地よく没入できる状態を目指しています。誰が体験しても、純粋にコンテンツを楽しんで頂ける状態まで持っていきたいです。

一瀬：直近では、EVカーレースや、馬術、バスケットボールなどといった競技を収録していく予定ですが、今後も、東京2020に向けて多くのコンテンツを作っていくことになると思います。その過程で、よりこういったスポーツ観戦システムが浸透していくには、“誰でもコンテンツを作れる状態”が理想的だと考えています。例えば、撮影した動画とスマートフォンで収録した動きをパソコンにインストールするだけで『シンクロアスリート』との同期が可能になるソフトウェアを開発し、最終的には、コンテンツ制作の場をオープンにしていきたいと思っています。

「スポーツ体験のスタイルを根底から変えていく」

シンクロアスリートは今後スポーツにどのような影響を与えると考えていますか。

米本：私自身も今までいろいろなスポーツをやってきました。そこで感じているのは、やはり自分の身近にある競技でなければ体験する機会がないということです。例えば友達がやっていたからなど、何かの縁で触れる機会があるという具合ですね。その点で、『シンクロアスリート』はスポーツ体験の選択肢を広げることができると考えています。競技を選手目線で擬似体験した後に、そのスポーツを実際にやってみるきっかけになりうるということです。子どもたちがさまざまなスポーツに触れる機会を作ることができれば、結果としてスポーツ人口の裾野を広げることにもつながり、将来的に、オリンピックやパラリンピックでメダルを獲る選手が育っていくかもしれません。

松林：『シンクロアスリート』は、スポーツ体験のスタイルを根底から変えていくポテンシャルを秘めていると思っています。今までは絶対に不可能だった観戦ができるようになるので、例えばマラソンのペースメーカーにカメラとセンサーを付けて貰えれば、自分自身がペースメーカーになれる。周囲の選手も見えるし、実際には走っていないけれど、走っているような動きを体感して、選手たちの息遣いまで聞こえてくる。また、VR技術とモーションベースを組み合わせた機構という特性を活用すれば、スポーツのトレーニング方法も革命的に変わってくるのではないかと想像しています。

“数値化”だけでなく、
“芸術性”のトレーニングにも

松林教授と山下晃弘准教授（右）

目下、注目している分野はありますか？

山下：今までスポーツを教えたり、体験したりしようと思うと、感覚的な言葉で表現されるシチュエーションも多かったと思います。「シュッと」とか「ガッと」といった表現ですね（笑）。それが今、いろいろなセンサーが小型化されて、体に身につけることが容易になっています。そういった機器を使って動作を細かく数値化することで、今の動きは理想的な動きからこれだけズレている、ここをこう動かしたらこうなるといったシミュレーションを用いた評価やコーチングが簡単にできるようになっていくと思います。それは選手にとっても、コーチにとっても、かなり革命的なことで、センシング技術は、これからのトレーニングやコーチングの方法をドラスティックに変えていくと思います。それがチームスポーツにおける戦術や相手チームの分析にも転用されていくはずですから、ひいては観戦者の楽しみ方も変わってくるでしょう。

松林：私が今、面白いと思っているのが、画像処理技術が凄く向上してきており、それをスポーツに応用する事例が増えてきている点です。よくあるのがテニス。ボールがラインに乗っているか、いないかをリプレイで確認する場合がありますよね。あれはエンターテインメントとしてもよくできていて、選手が「チャレンジ」としてアピールし、確認するシステムになっています。確認の結果に応じて、周りの観客も拍手して盛り上がるように、技術を使って試合の運営上でうまく使っている好例だと思います。カメラを何十台も使っているようですが、そんなことが可能になった画像処理技術に注目しています。

山下：テクノロジーの発展に伴って「数値化する」ことはかなりのレベルまで来ていると思いますが、一方で、小説や芸術分野にコンピュータが入り込み始めていますよね。コンピュータが小説を書く、俳句を読む、絵を描く、音楽を作る。スポーツにも芸術的な側面があると思っていて、他方で競技における芸術性を高めるトレーニングはまだ確立されていないと思うのです。「人間の芸術性を磨くためのサポート技術」が生み出されたら、それはそれで面白くて、フィギュアスケートの表現力をどうやって高めるのかなど。非常に感覚的な領域なんだけれども、そこにコンピュータが何らかのサポートをすると、もう少し芸術力を向上させることができる、そんなサポートがこれからできてくるんじゃないかなと期待しています。

審査員の評価は得点で示されても、必ずしも数字では計測できないような部分ですよね。

山下：測れないと思います。コンピュータ自体が芸術作品をつくる、という方向があるとすると、それを人間の発想と組み合わせた時に、自分の中になかった新しい発想を与えてくれて、表現力や芸術性が高まっていくような“共存”もあるのではないかと思っています。そういうところをサポートできたらテクノロジーの用途としてますます貢献できると期待を持っています。

（前編はこちら）