独立行政法人国立高等専門学校機構東京工業高等専門学校の学生たちが開発した“選手と同化する”スポーツ体験システム『シンクロアスリート』。ジェットコースターの仮想体験というアイデアからスタートしたこのプロジェクトは、東京2020への機運も相まって、国内のコンペティションで高い評価を受けた。後編では、『シンクロアスリート』の今後のロードマップや、開発に携わった学生と教員が抱くテクノロジーへの期待について聞いた。

課題は「速度」と「ユーザー体験」。
ゆくゆくはオープンソース化

左から瀧島和則さん、米本毬乃さん、一瀬将治さん

VR技術は市場の成熟を見ても、これから、という段階にあると思いますが、VRを活用したスポーツ観戦システムは、俯瞰映像が多い中で、選手の身になって見る、体験するタイプは珍しいですよね。今後のロードマップで考えていることがあれば教えてください。

瀧島：現段階ではライブ配信をすると、タイムラグが生じるため、通信スピードを改善したいです。こればかりは、私たちの問題というより回線速度技術の発展が必要になってくる部分です。『シンクロアスリート』は、ライブ配信モードで今まさに競技をしている人の生中継が可能ですが、その際にスムーズに配信を行うには、どうしても、インターネットの回線速度が必要になってきます。現状は、選手が競技をしている場所から中継映像を配信する場合に、多少の遅延が発生してしまいます。目標は、その待機時間を減少させた上で、動きと同時に高画質な映像を観戦者に届けること。そこは現状の技術だと難しい部分がありますが、将来的には、映像遅延の原因となる映像圧縮が不要で、高画質のまま映像を送信できるよう，ネットワーク回線の高速化について、研究機関や企業で研究していきたいと思っています。

米本：今私が取り組んでいるのは、『シンクロアスリート』のユーザー体験の改善です。スポーツの再現ができていても、やはり乗り物であって、VRを用いていることもあるので、いわゆる「VR酔い」なども起こりえます。そういった感覚的な違和感を低減する作業をしています。乗って頂いたいろいろな方からのフィードバックを踏まえて、どんな人がどう感じているかを分析しながら、『シンクロアスリート』を通じたスポーツ体験に心地よく没入できる状態を目指しています。誰が体験しても、純粋にコンテンツを楽しんで頂ける状態まで持っていきたいです。

一瀬：直近では、EVカーレースや、馬術、バスケットボールなどといった競技を収録していく予定ですが、今後も、東京2020に向けて多くのコンテンツを作っていくことになると思います。その過程で、よりこういったスポーツ観戦システムが浸透していくには、“誰でもコンテンツを作れる状態”が理想的だと考えています。例えば、撮影した動画とスマートフォンで収録した動きをパソコンにインストールするだけで『シンクロアスリート』との同期が可能になるソフトウェアを開発し、最終的には、コンテンツ制作の場をオープンにしていきたいと思っています。

「スポーツ体験のスタイルを根底から変えていく」

シンクロアスリートは今後スポーツにどのような影響を与えると考えていますか。

米本：私自身も今までいろいろなスポーツをやってきました。そこで感じているのは、やはり自分の身近にある競技でなければ体験する機会がないということです。例えば友達がやっていたからなど、何かの縁で触れる機会があるという具合ですね。その点で、『シンクロアスリート』はスポーツ体験の選択肢を広げることができると考えています。競技を選手目線で擬似体験した後に、そのスポーツを実際にやってみるきっかけになりうるということです。子どもたちがさまざまなスポーツに触れる機会を作ることができれば、結果としてスポーツ人口の裾野を広げることにもつながり、将来的に、オリンピックやパラリンピックでメダルを獲る選手が育っていくかもしれません。

松林：『シンクロアスリート』は、スポーツ体験のスタイルを根底から変えていくポテンシャルを秘めていると思っています。今までは絶対に不可能だった観戦ができるようになるので、例えばマラソンのペースメーカーにカメラとセンサーを付けて貰えれば、自分自身がペースメーカーになれる。周囲の選手も見えるし、実際には走っていないけれど、走っているような動きを体感して、選手たちの息遣いまで聞こえてくる。また、VR技術とモーションベースを組み合わせた機構という特性を活用すれば、スポーツのトレーニング方法も革命的に変わってくるのではないかと想像しています。

“数値化”だけでなく、
“芸術性”のトレーニングにも

松林教授と山下晃弘准教授（右）

目下、注目している分野はありますか？

山下：今までスポーツを教えたり、体験したりしようと思うと、感覚的な言葉で表現されるシチュエーションも多かったと思います。「シュッと」とか「ガッと」といった表現ですね（笑）。それが今、いろいろなセンサーが小型化されて、体に身につけることが容易になっています。そういった機器を使って動作を細かく数値化することで、今の動きは理想的な動きからこれだけズレている、ここをこう動かしたらこうなるといったシミュレーションを用いた評価やコーチングが簡単にできるようになっていくと思います。それは選手にとっても、コーチにとっても、かなり革命的なことで、センシング技術は、これからのトレーニングやコーチングの方法をドラスティックに変えていくと思います。それがチームスポーツにおける戦術や相手チームの分析にも転用されていくはずですから、ひいては観戦者の楽しみ方も変わってくるでしょう。

松林：私が今、面白いと思っているのが、画像処理技術が凄く向上してきており、それをスポーツに応用する事例が増えてきている点です。よくあるのがテニス。ボールがラインに乗っているか、いないかをリプレイで確認する場合がありますよね。あれはエンターテインメントとしてもよくできていて、選手が「チャレンジ」としてアピールし、確認するシステムになっています。確認の結果に応じて、周りの観客も拍手して盛り上がるように、技術を使って試合の運営上でうまく使っている好例だと思います。カメラを何十台も使っているようですが、そんなことが可能になった画像処理技術に注目しています。

山下：テクノロジーの発展に伴って「数値化する」ことはかなりのレベルまで来ていると思いますが、一方で、小説や芸術分野にコンピュータが入り込み始めていますよね。コンピュータが小説を書く、俳句を読む、絵を描く、音楽を作る。スポーツにも芸術的な側面があると思っていて、他方で競技における芸術性を高めるトレーニングはまだ確立されていないと思うのです。「人間の芸術性を磨くためのサポート技術」が生み出されたら、それはそれで面白くて、フィギュアスケートの表現力をどうやって高めるのかなど。非常に感覚的な領域なんだけれども、そこにコンピュータが何らかのサポートをすると、もう少し芸術力を向上させることができる、そんなサポートがこれからできてくるんじゃないかなと期待しています。

審査員の評価は得点で示されても、必ずしも数字では計測できないような部分ですよね。

山下：測れないと思います。コンピュータ自体が芸術作品をつくる、という方向があるとすると、それを人間の発想と組み合わせた時に、自分の中になかった新しい発想を与えてくれて、表現力や芸術性が高まっていくような“共存”もあるのではないかと思っています。そういうところをサポートできたらテクノロジーの用途としてますます貢献できると期待を持っています。

（前編はこちら）

日本における第5世代移動通信システム5Gのサービス開始がいよいよ目前に迫っている。高速大容量、低遅延、多端末接続の実現により、よりバラエティ豊かなサービスをより快適に楽しめるようになると推測されている。KDDIとKDDI総合研究所、株式会社アクロディアはスポーツ行動認識AIとセンサー内蔵型ボールからスマートフォンで取得したデータを活用し、選手の技術向上に役立てることができるアスリート育成支援システムを2019年10月に発表、スポーツテックサービス分野へ本格的に乗り出した。AI×IoTという最先端技術を駆使したサービス『アスリーティックラボ』の詳細や、提供するにあたっての課題点や今後の展望について、KDDI総合研究所にて話を伺った。

全身65か所の骨格点から身体の基本動作を認識して、
リアルタイムでアドバイスを返す

KDDIとKDDI総合研究所は2018年に、単眼カメラの映像からスクワットやランジなど31種類のトレーニング動作や姿勢を認識する「宅内行動認識AI」を開発。
コーチや指導者がつきっきりでなくても、深度センサーや専用デバイス、高度な技術を用いずとも、スマートフォンのカメラで撮影した映像から行動を認識し、各トレーニングのカウントや姿勢、テンポをリアルタイムでチェックできるようになった。

そこから発展したのが今回取材したアスリート育成支援システム『アスリーティックラボ』に使用されている「スポーツ行動認識AI」である。「スポーツ行動認識AI」では、同じくスマートフォンで撮影した競技者の映像から、全身65か所の骨格点を抽出して、指先を含む骨格などの動きや、ボールを捉えパスやキャッチなどを行う基本動作を認識、フォームから身体の使い方までをリアルタイムに解析することが可能となった。

このシステムは2019年8月に開催されたスピードクライミングの国際大会でも、出場選手の競技記録やリプレイ動画を世界記録と比較しながら会場のディスプレイに表示する “トライアル” で使用されており、競技者のみならず観戦者に向けた新しい体験を提供する施策として高く評価された。

KDDI総合研究所 スポーツ行動認識AI

このAIを用いたシステムに、アクロディアが開発した3次元モーションセンサーを搭載したボール型IoTデバイス「TECHNICAL PITCH (テクニカルピッチ）」を組み合わせたものが、今回の最先端技術を駆使したスポーツテックサービス『アスリーティックラボ』である。このボール型IoTデバイスとの掛け合わせをすることで、「スポーツ行動認識AI」の画像解析だけでは分からない部分までをも補うことができるとKDDI総合研究所 メディア認識グループの田坂和之氏は語る。

「スマートフォンのカメラではまだ、競技している様子をスローモーションで捉えることまではできません。そこでボールの中にセンサーを入れることで、ボールがどれくらい加速しているのか、回転しているかが分かり、競技者のフォームとボールの関係性を知ることができるようになりました。今回のサービスを用いれば、それらをおさえた上で選手に、それも即座にアドバイスすることが可能となったというわけです」

マイナースポーツや学生チームでも
スマートフォンさえあれば、
高度な指導を受けられるように

『アスリーティックラボ』

「TECHNICAL PITCH」は、野球ボールとスマホさえあれば手軽に投球の分析ができるというサービス。2017年に販売が開始してから登録ユーザー数はすでに2万件を超え、100万球の投球データをクラウド上に蓄積している。重さや硬さなど、硬式野球ボールの規格に準拠しているが、2019年12月には軟式野球ボールの販売もスタート。今後サッカーやバレーボール、ゴルフなど他の競技にも順次対応していく予定だという。

ボールとスマートフォンを Bluetooth でペアリングを行い、ボールに搭載したセンサーから送付されるデータが専用アプリで解析される。回転数、回転軸、球速、球種、変化量 、腕の振りの強さ、時間（構えてからリリースするまでの時間とリリースされてからキャッチャーが捕球するまでの時間）、動画（計測時にスマートフォンのカメラで動画を撮影し計測結果と同期）を記録することができるという。

「マイナースポーツや学生チームのように活動資金に余裕がなくても、スマートフォンさえあれば映像をチェックしながら戦略を立てていくことができますし、自宅でのトレーニング時や1人で練習する際にも指導が受けられます」（田坂氏）

近年、スポーツ指導におけるデータやエビデンスの重要性が叫ばれ始めるようになったものの、現場ではいまだにコーチの感覚や経験に左右されることも多い。そんななか、今回のサービスの検証に協力してくれる大学の運動部に対しては、AIを活用したコーチングと強調するのではなく、競技者の「今」の状態をチェックすることができるものとしてアプローチを進めていった。

「過去の映像と並べて比較すると、動きが少し固くなっているな、など自分自身で体の変化を確かめられるので、ケガの予兆検知などにも繋げていくことができます」と、自己研鑽も含めアスリートの全般的なサポートが実現しそうだ。

認識できる点数が増えれば必然的に処理が重くなる。
速さと精度を保つことが決め手

開発の肝となったのは、画像認識の速さと正確さであったと、田坂氏は語る。

「実際使ってみるとよく分かるのですが、自分の動きを撮影して、フィードバックが即時で表示されるか、1〜2分後に表示されるかでは前者の方がユーザーも理解しやすいし、実際に、上達のスピードもアップします。開発の初期は、体の大まかな骨格、目や鼻など、17か所のみでしたが、両手両足の指関節、かかとなど認識できる点を段階的に増やしていき、1年半ほどかけて65点まで到達したので、スピードクライミングのトライアルでもどのようにホールドをつかんでいるかまで、より正確に表示できるようになりました。
しかし点数が増えた分だけ当然処理は重くなり、速度と精度が落ちてしまいますから、いかに精度を保ったまま、速く認識できようにするかは技術面での苦労でもありました」

スポーツでの利用であれば現段階の65点で大体網羅できるが、顔のパーツひとつひとつや、体の輪郭まで認識できれば適用先が広がる余地は十分にある。
現状、技術的に不可能ではないものの、4G、LTEといった通信方式では高画質の画像やフレームレートの大きい動画をサーバーにアップするのに時間がかかってしまうが、5Gの実用化が始まればより解析がスムーズになり、たとえばゴルフクラブのヘッドなど細かい動きもぶれることなく表示できるなど、ユーザビリティの向上も見込めそうだ。

アスリートの支援だけではなく、
日常的なレクリエーションにも。
誰でも使えるエンジンに成長させたい

KDDI総合研究所 メディア認識グループ 田坂和之氏

今後、解消していきたい技術的な課題は、人の接触が多い部分の画像解析だという。

「1人でプレイする競技や団体でも離れているか、組まれていない場合なら問題ないのですが、人が密集するところ、柔道やレスリングのように組み合うことが多い競技だと、画像だけではどちらの手であるとか、どちらの顔であるかがまだ識別しきれていないところがあります。ラグビーのスクラムを想像すると分かりやすいと思いますが、肉眼で見ても分からないものは、やはり画像で見てもなかなか分かりづらい。少しずつ技術は改善されていっているので組み合うスポーツにもどんどん適用していけるのが理想ですね」

IoTボールの活用を組み合わせたサービスのため、アスリート育成に特化したスペシャルなプログラムという印象も受けるが、あくまでも目指すのは、誰でも手に取れるエンジンとしての成長だ。

「サッカーでも逆上がりでもいいんですけど親子で公園に行ったときに、親の主観でアドバイスするんじゃなくて、データで示してあげる方が子どもも主体的になるのではないかと思うんです。何で伝わらないんだ！って親がもどかしくなってしまうせいで、イヤになってしまうお子さんもいますから、人それぞれのアドバイスができる存在として、日常的なレクリエーションに取り入れてもらえると嬉しいですね」と田坂氏は笑顔で語る。

5G開始、そして東京オリパラ開催と、スポーツテックのメモリアルイヤーとなること間違いなしのこの1年、大きな発展に期待したい。