東京オリンピック・パラリンピックのチケット抽選申込受付も始まり、開催までいよいよか、とカウントダウンを感じられるようになった。そんななか、近年ではスポーツ観戦の楽しみ方が多様化し、最新テクノロジーによる全く新しい体験が新機軸として注目を集めている。NTTドコモは、2017年にスマートライフ推進部にスポーツ＆ライブビジネス推進室を発足し、スポーツやエンタテイメントの領域を市場として広げる施策に取り組んでいる。AR、VR など HERO X ではすでにお馴染みとなった最新技術は、スポーツ観戦でどのように取り入れられ、どんなシナジーが生み出されるのか。同部署の企画開発担当部長 滝澤 暢氏に話を伺った。

高速大容量、低遅延、多端末接続。
5Gの回線だから楽しめる新しいスポーツ体験を提案中

NTTドコモが提供する新しい体験を語る上で欠かせないのが、2020年に本格的にサービス開始予定の5G (第5世代移動通信システム)。すでに米国と韓国では商用化が始まっており、環境次第では、現行 (4G）の何十倍もの伝送速度が出せると言われている。

「5Gで実現するのは高速大容量、低遅延、多端末接続。同じエリアでも多くの端末が繋げることで、サービス内容がより豊かになっていくと思われます」（滝澤氏）

同社では、5Gの回線を活用した施策を試験的に行い続けており、2017年12月には、ラグビーチーム・NTTドコモ レッドハリケーンズとNEC グリーンロケッツの試合で実証実験を行った。その際活用された「ARライブ映像視聴システム」は、今後の普及に大きく期待が寄せられている。

「ARライブ映像視聴システム」とは、新しいスポーツ観戦スタイルを提供するシステム。スマートグラス上に投影されているコンテンツを、手の動きで自由な位置に動かしたり、動かしたコンテンツの表示位置に応じて大きさを変えることができる。実証実験では5Gを活用して、高速大容量化とタイムラグのない複数カメラ映像の同時配信を実現し、観戦時、肉眼だけでなく同時に映像や解説、選手情報などのコンテンツを楽しめる環境を構築した。

スタジアムの来場者がスマートグラスを装着すると、中継カメラで撮影したフィードが映し出される。自身が肉眼で見ているものとは違った視点での観戦が同時に楽しめるというわけだ。また、スマートグラスに表示されるのは、生中継映像だけでなく、選手のプロフィールや試合内容を解説するテキストなど、観戦がより充実するコンテンツ群。この表示されるコンテンツをリモコンなどの端末ではなく、手を直感的に動かしながら操作できることもこのシステムの大きな特徴で、これは「空間インターフェース」という同社の特許技術である。

さらに、映像をリプレイすれば、見逃した部分を即時にキャッチアップすることもできて、競技やルールに詳しくなくても観戦を楽しめる仕組みになっており、もし来場者がライトファンだとしても簡単に楽しめそうだ。

「AR技術はラグビーのほかにもバレーボールや水泳などでも実証実験を行っておりますので、スマートグラスに表示するコンテンツがどんなものだったら、その競技をより楽しめるものにできるのかが、今後工夫を加えていくべきところですね。ライブ映像が良いのか、リプレイが良いのか、それとも選手の出した記録が世界記録と比べてどうだったというデータを出すのが良いのか…。競技によって異なる楽しみ方を見出していきたいです。

また、映像が突然目の前に現れてはびっくりするでしょうから、ユーザーが希望するタイミングで表示できるとか、邪魔にならない見せ方についても、これから工夫が必要になるはずです」（滝澤氏）

フェンシングにおける日本人初のメダリスト、太田雄貴選手とリオ2016パラリンピック女子車いすフェンシング金メダリストであるベアトリーチェ・マリア・ヴィオ選手のエキシビションマッチでは、複数台のカメラで様々な視点から撮影した映像を、東京スカイツリー スカイアリーナにある多様なモニターに同時に伝送して映し出し、まるでその場でフェンシングの試合が行われているかのようなマルチアングルでの観戦を提案した。

特設のタッチパネルで、観たいアングルの映像を自由にスイッチングしながら観戦を楽しむという、来場者にとっても新たな視聴体験となったこの施策は同社のプロジェクト「FUTURE-EXPERIMENT」でもフィーチャーされている。

 会場と観客、観客同士、会場とまた別の会場…
数万人が一斉に繋がることで新たな楽しみ方が生まれる

NTTグループの最先端通信テクノロジーを活用してスポーツやライブなどエンタテインメント全般の新体験を追求する本プロジェクトの最新事例は、2018年の年末に横浜アリーナで開催されたPerfumeのライブ。NTTドコモとPerfumeがコラボレーションしたスペシャルコンテンツ「FUTURE-EXPERIMENT VOL.04　その瞬間を共有せよ。」だ。

観客のスマートフォンからアンケートの回答を集め、リアルタイムでステージ上モニターに反映、Perfumeがその場で書いたメッセージを観客のスマートフォンにリアルタイムで届けるという、双方向のコミュニケーションを実現したこの日のライブにもやはり「5G」と高効率Wi-Fiの存在があった。

「通信でステージ上のアーティストと観客が繋がっていることを前提とした企画ですから、多端末の接続に対応している必要があります。ただ、現状では、イベントの様子をSNSにアップするだけでも接続が快適なところと、そうでない場所があります。ステージと観客、観客同士、またひとつの会場と異なる会場など、何万人もの端末を一斉に繋ぐことが可能になれば、会場でも自宅でもない場所、たとえばパブリックビューイングやライブビューイングでの楽しみ方を広げていけるのではないかと思っています」（滝澤氏）

 ARやVRが人間の目の感覚に追いつくのはまだ先。
技術とコンテンツのブラッシュアップに期待

いくつものトライアルを重ね、サービスのブラッシュアップは今後も続きそうだが、すでに体験してみたユーザーからはどのような反応が返ってきているのだろうか。これからARスポーツ観戦をしてみたい！という人にとっても気になるポイントだろう。

「概ね高評価をいただいていますが、実際にいくつか課題はあります。ARのスマートグラスにしても、全く装着感がないとまではいかず、重さや視野角などデバイスについての意見もあります。スタジアムのどの位置で観戦するかにもよるのですが、太陽の方向を向いた状態でスマートグラスを装着していると、その上に半透明の映像が重なると、眩しさや見えづらさを感じてしまうこともあり、画質や明るさについてはこれからの課題だと考えています。

一方、目で見るだけや数字の情報だけでは分からなかったものが、ARグラスに映し出すことで体感できるようになり、これまでは不可能だったことが可能になってきているということもあります。とはいえ、実際見ているもののほうが鮮明で綺麗ですから、グラスによってさらに体験価値を上げることができるように、今後も技術、コンテンツ面もさらに精度を高めていきたいと思います」（滝澤氏）

5Gのサービス開始と、東京オリンピック・パラリンピックを控える2020年が、テクノロジーのエポックイヤーとなることは間違いなさそうだ。

あと1年で、どれだけ技術が進歩するのか追っていきたい。

日本における第5世代移動通信システム5Gのサービス開始がいよいよ目前に迫っている。高速大容量、低遅延、多端末接続の実現により、よりバラエティ豊かなサービスをより快適に楽しめるようになると推測されている。KDDIとKDDI総合研究所、株式会社アクロディアはスポーツ行動認識AIとセンサー内蔵型ボールからスマートフォンで取得したデータを活用し、選手の技術向上に役立てることができるアスリート育成支援システムを2019年10月に発表、スポーツテックサービス分野へ本格的に乗り出した。AI×IoTという最先端技術を駆使したサービス『アスリーティックラボ』の詳細や、提供するにあたっての課題点や今後の展望について、KDDI総合研究所にて話を伺った。

全身65か所の骨格点から身体の基本動作を認識して、
リアルタイムでアドバイスを返す

KDDIとKDDI総合研究所は2018年に、単眼カメラの映像からスクワットやランジなど31種類のトレーニング動作や姿勢を認識する「宅内行動認識AI」を開発。
コーチや指導者がつきっきりでなくても、深度センサーや専用デバイス、高度な技術を用いずとも、スマートフォンのカメラで撮影した映像から行動を認識し、各トレーニングのカウントや姿勢、テンポをリアルタイムでチェックできるようになった。

そこから発展したのが今回取材したアスリート育成支援システム『アスリーティックラボ』に使用されている「スポーツ行動認識AI」である。「スポーツ行動認識AI」では、同じくスマートフォンで撮影した競技者の映像から、全身65か所の骨格点を抽出して、指先を含む骨格などの動きや、ボールを捉えパスやキャッチなどを行う基本動作を認識、フォームから身体の使い方までをリアルタイムに解析することが可能となった。

このシステムは2019年8月に開催されたスピードクライミングの国際大会でも、出場選手の競技記録やリプレイ動画を世界記録と比較しながら会場のディスプレイに表示する “トライアル” で使用されており、競技者のみならず観戦者に向けた新しい体験を提供する施策として高く評価された。

KDDI総合研究所 スポーツ行動認識AI

このAIを用いたシステムに、アクロディアが開発した3次元モーションセンサーを搭載したボール型IoTデバイス「TECHNICAL PITCH (テクニカルピッチ）」を組み合わせたものが、今回の最先端技術を駆使したスポーツテックサービス『アスリーティックラボ』である。このボール型IoTデバイスとの掛け合わせをすることで、「スポーツ行動認識AI」の画像解析だけでは分からない部分までをも補うことができるとKDDI総合研究所 メディア認識グループの田坂和之氏は語る。

「スマートフォンのカメラではまだ、競技している様子をスローモーションで捉えることまではできません。そこでボールの中にセンサーを入れることで、ボールがどれくらい加速しているのか、回転しているかが分かり、競技者のフォームとボールの関係性を知ることができるようになりました。今回のサービスを用いれば、それらをおさえた上で選手に、それも即座にアドバイスすることが可能となったというわけです」

マイナースポーツや学生チームでも
スマートフォンさえあれば、
高度な指導を受けられるように

『アスリーティックラボ』

「TECHNICAL PITCH」は、野球ボールとスマホさえあれば手軽に投球の分析ができるというサービス。2017年に販売が開始してから登録ユーザー数はすでに2万件を超え、100万球の投球データをクラウド上に蓄積している。重さや硬さなど、硬式野球ボールの規格に準拠しているが、2019年12月には軟式野球ボールの販売もスタート。今後サッカーやバレーボール、ゴルフなど他の競技にも順次対応していく予定だという。

ボールとスマートフォンを Bluetooth でペアリングを行い、ボールに搭載したセンサーから送付されるデータが専用アプリで解析される。回転数、回転軸、球速、球種、変化量 、腕の振りの強さ、時間（構えてからリリースするまでの時間とリリースされてからキャッチャーが捕球するまでの時間）、動画（計測時にスマートフォンのカメラで動画を撮影し計測結果と同期）を記録することができるという。

「マイナースポーツや学生チームのように活動資金に余裕がなくても、スマートフォンさえあれば映像をチェックしながら戦略を立てていくことができますし、自宅でのトレーニング時や1人で練習する際にも指導が受けられます」（田坂氏）

近年、スポーツ指導におけるデータやエビデンスの重要性が叫ばれ始めるようになったものの、現場ではいまだにコーチの感覚や経験に左右されることも多い。そんななか、今回のサービスの検証に協力してくれる大学の運動部に対しては、AIを活用したコーチングと強調するのではなく、競技者の「今」の状態をチェックすることができるものとしてアプローチを進めていった。

「過去の映像と並べて比較すると、動きが少し固くなっているな、など自分自身で体の変化を確かめられるので、ケガの予兆検知などにも繋げていくことができます」と、自己研鑽も含めアスリートの全般的なサポートが実現しそうだ。

認識できる点数が増えれば必然的に処理が重くなる。
速さと精度を保つことが決め手

開発の肝となったのは、画像認識の速さと正確さであったと、田坂氏は語る。

「実際使ってみるとよく分かるのですが、自分の動きを撮影して、フィードバックが即時で表示されるか、1〜2分後に表示されるかでは前者の方がユーザーも理解しやすいし、実際に、上達のスピードもアップします。開発の初期は、体の大まかな骨格、目や鼻など、17か所のみでしたが、両手両足の指関節、かかとなど認識できる点を段階的に増やしていき、1年半ほどかけて65点まで到達したので、スピードクライミングのトライアルでもどのようにホールドをつかんでいるかまで、より正確に表示できるようになりました。
しかし点数が増えた分だけ当然処理は重くなり、速度と精度が落ちてしまいますから、いかに精度を保ったまま、速く認識できようにするかは技術面での苦労でもありました」

スポーツでの利用であれば現段階の65点で大体網羅できるが、顔のパーツひとつひとつや、体の輪郭まで認識できれば適用先が広がる余地は十分にある。
現状、技術的に不可能ではないものの、4G、LTEといった通信方式では高画質の画像やフレームレートの大きい動画をサーバーにアップするのに時間がかかってしまうが、5Gの実用化が始まればより解析がスムーズになり、たとえばゴルフクラブのヘッドなど細かい動きもぶれることなく表示できるなど、ユーザビリティの向上も見込めそうだ。

アスリートの支援だけではなく、
日常的なレクリエーションにも。
誰でも使えるエンジンに成長させたい

KDDI総合研究所 メディア認識グループ 田坂和之氏

今後、解消していきたい技術的な課題は、人の接触が多い部分の画像解析だという。

「1人でプレイする競技や団体でも離れているか、組まれていない場合なら問題ないのですが、人が密集するところ、柔道やレスリングのように組み合うことが多い競技だと、画像だけではどちらの手であるとか、どちらの顔であるかがまだ識別しきれていないところがあります。ラグビーのスクラムを想像すると分かりやすいと思いますが、肉眼で見ても分からないものは、やはり画像で見てもなかなか分かりづらい。少しずつ技術は改善されていっているので組み合うスポーツにもどんどん適用していけるのが理想ですね」

IoTボールの活用を組み合わせたサービスのため、アスリート育成に特化したスペシャルなプログラムという印象も受けるが、あくまでも目指すのは、誰でも手に取れるエンジンとしての成長だ。

「サッカーでも逆上がりでもいいんですけど親子で公園に行ったときに、親の主観でアドバイスするんじゃなくて、データで示してあげる方が子どもも主体的になるのではないかと思うんです。何で伝わらないんだ！って親がもどかしくなってしまうせいで、イヤになってしまうお子さんもいますから、人それぞれのアドバイスができる存在として、日常的なレクリエーションに取り入れてもらえると嬉しいですね」と田坂氏は笑顔で語る。

5G開始、そして東京オリパラ開催と、スポーツテックのメモリアルイヤーとなること間違いなしのこの1年、大きな発展に期待したい。