日本における第5世代移動通信システム5Gのサービス開始がいよいよ目前に迫っている。高速大容量、低遅延、多端末接続の実現により、よりバラエティ豊かなサービスをより快適に楽しめるようになると推測されている。KDDIとKDDI総合研究所、株式会社アクロディアはスポーツ行動認識AIとセンサー内蔵型ボールからスマートフォンで取得したデータを活用し、選手の技術向上に役立てることができるアスリート育成支援システムを2019年10月に発表、スポーツテックサービス分野へ本格的に乗り出した。AI×IoTという最先端技術を駆使したサービス『アスリーティックラボ』の詳細や、提供するにあたっての課題点や今後の展望について、KDDI総合研究所にて話を伺った。

全身65か所の骨格点から身体の基本動作を認識して、
リアルタイムでアドバイスを返す

KDDIとKDDI総合研究所は2018年に、単眼カメラの映像からスクワットやランジなど31種類のトレーニング動作や姿勢を認識する「宅内行動認識AI」を開発。
コーチや指導者がつきっきりでなくても、深度センサーや専用デバイス、高度な技術を用いずとも、スマートフォンのカメラで撮影した映像から行動を認識し、各トレーニングのカウントや姿勢、テンポをリアルタイムでチェックできるようになった。

そこから発展したのが今回取材したアスリート育成支援システム『アスリーティックラボ』に使用されている「スポーツ行動認識AI」である。「スポーツ行動認識AI」では、同じくスマートフォンで撮影した競技者の映像から、全身65か所の骨格点を抽出して、指先を含む骨格などの動きや、ボールを捉えパスやキャッチなどを行う基本動作を認識、フォームから身体の使い方までをリアルタイムに解析することが可能となった。

このシステムは2019年8月に開催されたスピードクライミングの国際大会でも、出場選手の競技記録やリプレイ動画を世界記録と比較しながら会場のディスプレイに表示する “トライアル” で使用されており、競技者のみならず観戦者に向けた新しい体験を提供する施策として高く評価された。

KDDI総合研究所 スポーツ行動認識AI

このAIを用いたシステムに、アクロディアが開発した3次元モーションセンサーを搭載したボール型IoTデバイス「TECHNICAL PITCH (テクニカルピッチ）」を組み合わせたものが、今回の最先端技術を駆使したスポーツテックサービス『アスリーティックラボ』である。このボール型IoTデバイスとの掛け合わせをすることで、「スポーツ行動認識AI」の画像解析だけでは分からない部分までをも補うことができるとKDDI総合研究所 メディア認識グループの田坂和之氏は語る。

「スマートフォンのカメラではまだ、競技している様子をスローモーションで捉えることまではできません。そこでボールの中にセンサーを入れることで、ボールがどれくらい加速しているのか、回転しているかが分かり、競技者のフォームとボールの関係性を知ることができるようになりました。今回のサービスを用いれば、それらをおさえた上で選手に、それも即座にアドバイスすることが可能となったというわけです」

マイナースポーツや学生チームでも
スマートフォンさえあれば、
高度な指導を受けられるように

『アスリーティックラボ』

「TECHNICAL PITCH」は、野球ボールとスマホさえあれば手軽に投球の分析ができるというサービス。2017年に販売が開始してから登録ユーザー数はすでに2万件を超え、100万球の投球データをクラウド上に蓄積している。重さや硬さなど、硬式野球ボールの規格に準拠しているが、2019年12月には軟式野球ボールの販売もスタート。今後サッカーやバレーボール、ゴルフなど他の競技にも順次対応していく予定だという。

ボールとスマートフォンを Bluetooth でペアリングを行い、ボールに搭載したセンサーから送付されるデータが専用アプリで解析される。回転数、回転軸、球速、球種、変化量 、腕の振りの強さ、時間（構えてからリリースするまでの時間とリリースされてからキャッチャーが捕球するまでの時間）、動画（計測時にスマートフォンのカメラで動画を撮影し計測結果と同期）を記録することができるという。

「マイナースポーツや学生チームのように活動資金に余裕がなくても、スマートフォンさえあれば映像をチェックしながら戦略を立てていくことができますし、自宅でのトレーニング時や1人で練習する際にも指導が受けられます」（田坂氏）

近年、スポーツ指導におけるデータやエビデンスの重要性が叫ばれ始めるようになったものの、現場ではいまだにコーチの感覚や経験に左右されることも多い。そんななか、今回のサービスの検証に協力してくれる大学の運動部に対しては、AIを活用したコーチングと強調するのではなく、競技者の「今」の状態をチェックすることができるものとしてアプローチを進めていった。

「過去の映像と並べて比較すると、動きが少し固くなっているな、など自分自身で体の変化を確かめられるので、ケガの予兆検知などにも繋げていくことができます」と、自己研鑽も含めアスリートの全般的なサポートが実現しそうだ。

認識できる点数が増えれば必然的に処理が重くなる。
速さと精度を保つことが決め手

開発の肝となったのは、画像認識の速さと正確さであったと、田坂氏は語る。

「実際使ってみるとよく分かるのですが、自分の動きを撮影して、フィードバックが即時で表示されるか、1〜2分後に表示されるかでは前者の方がユーザーも理解しやすいし、実際に、上達のスピードもアップします。開発の初期は、体の大まかな骨格、目や鼻など、17か所のみでしたが、両手両足の指関節、かかとなど認識できる点を段階的に増やしていき、1年半ほどかけて65点まで到達したので、スピードクライミングのトライアルでもどのようにホールドをつかんでいるかまで、より正確に表示できるようになりました。
しかし点数が増えた分だけ当然処理は重くなり、速度と精度が落ちてしまいますから、いかに精度を保ったまま、速く認識できようにするかは技術面での苦労でもありました」

スポーツでの利用であれば現段階の65点で大体網羅できるが、顔のパーツひとつひとつや、体の輪郭まで認識できれば適用先が広がる余地は十分にある。
現状、技術的に不可能ではないものの、4G、LTEといった通信方式では高画質の画像やフレームレートの大きい動画をサーバーにアップするのに時間がかかってしまうが、5Gの実用化が始まればより解析がスムーズになり、たとえばゴルフクラブのヘッドなど細かい動きもぶれることなく表示できるなど、ユーザビリティの向上も見込めそうだ。

アスリートの支援だけではなく、
日常的なレクリエーションにも。
誰でも使えるエンジンに成長させたい

KDDI総合研究所 メディア認識グループ 田坂和之氏

今後、解消していきたい技術的な課題は、人の接触が多い部分の画像解析だという。

「1人でプレイする競技や団体でも離れているか、組まれていない場合なら問題ないのですが、人が密集するところ、柔道やレスリングのように組み合うことが多い競技だと、画像だけではどちらの手であるとか、どちらの顔であるかがまだ識別しきれていないところがあります。ラグビーのスクラムを想像すると分かりやすいと思いますが、肉眼で見ても分からないものは、やはり画像で見てもなかなか分かりづらい。少しずつ技術は改善されていっているので組み合うスポーツにもどんどん適用していけるのが理想ですね」

IoTボールの活用を組み合わせたサービスのため、アスリート育成に特化したスペシャルなプログラムという印象も受けるが、あくまでも目指すのは、誰でも手に取れるエンジンとしての成長だ。

「サッカーでも逆上がりでもいいんですけど親子で公園に行ったときに、親の主観でアドバイスするんじゃなくて、データで示してあげる方が子どもも主体的になるのではないかと思うんです。何で伝わらないんだ！って親がもどかしくなってしまうせいで、イヤになってしまうお子さんもいますから、人それぞれのアドバイスができる存在として、日常的なレクリエーションに取り入れてもらえると嬉しいですね」と田坂氏は笑顔で語る。

5G開始、そして東京オリパラ開催と、スポーツテックのメモリアルイヤーとなること間違いなしのこの1年、大きな発展に期待したい。

ファッション性の高いデザインやメガネの枠を超えた機能で、視力が悪い人はもちろん、視力が良い人にも人気のJINSのメガネ。今年2月、ハンディキャップを抱える人を含めたすべての人々に向け、メガネと連動した革新的なアプリ開発プラットフォーム『JINS MEME BRIDGE』を公開。開発を担当したJINS（株式会社ジンズ）の一戸晋さんにお話を伺いました。

メガネの常識を覆す、革新的なものづくり

−今年2月に公開されるや否や、早くも話題となっている『JINS MEME BRIDGE』について、詳しく教えてください。

『JINS MEME BRIDGE』（以下『BRIDGE』）は、JINSが独自開発した3点式眼電位センサー（特許取得済）を搭載した「JINS　MEME（ジンズ・ミーム）」をかけることで眼の動きを検知し、それらを入力コマンドとして変換することが可能で、APIを通じてデバイス操作ができるアプリケーションです。眼の動き捕らえ、メガネをコントローラーとして使うことで、ハンディキャップをもつ人や高齢者の生活を支援するだけでなく、一般の人も含めたすべての人々の表現の自由を叶えるものだと考えています。

−『BRIDGE』はALS支援プロジェクトとしても注目されていますが、どのような経緯でこのような取り組みをすることになったのですか？

『JINS MEME』という、まばたきや視線の動き、体の動きを取得することで、専用のアプリケーションと連動し、自身のココロとカラダを可視化する、センシング・アイウエアを提供しているのですが、それを発表したときに「WITH ALS」代表で自身もALS患者である武藤将胤さんが真っ先に注目してくれたのです。このメガネがあれば、ALS患者の意思表示が簡単にできるのではないかと。眼の動きでデバイスを操作するというアイデアはすでにあったので、実際にやってみようということになったのです。

−今回のアプリもそうですが、JINSさんはメガネのイメージや価値の変革という点で先導して取り組んでいらっしゃいますよね。

当社は、ブランドビジョンに「Magnify Life（マグニファイ・ライフ）」を掲げ、メガネを通して人々の人生を豊かにするための商品やサービスを提供したいと考えています。例えば、JINSの人気商品でもある『JINS SCREEN（旧JINS PC）』は、メガネをかけることで眼の健康を守るという、メガネの新しい価値を生み出した成功例のひとつです。そういったものづくりをするなかで、メガネとアプリを連動させた『JINS MEME』が生まれました。

開発のきっかけは“頭のよくなるメガネ”

−『BRIDGE』のベースになっている『JINS MEME』の開発のきっかけは、何だったのですか？

約5年前ぐらいですかね。『脳トレ』で有名な東北大学の川島隆太教授にお会いする機会がありました。そのとき当社の代表である田中が「頭がよくなるメガネって作れないですか？」という話を持ちかけたのです。それから定期的に川島先生とお会いしてアイデア出しをすることになり、そのなかで私たちは“眼電位”という技術を知ることになりました。

−眼電位とは？

眼の表面には電位があります。角膜側がプラスで、網膜側がマイナスとなっていて、眼球が動いた時に眼の付近の皮膚表面に電位の変化が発生します。その変化を読み取って眼球の動きを判定するのが眼電位技術です。

眼電位そのものは実験や研究の領域で数十年前からあったのですが、カメラ技術の発達に伴い、電極を直接眼のまわりに貼って眼の動きを測定する眼電位は枯れた技術になっていました。しかし川島先生とお話しするなかで、当時４点で取得していた眼電位が現在は3点で取得できることがわかりました。3点ならメガネに搭載しても違和感がなく、何かできるかもしれないという気づきがそこであったのです。

−そうして、眼電位技術を使った『JINS MEME』が生まれるのですね！

眼電位の技術を形にしていくなかで、眠気というキーワードが上がっていました。眼電位で眠気を推定できるらしいけれど、じゃあどうしようという段階のときに、関越自動車道で高速路線バスの大事故がありました。ドライバーの眠気を事前に察知できれば、この事故は防げたかもしれない。メガネをかけることで眠気を検知して知らせてくれるものがあったら、すごく意味のあることではないかと考えました。それから商品の発売と同時に提供したアプリ『JINS MEME DRIVE』の開発が始まり、本格的に『JINS MEME』がスタートした感じです。

『JINS MEME』から『JINS MEME BRIDGE』へ

−『JINS MEME BRIDGE』の開発にあたり、いちばん苦労したのはどんなことでしたか？

『BRIDGE』は、眼の動きをコントローラーとして使いますが、眼の動き、特にまばたきはほぼ無意識に行っているものです。それを自分の意思で操ること自体大変ですが、ユーザーが強い意思をもたないと動かせないのでは製品として不完全です。誰でも自然と使うことができる仕様までもっていくことに苦労しましたね。あとは眼も体の一部なので、コンディションがあります。最初は調子よく動かせても、やり続けていると疲れて思うように動かせなくなるし、昨日と今日とではパフォーマンスも違います。デジタルデバイスとして、判定の精度をブラッシュアップしていくのも苦労しました。

−『BRIDGE』の今後の課題や展望を教えてください。

武藤さんの提案で我々がいちばん感銘を受けたのは、「大好きな音楽やDJをやめたくない。創造することやクリエイティブなことを続けることで、自分が生きている証明をしたい」というところです。生活をサポートするのは当然で、それとは違う“表現”という領域をもっと広げていきたいと考えています。そのなかで、ハンディキャップを持つ人と健常者がガチンコで勝負できるようなものを作っていきたいですね。互いがフラットに競って高め合えるもの。ゲームでもいいし、DJもそのひとつかもしれませんね。

−『BRIDGE』の発表会での武藤さんのVDJパフォーマンスを見て、どう感じましたか？

通常VDJというのは、DJとVJがふたりセットでパフォーマンスするのですけれど、武藤さんはそれをひとりで、しかも眼の動きだけでやっています。本気でかっこいいなって思いましたね。先日武藤さんにアメリカの会場でもパフォーマンスしてもらったのですが、やはりすごい反響がありました。いろんな人にいろんなことを言われたそうですが、武藤さんは「おまえクレイジーだな」って言われたのがいちばん嬉しかったそうです（笑）。

理想は時間や空間を飛び越えるプロダクト

−先ほどのガチンコ勝負もそうですが、垣根のない社会のために未来にどんなプロダクトがあったらいいと思いますか？

具体的にまだ思いついてはいないのですが、時間や空間を飛び越えられるものに興味があります。オンラインで開業するということもそのひとつですが、もう少し改良を加えれば、何かできそうだなとぼんやり考えています。ハンディキャップによって、体が動かせる・動かせないとか、忙しいから動けないということも含めて、時間や空間を飛び越えることは、動けないことへの解決策になるのではないかと。究極は『どこでもドア』の考えに行き着きますけどね（笑）。

−いま、一戸さんが注目している企業や人を教えてください。

先ほどの流れで行くと『ドラえもん』ですよね（笑）。それ以外でいうと、『JINS MEME』の開発をサポートしてくれたライゾマティクスさん。うちのプロジェクト以外のものもすべて刺激的で、既存のものに新しい概念を組み合わせてものづくりをされています。いちばん最初にドローンを使ってお茶の間に生ライブを届けたのはライゾマティクスさんです。ドローンの可能性を一般の人に示した功績は、やはりすごいと思います。それだけでなく、洗濯物をたたんでくれるロボットとか、心拍がある程度高まったときに外れるブラジャーのホックとか（笑）、そういう遊び心があるものを作っってしまうところも好きです。ライゾマティクスさんが発表しているものは常にチェックして参考にしていますね。

『JINS MEME BRIDGE』はまだまだ進化途中。これからどんな新しい試みが生まれてくるのでしょうか。メガネの常識をことごとく覆すJINSというブランドだからこそ、ちょっと目が離せないプロダクトです。