日本における第5世代移動通信システム5Gのサービス開始がいよいよ目前に迫っている。高速大容量、低遅延、多端末接続の実現により、よりバラエティ豊かなサービスをより快適に楽しめるようになると推測されている。KDDIとKDDI総合研究所、株式会社アクロディアはスポーツ行動認識AIとセンサー内蔵型ボールからスマートフォンで取得したデータを活用し、選手の技術向上に役立てることができるアスリート育成支援システムを2019年10月に発表、スポーツテックサービス分野へ本格的に乗り出した。AI×IoTという最先端技術を駆使したサービス『アスリーティックラボ』の詳細や、提供するにあたっての課題点や今後の展望について、KDDI総合研究所にて話を伺った。

全身65か所の骨格点から身体の基本動作を認識して、
リアルタイムでアドバイスを返す

KDDIとKDDI総合研究所は2018年に、単眼カメラの映像からスクワットやランジなど31種類のトレーニング動作や姿勢を認識する「宅内行動認識AI」を開発。
コーチや指導者がつきっきりでなくても、深度センサーや専用デバイス、高度な技術を用いずとも、スマートフォンのカメラで撮影した映像から行動を認識し、各トレーニングのカウントや姿勢、テンポをリアルタイムでチェックできるようになった。

そこから発展したのが今回取材したアスリート育成支援システム『アスリーティックラボ』に使用されている「スポーツ行動認識AI」である。「スポーツ行動認識AI」では、同じくスマートフォンで撮影した競技者の映像から、全身65か所の骨格点を抽出して、指先を含む骨格などの動きや、ボールを捉えパスやキャッチなどを行う基本動作を認識、フォームから身体の使い方までをリアルタイムに解析することが可能となった。

このシステムは2019年8月に開催されたスピードクライミングの国際大会でも、出場選手の競技記録やリプレイ動画を世界記録と比較しながら会場のディスプレイに表示する “トライアル” で使用されており、競技者のみならず観戦者に向けた新しい体験を提供する施策として高く評価された。

KDDI総合研究所 スポーツ行動認識AI

このAIを用いたシステムに、アクロディアが開発した3次元モーションセンサーを搭載したボール型IoTデバイス「TECHNICAL PITCH (テクニカルピッチ）」を組み合わせたものが、今回の最先端技術を駆使したスポーツテックサービス『アスリーティックラボ』である。このボール型IoTデバイスとの掛け合わせをすることで、「スポーツ行動認識AI」の画像解析だけでは分からない部分までをも補うことができるとKDDI総合研究所 メディア認識グループの田坂和之氏は語る。

「スマートフォンのカメラではまだ、競技している様子をスローモーションで捉えることまではできません。そこでボールの中にセンサーを入れることで、ボールがどれくらい加速しているのか、回転しているかが分かり、競技者のフォームとボールの関係性を知ることができるようになりました。今回のサービスを用いれば、それらをおさえた上で選手に、それも即座にアドバイスすることが可能となったというわけです」

マイナースポーツや学生チームでも
スマートフォンさえあれば、
高度な指導を受けられるように

『アスリーティックラボ』

「TECHNICAL PITCH」は、野球ボールとスマホさえあれば手軽に投球の分析ができるというサービス。2017年に販売が開始してから登録ユーザー数はすでに2万件を超え、100万球の投球データをクラウド上に蓄積している。重さや硬さなど、硬式野球ボールの規格に準拠しているが、2019年12月には軟式野球ボールの販売もスタート。今後サッカーやバレーボール、ゴルフなど他の競技にも順次対応していく予定だという。

ボールとスマートフォンを Bluetooth でペアリングを行い、ボールに搭載したセンサーから送付されるデータが専用アプリで解析される。回転数、回転軸、球速、球種、変化量 、腕の振りの強さ、時間（構えてからリリースするまでの時間とリリースされてからキャッチャーが捕球するまでの時間）、動画（計測時にスマートフォンのカメラで動画を撮影し計測結果と同期）を記録することができるという。

「マイナースポーツや学生チームのように活動資金に余裕がなくても、スマートフォンさえあれば映像をチェックしながら戦略を立てていくことができますし、自宅でのトレーニング時や1人で練習する際にも指導が受けられます」（田坂氏）

近年、スポーツ指導におけるデータやエビデンスの重要性が叫ばれ始めるようになったものの、現場ではいまだにコーチの感覚や経験に左右されることも多い。そんななか、今回のサービスの検証に協力してくれる大学の運動部に対しては、AIを活用したコーチングと強調するのではなく、競技者の「今」の状態をチェックすることができるものとしてアプローチを進めていった。

「過去の映像と並べて比較すると、動きが少し固くなっているな、など自分自身で体の変化を確かめられるので、ケガの予兆検知などにも繋げていくことができます」と、自己研鑽も含めアスリートの全般的なサポートが実現しそうだ。

認識できる点数が増えれば必然的に処理が重くなる。
速さと精度を保つことが決め手

開発の肝となったのは、画像認識の速さと正確さであったと、田坂氏は語る。

「実際使ってみるとよく分かるのですが、自分の動きを撮影して、フィードバックが即時で表示されるか、1〜2分後に表示されるかでは前者の方がユーザーも理解しやすいし、実際に、上達のスピードもアップします。開発の初期は、体の大まかな骨格、目や鼻など、17か所のみでしたが、両手両足の指関節、かかとなど認識できる点を段階的に増やしていき、1年半ほどかけて65点まで到達したので、スピードクライミングのトライアルでもどのようにホールドをつかんでいるかまで、より正確に表示できるようになりました。
しかし点数が増えた分だけ当然処理は重くなり、速度と精度が落ちてしまいますから、いかに精度を保ったまま、速く認識できようにするかは技術面での苦労でもありました」

スポーツでの利用であれば現段階の65点で大体網羅できるが、顔のパーツひとつひとつや、体の輪郭まで認識できれば適用先が広がる余地は十分にある。
現状、技術的に不可能ではないものの、4G、LTEといった通信方式では高画質の画像やフレームレートの大きい動画をサーバーにアップするのに時間がかかってしまうが、5Gの実用化が始まればより解析がスムーズになり、たとえばゴルフクラブのヘッドなど細かい動きもぶれることなく表示できるなど、ユーザビリティの向上も見込めそうだ。

アスリートの支援だけではなく、
日常的なレクリエーションにも。
誰でも使えるエンジンに成長させたい

KDDI総合研究所 メディア認識グループ 田坂和之氏

今後、解消していきたい技術的な課題は、人の接触が多い部分の画像解析だという。

「1人でプレイする競技や団体でも離れているか、組まれていない場合なら問題ないのですが、人が密集するところ、柔道やレスリングのように組み合うことが多い競技だと、画像だけではどちらの手であるとか、どちらの顔であるかがまだ識別しきれていないところがあります。ラグビーのスクラムを想像すると分かりやすいと思いますが、肉眼で見ても分からないものは、やはり画像で見てもなかなか分かりづらい。少しずつ技術は改善されていっているので組み合うスポーツにもどんどん適用していけるのが理想ですね」

IoTボールの活用を組み合わせたサービスのため、アスリート育成に特化したスペシャルなプログラムという印象も受けるが、あくまでも目指すのは、誰でも手に取れるエンジンとしての成長だ。

「サッカーでも逆上がりでもいいんですけど親子で公園に行ったときに、親の主観でアドバイスするんじゃなくて、データで示してあげる方が子どもも主体的になるのではないかと思うんです。何で伝わらないんだ！って親がもどかしくなってしまうせいで、イヤになってしまうお子さんもいますから、人それぞれのアドバイスができる存在として、日常的なレクリエーションに取り入れてもらえると嬉しいですね」と田坂氏は笑顔で語る。

5G開始、そして東京オリパラ開催と、スポーツテックのメモリアルイヤーとなること間違いなしのこの1年、大きな発展に期待したい。

東京大学発のスタートアップである次世代スマートアパレル e-skinは、伸縮性エレクトロニクスの技術を用いた“着る”インターフェイス。ジャイロセンサ、歪センサ、バイタルサインのセンサなどの各種センサを適所に配置することにより、体の動きや状態を、正確に計測し、通信することができる。用途は、スポーツのフォーム解析、リハビリテーションのサポート、乳幼児の午睡の見守りなど幅広い。株式会社Xenomaの網盛一郎代表取締役CEOにお話をうかがった。

ドイツの人工知能研究センターとともに
高精度モーションキャプチャを実現

場所を問わず、リアルタイムで高精度のモーションキャプチャを取ることができる。

東京都大田区の工場アパートに入居するXenomaのオフィスを訪ねると、まず目に入ったのはハンガーに吊るされたシャツやスパッツ、マネキン、裁断の作業台などだった。オフィスを見る限り、IT企業というよりは、アパレルメーカーのイメージである。この意外性は、Xenomaが開発した次世代スマートアパレル e-skinの特質を象徴していると言えるのかもしれない。e-skinは、着心地のいい衣服でありながら、その実、さまざまなデータを採取・通信できるインターフェイスなのだ。

着脱式のハブ（黒い円盤状のパーツ）を外せば水洗いできるので、繰り返し使える。

「僕は東京大学のJST ERATO（科学技術振興機構の戦略的創造研究推進事業・総括実施型研究）、染谷生体調和エレクトロニクスプロジェクトで伸縮性エレクトロニクス開発を行っていました。次世代スマートアパレル e-skinはその技術を用いたものです。通常、電気の流れる物質は、金属がそうであるように、あまり伸びないのですが、Xenomaの伸縮性エレクトロニクスは1.5倍くらい伸びます。そのため、服に組み込んでも壊れることがありません」

ひと言で言うなら、次世代スマートアパレル e-skinは、電気信号を伝えることのできる服だ。つまり、脈拍、温度、呼吸といったバイタルサインのセンサ、ジャイロセンサ、歪センサなどの各種センサを配置することにより、体の動きや脈拍、体表面温度、呼吸などの体の状態を、服を着たままで正確に計測することができる。たとえば、スポーツやスポーツ医療の分野で役立つモーションキャプチャは、e-skinの得意とするところだ。

「モーションキャプチャは、ドイツのDFKI（ドイツ人工知能研究センター）というところといっしょに研究開発しました。彼らは地磁気を使わないモーションキャプチャのアルゴリズムを持っていて、それと僕らのe-skinを組み合わせると、ほぼリアルタイムで、どんな場所でも高精度のモーションキャプチャを取ることができるのです」

現在、モーションキャプチャはカメラを用いる方法が主流となっているが、e-skinを用いるとカメラにはないメリットが得られる。

「カメラの場合、撮影のできる場所であることが必須条件であり、また、そのような場所では運動に多少の制約が出ることもありますが、e-skinなら場所や動きの制約はありません。マラソンのように、長距離を移動する運動でもパフォーマンスの解析ができます」

午睡チェックのサポートに
54の保育園で1500台が稼働している

高齢化社会が進み、より重要性が増しているリハビリテーションの分野でも、e-skinは有効利用されることになるだろう。

「日本ではまだ顕在化していませんが、世界的には、在宅リハによる運動機能の低下が問題になっています。病院でリハをして運動機能が回復し、家に戻っても、その後のリハが不十分であったり、不適切であったりすることで、運動機能が低下してしまうのです。在宅でもe-skinを着用してのリハなら、理学療法士さんがデータを見ることによって介入することができますから、適切なリハを続けることができます。日常の行動を見ながらトレーニングプログラムを提供することができれば、運動機能の低下は防げるはずです」

保育の分野に目を向けても、e-skinは有益性が高い。乳幼児の死亡原因として多い乳幼児突然死症候群（SIDS）は、何の予兆や既往歴もないまま乳幼児が死に至る原因不明の病気で、窒息などの事故とは異なる。SIDSの予防方法は確立していないが、厚生労働省が真っ先に挙げる予防法は、“寝かせるときは仰向けに寝かせる”ということだ。データ上、仰向けのほうがSIDSのリスクは低いのである。

「e-skinであれば、赤ちゃんの姿勢を常に見守ることができます」

東京都福祉保健局などの行政は保育施設に対して、SIDSの予防と睡眠中の事故防止のために、“0歳児は5分に1回、1～2歳児は10分に1回、必ず1人1人チェックし、その都度記録すること”という指針を出している。乳幼児の生命を守るためには必要な策だが、保育士の仕事量はその分、増えている。

「以前は添い寝をして寝ついたら、自分の書類仕事ができたのに、いまは5分に1回見て、うつ伏せだったら仰向けにして、記録する必要があります。書類仕事は後回しになるので、残業時間は確実に増えていると思います」

0歳児は概ね3人に保育士1人、1、2歳児は概ね6人に保育士1人という配置基準もあり、午睡の安全を確保するためにはかなりの労力が必要だ。見守りが自動化できれば、保育施設の労働環境は少なからず改善できる。

「オムツに取り付けるタイプのセンサが、すでに54の保育園で、1500台くらいが稼働し、毎日、午睡のデータを取っています」

日立製作所や紳士服のAOKIなど
有名企業とのコラボレーションも話題

e-skinは着心地のいい服でもあるので、被験者に負担をかけずにさまざまなモニタリングができるのも特徴だ。たとえば、睡眠の科学的研究とは親和性が高い。

「ドライバーの眠気を察知し、事故を防止することができると考えています。カメラによって眠気を察知する方法もありますが、これだとマイクロスリープを見逃してしまう。心拍の間隔変動や体温、呼吸、上体の動きなど、総合的に見ることによって、察知の精度は高くなるのです」

またe-skinは、IoTで利用することもできる。

「温度や湿度が不快で眠りの質が悪いときは、e-skinがバイタルサインや動きによってそれを察知し、エアコンを調整する。これは一例ですが、e-skinはインターネットとつながっている機器との連動ができるのです」

e-skinに搭載されたすべてのセンサは着脱できる1個のハブによって管理される。数多くのセンサを1つにつなげるこの技術もXenomaならではの技術だ。センサと配線には防水加工がされているため、ハブを外せば洗濯も可能だという。

「一般的にウェアラブルのデバイスは、1デバイスに電池が1個ついて、通信機能もそれぞれについていますが、e-skinの電池と通信機能はコントローラ的なハブに搭載しています。1個のハブを充電すればいいのですから、管理は楽です」

e-skinの技術は確立しているので、今後の展開の鍵を握るのは、市場の開拓であり、他企業とのコラボレーションだ。

「ローカルミニマムに陥りがちになるので、会社の陣容においても、ビジネスの選択肢においても、多様性を意識しています」

すでに寝具メーカーの西川、紳士服のAOKI、日立製作所などとコラボレートしている。次世代スマートアパレル e-skinが身近な存在になる日は近いのだろう。

網盛一郎（Ichiro Amimori）
株式会社Xenoma Co-Founder & 代表取締役CEO。1994年、東大院農・農芸化学専攻修士課程修了後、富士フイルム株式会社入社。2012年、同社を退職、フリーランスとして大学や企業と共に新規事業開発を行う傍らで、東京大学大学院情報学環・佐倉統研究室において科学技術イノベーション論として「先端技術をどうやって社会価値に結び付けるか」や「人と機械の関係の未来」を研究し、その実践として2014年より東京大学・JST ERATO染谷生体調和エレクトロプロジェクトに参画、2015年11月にXenomaをスピンオフ起業。2006年、米・ブラウン大院卒（Ph.D.）。