髪の毛で音を感じる全く新しいユーザインターフェイスが、世界中から注目を集めている。ヘアピンのように髪の毛につけて、振動と光で音の特徴を伝えるデバイスは、髪に音のアンテナを立てるという意味を込めて「Ontenna（オンテナ）」と名付けられた。その「Ontenna」を開発したのが、富士通UIデザイナーの本多達也さん。彼こそ、世界有数の経済誌『Forbes』が選んだ“世界を変える若者”のひとりだ。

最新のテクノロジーで、
ろう者に音を伝えたい

−日本のみならず、海外からも注目を集めている「Ontenna」について、詳しく教えてください。

Ontennaは、聴覚に障がいをもつろう者のために開発されたヘアピン型のデバイスで、髪の毛につけることで、生活の中のさまざまな音を振動と光によって伝えます。ろう者は、電話が鳴ってもわからない、車が近づいてもわからない、掃除機のコンセントが抜けてもわからないという中で生活しています。彼らに、テクノロジーやデザインを使って音を伝えたいという想いから生まれました。

−振動と光で音を伝えるということですが、具体的にどういう仕組みになっているのですか？

仕組みとしては、30dB〜90dBの音圧、つまり音の大きさを256段階の振動と光の強さにリアルタイムに変換してユーザに伝えます。どうぞ手に取ってみてください。「おーい」「あ、あ、あ」「あーーー！」（本多さんOntennaに向かって声を出す）。振動から音のリズムやパターンを感じられませんか？

−音が大きくなると振動が強くなって、離れると弱くなります。音に応じて震えるのですね。

Ontennaはろう者と協働して開発していますが、印象的だったフィードバックに「初めてセミの鳴き声を聞いた気がした」という声がありました。ろう学校でセミは「ミーンミンミン」と鳴くと教わったけれど、それがどういうリズムで鳴くのか今までわからなかったそうです。Ontennaは、ろう者の生活に寄り添うだけでなく、ろう者の感じる世界を一変させるプロダクトになると確信しました。

ろう者と健聴者の
ギャップを埋めるデザイン

−開発５年目に突入したOntennaですが、そもそものきっかけは何だったのですか？

大学１年生の学園祭でろう者と出会ったことがきっかけでした。それからろう者とのコミュニケーションに興味をもち、手話の勉強を始め、手話通訳のボランティアやNPOの立ち上げを行いました。大学では、「身体と感覚の拡張」をテーマに研究を重ね、Ontennaの開発を始めたのは４年生のときです。

−「髪の毛で音を感じる」というユニークなコンセプトは、最初からあったのですか？

当初は、音の大きさを光の強さに変換するプロダクトを作りました。大きな音がすると光が大きくなる、イコライザーみたいなもの。アルバイトで稼いだお金をつぎ込んでプロトタイプを作ったのですが、ろう者に「こんなのいらない」って言われてしまって……。あれはショックでしたね。それから触覚というものに注目してみたのですが、肌に直接付けると振動が気持ち悪い、服の上に付けると今度は振動が伝わりにくいとなり、いろいろな部位を試すなかで髪の毛という結論に辿り着いたのです。

−Ontennaの開発にあたり、いちばん苦労したのはどんなことでしたか？

付ける位置のほか、振動の強弱の調整にも苦労しました。ろう者は健聴者に比べて振動にとても敏感で、強すぎても不快だし、弱すぎても気づくことができません。あとは、形をどうするかも悩みました。どんなに優れたテクノロジーであっても、いかにも障がい者用とわかるような見た目では、ろう者と健聴者のギャップは埋まりません。振動が伝わりやすいように基盤を配置しつつ、アクセサリーのようなスタイリッシュなデザインに徹底的にこだわりました。

FEELからFUNへ。
Ontennaの描く未来とは？

−最近では、映画『Noise』とのコラボレーションも話題となりましたが、どのような経緯でこのような取り組みをすることになったのですか？

『Noise』は、日本を代表する DJのbanvoxさんが音楽プロデューサーとして参加していて、劇中の音楽、音声、音質、効果音、細かな音のニュアンスまでこだわった作品です。音と映像のシンクロにフォーカスした作品をろう者にも体験してほしい、今までにない新しい映画体験をたくさんの人に届けたいという想いで、Ontennaを用いた上映会を実施しました。

−上映会に参加した人の反応はいかがでしたか？

今回の上映会では、ろう者だけでなく健聴者にもOntennaを使ってもらい、同じ空間を共有してもらいました。映画は秋葉原無差別殺傷事件がモチーフになっていて、救急車のサイレンの音が特徴的に使われているのですが、そういった音が健聴者にも臨場感をもって体感できたようです。ろう者からは「信号機に音があることを初めて知った」という声があり、Ontennaを付けたことでより映画を楽しめ、新しい価値の創造につながったと思います。

−ますます広がりを見せているOntennaですが、今後の課題や展望を教えてください。

これからのOntennaは、ろう者がアラームを感じ取るデバイスではなく、楽しいを増幅させるデバイスになってくれたら嬉しいですね。Ontennaを付けることで、みんながより楽しくなり、ろう者と健聴者が同じ空間を共有できるものになることを願っています。とにかく早くみなさんに届けられるように、今ビジネスモデルを模索中です。当初の目標であった2020年には、多くの人が使えている状態までもっていきたいです。

障がいなんて、
テクノロジーの力でどうにでもなる

−先の上映会もそうですが、垣根のない社会のために未来にどんなプロダクトがあったらいいと思いますか？

僕はデジタルなことをやっていますが、アナログなことを後世に残したいと感じることがあります。2020年後半からシンギュラリティが始まり、2045年にはこれまでの世界とは全く異なる世界がやってくると言われています。今僕らが感じている、砂や泥の感触、土のにおい、心地よい空気、穏やかな波の音っていうのは、その世界にはないかもしれない。直感的、感覚的なものは、健常者も障がい者も平等にもっています。そういう価値観を残せるタイムカプセルを作りたいですね。

−今、本多さんが注目している企業や人、取り組みを教えてください。

僕も参画しているのですが、落合陽一さんが代表を務める「クロス・ダイバーシティ」というプロジェクトです。AIを脅威に感じる人は多いですが、そんなことはありません。AIがあることで、人間は拡張されてより働けるし、おもしろいこともたくさんできます。障がいがあるからできない、高齢になったからできない、そういったものは、テクノロジーの力でどうにかなると言いたい。AIで広がる世界というものを、僕たちが描いていけたらと思っています。

本多達也（Tatsuya Honda）
1990年 香川県生まれ。人間の身体や感覚の拡張をテーマに、ろう者と協働して新しい音知覚装置の研究を行う。2014年度未踏スーパークリエータ。第21回AMD Award 新人賞。2016年度グッドデザイン賞特別賞。Forbes 30 Under 30 Asia 2017。Design Intelligence Award 2017 Excellcence賞。現在は、富士通株式会社マーケティング戦略本部にてOntennaの開発に取り組む。

日本における第5世代移動通信システム5Gのサービス開始がいよいよ目前に迫っている。高速大容量、低遅延、多端末接続の実現により、よりバラエティ豊かなサービスをより快適に楽しめるようになると推測されている。KDDIとKDDI総合研究所、株式会社アクロディアはスポーツ行動認識AIとセンサー内蔵型ボールからスマートフォンで取得したデータを活用し、選手の技術向上に役立てることができるアスリート育成支援システムを2019年10月に発表、スポーツテックサービス分野へ本格的に乗り出した。AI×IoTという最先端技術を駆使したサービス『アスリーティックラボ』の詳細や、提供するにあたっての課題点や今後の展望について、KDDI総合研究所にて話を伺った。

全身65か所の骨格点から身体の基本動作を認識して、
リアルタイムでアドバイスを返す

KDDIとKDDI総合研究所は2018年に、単眼カメラの映像からスクワットやランジなど31種類のトレーニング動作や姿勢を認識する「宅内行動認識AI」を開発。
コーチや指導者がつきっきりでなくても、深度センサーや専用デバイス、高度な技術を用いずとも、スマートフォンのカメラで撮影した映像から行動を認識し、各トレーニングのカウントや姿勢、テンポをリアルタイムでチェックできるようになった。

そこから発展したのが今回取材したアスリート育成支援システム『アスリーティックラボ』に使用されている「スポーツ行動認識AI」である。「スポーツ行動認識AI」では、同じくスマートフォンで撮影した競技者の映像から、全身65か所の骨格点を抽出して、指先を含む骨格などの動きや、ボールを捉えパスやキャッチなどを行う基本動作を認識、フォームから身体の使い方までをリアルタイムに解析することが可能となった。

このシステムは2019年8月に開催されたスピードクライミングの国際大会でも、出場選手の競技記録やリプレイ動画を世界記録と比較しながら会場のディスプレイに表示する “トライアル” で使用されており、競技者のみならず観戦者に向けた新しい体験を提供する施策として高く評価された。

KDDI総合研究所 スポーツ行動認識AI

このAIを用いたシステムに、アクロディアが開発した3次元モーションセンサーを搭載したボール型IoTデバイス「TECHNICAL PITCH (テクニカルピッチ）」を組み合わせたものが、今回の最先端技術を駆使したスポーツテックサービス『アスリーティックラボ』である。このボール型IoTデバイスとの掛け合わせをすることで、「スポーツ行動認識AI」の画像解析だけでは分からない部分までをも補うことができるとKDDI総合研究所 メディア認識グループの田坂和之氏は語る。

「スマートフォンのカメラではまだ、競技している様子をスローモーションで捉えることまではできません。そこでボールの中にセンサーを入れることで、ボールがどれくらい加速しているのか、回転しているかが分かり、競技者のフォームとボールの関係性を知ることができるようになりました。今回のサービスを用いれば、それらをおさえた上で選手に、それも即座にアドバイスすることが可能となったというわけです」

マイナースポーツや学生チームでも
スマートフォンさえあれば、
高度な指導を受けられるように

『アスリーティックラボ』

「TECHNICAL PITCH」は、野球ボールとスマホさえあれば手軽に投球の分析ができるというサービス。2017年に販売が開始してから登録ユーザー数はすでに2万件を超え、100万球の投球データをクラウド上に蓄積している。重さや硬さなど、硬式野球ボールの規格に準拠しているが、2019年12月には軟式野球ボールの販売もスタート。今後サッカーやバレーボール、ゴルフなど他の競技にも順次対応していく予定だという。

ボールとスマートフォンを Bluetooth でペアリングを行い、ボールに搭載したセンサーから送付されるデータが専用アプリで解析される。回転数、回転軸、球速、球種、変化量 、腕の振りの強さ、時間（構えてからリリースするまでの時間とリリースされてからキャッチャーが捕球するまでの時間）、動画（計測時にスマートフォンのカメラで動画を撮影し計測結果と同期）を記録することができるという。

「マイナースポーツや学生チームのように活動資金に余裕がなくても、スマートフォンさえあれば映像をチェックしながら戦略を立てていくことができますし、自宅でのトレーニング時や1人で練習する際にも指導が受けられます」（田坂氏）

近年、スポーツ指導におけるデータやエビデンスの重要性が叫ばれ始めるようになったものの、現場ではいまだにコーチの感覚や経験に左右されることも多い。そんななか、今回のサービスの検証に協力してくれる大学の運動部に対しては、AIを活用したコーチングと強調するのではなく、競技者の「今」の状態をチェックすることができるものとしてアプローチを進めていった。

「過去の映像と並べて比較すると、動きが少し固くなっているな、など自分自身で体の変化を確かめられるので、ケガの予兆検知などにも繋げていくことができます」と、自己研鑽も含めアスリートの全般的なサポートが実現しそうだ。

認識できる点数が増えれば必然的に処理が重くなる。
速さと精度を保つことが決め手

開発の肝となったのは、画像認識の速さと正確さであったと、田坂氏は語る。

「実際使ってみるとよく分かるのですが、自分の動きを撮影して、フィードバックが即時で表示されるか、1〜2分後に表示されるかでは前者の方がユーザーも理解しやすいし、実際に、上達のスピードもアップします。開発の初期は、体の大まかな骨格、目や鼻など、17か所のみでしたが、両手両足の指関節、かかとなど認識できる点を段階的に増やしていき、1年半ほどかけて65点まで到達したので、スピードクライミングのトライアルでもどのようにホールドをつかんでいるかまで、より正確に表示できるようになりました。
しかし点数が増えた分だけ当然処理は重くなり、速度と精度が落ちてしまいますから、いかに精度を保ったまま、速く認識できようにするかは技術面での苦労でもありました」

スポーツでの利用であれば現段階の65点で大体網羅できるが、顔のパーツひとつひとつや、体の輪郭まで認識できれば適用先が広がる余地は十分にある。
現状、技術的に不可能ではないものの、4G、LTEといった通信方式では高画質の画像やフレームレートの大きい動画をサーバーにアップするのに時間がかかってしまうが、5Gの実用化が始まればより解析がスムーズになり、たとえばゴルフクラブのヘッドなど細かい動きもぶれることなく表示できるなど、ユーザビリティの向上も見込めそうだ。

アスリートの支援だけではなく、
日常的なレクリエーションにも。
誰でも使えるエンジンに成長させたい

KDDI総合研究所 メディア認識グループ 田坂和之氏

今後、解消していきたい技術的な課題は、人の接触が多い部分の画像解析だという。

「1人でプレイする競技や団体でも離れているか、組まれていない場合なら問題ないのですが、人が密集するところ、柔道やレスリングのように組み合うことが多い競技だと、画像だけではどちらの手であるとか、どちらの顔であるかがまだ識別しきれていないところがあります。ラグビーのスクラムを想像すると分かりやすいと思いますが、肉眼で見ても分からないものは、やはり画像で見てもなかなか分かりづらい。少しずつ技術は改善されていっているので組み合うスポーツにもどんどん適用していけるのが理想ですね」

IoTボールの活用を組み合わせたサービスのため、アスリート育成に特化したスペシャルなプログラムという印象も受けるが、あくまでも目指すのは、誰でも手に取れるエンジンとしての成長だ。

「サッカーでも逆上がりでもいいんですけど親子で公園に行ったときに、親の主観でアドバイスするんじゃなくて、データで示してあげる方が子どもも主体的になるのではないかと思うんです。何で伝わらないんだ！って親がもどかしくなってしまうせいで、イヤになってしまうお子さんもいますから、人それぞれのアドバイスができる存在として、日常的なレクリエーションに取り入れてもらえると嬉しいですね」と田坂氏は笑顔で語る。

5G開始、そして東京オリパラ開催と、スポーツテックのメモリアルイヤーとなること間違いなしのこの1年、大きな発展に期待したい。