光とバイブレーションにより、音を伝えてくれるデバイス「Ontenna」(オンテナ)。この新しいデバイスが聾学校の子ども達が言葉を話すきっかけをも作り出しているという。そんな「Ontenna」の開発者、本多達也氏は「Ontenna」を使いどのような未来を切り開こうとしているのか。開発当初から親交のある編集長・杉原行里が迫る。

杉原：お久しぶりです。「Ontenna (参考：http://hero-x.jp/movie/2692/)」やっと実用化になりましたね。この日を心待ちにしていました。

本多：ありがとうございます。行里さんにぜひ見ていただきたいと思っていました。

杉原：パッケージもこだわりを感じますね。充電もこれでできるっていうところがいいですね。

※注：充電にはmicro USBでの接続が必要です。

本多：よくぞ気づいてくれました。そうなんです。試行錯誤しながらやっとここまできまして、3段スイッチにしています。スライドを真ん中にカチッとしていただくと、電源が入るようになっています。「あー、あー」（発話）

杉原：バイブレーションがしっかりと伝わります。感度がものすごくいいですね。

本多：はい。大きい声だとバイブレーションの強度も強くなり、小さな声だと弱くなります。音の強弱も伝えることができるようにしています。それから光。音に反応して光も出ますから、見ていても楽しいですよ。

杉原：本当だ！

本多：「Ontenna」は何を話しているかまでは分からないのですが、音が出ていることを掴むことはできる。そこに特化させたものです。聾学校の生徒さんたちに体験していただいているのですが、太鼓を叩いたり、笛を吹く合奏で「Ontenna」をつけてもらったところ、音を感じることができるので、リズムが取れるようになったんです。もちろん、彼らが発する声にも反応する。言葉の受け手はバイブレーションで音をキャッチできますし、発話者は光で自分の声が相手に届いていることが分かります。聾学校に通う子どもの中にはなかなか発話をしない子もいるのですが、「Ontenna」を使うことで子ども達が声を出しはじめたというケースの報告も先生方から受けています。

杉原：なるほど。聞こえないと、本当に自分は声を発しているのかとか、声が届いているのかは分かりにくいものですが、こうしてきちんと見えて感じられたら、確かに楽しいでしょうね。子どもたちが飛びつくのも分かります。そもそも、なぜ、本多さんはこれを開発しようと思われたのですか？

本多：大学1年生の時にある聾者の方と出会ったのがきっかけでした。手話の勉強をはじめて、手話通訳のボランティアをしたり、手話サークルを作ったり、NPOを立ち上げたりと、いろいろと活動していました。

杉原：やはり、人との出会いがきっかけなのですね。

本多：そうですね。僕が出会った聾者の方は、生まれてすぐに出た高熱により、神経に障がいがでてしまい、全く耳が聞こえないという方でした。人工内耳も補聴器も使えなかった。なので電話が鳴ってもわからないし、アラームが鳴ってもわからない。動物の鳴き声なんかもわからないなかで生活をしていたんです。もともと自分がデザインやテクノロジーの勉強をしていたので、そういった知識を活用してなんとかできないものかと考えはじめたのがきっかけでした。そこで思いついたのが、バイブレーションと光で音を伝えるということでした。「Ontenna」は、60〜90dBの音の大きさを256段階で光と振動の強さにリアルタイムに変換し、リズムや音のパターンといった音の特徴を着用者に伝えます。

杉原：60～90㏈っていうのはなにか医学的領域の話ですか？

本多：聾学校に行っていろいろとヒアリングをすると、「喋りかけている声を知りたい」「声の大小の出し方を練習したい」という話が出たんです。60㏈は人がしゃべっているくらいの大きさ、90㏈はものすごく大きい声を出したり、楽器を強く叩いたりだとか、工事現場の雑音くらいの音の大きさです。ここのグラデーションを伝えたい、表現したいというので、この値を設定しました。ただ、「小さな音にも反応してほしい」というリクエストもあって、販売製品はサウンドズーム機能を取り入れたり、ユーザー自身で感度を変えられたりできるようにしています。

サードパーティーの可能性

杉原：ここの振れ幅を思いっきり変えるというよりは、振れ幅の補完、拡張みたいなものをほかのデバイスを使ってやるってことですね。

本多：そうです。そして、見た目にこだわりました。クリップ型になっているので髪の毛につけたり服につけたり、いろいろな場所につけていただけます。

杉原：いやー、本当によくここまできたと思います。これだけコンパクトにするにはかなりの苦労があったのではないですか？

本多：ハードウェアは作るのが本当に大変で、とくに、「Ontenna」のようなものの場合、ソフトウェアのエンジニアと、ハードウェアのエンジニアの協力が必要です。あんまり小さすぎるとバッテリーの持ちが悪くなるし、大きくしすぎるとアクセサリーのようなお洒落さがなくなる。バイブレーションも、マイクと振動マットがこれだけ近い位置にあると、ハウリングの問題も出てきます。どうやったらハウリングせずにできるか。ここも頭を悩ませたポイントでした。

杉原：初期のころはほんと、まだビヨンといろいろと線が出ている状態でしたもんね。

本多：本当に苦労しました。

杉原：「子供たちを笑顔にする」っていうのがビジョンなのですか？　すごくいいですね。

本多：開発する時に思い描いたのが、聾学校の子供たちに使ってもらうことだったんです。だからキービジュアルも聾学校の子どもさんにモデルになってもらいました。聴覚に不自由を感じる人の数でいけば、おじいちゃんおばあちゃんのほうがビジネスになるんじゃないかっていう話も何度もあったのですが、やっぱり子どもの時にリズムを知っておくってことがめちゃくちゃ大事なので、子どもたちのために作りたいという気持ちが強かったんです。

杉原：未来を感じるね。今後、サードパーティーとか、これを使って何かビジネスをしたいっていう人たちも増えてくるのでは？

本多：前振りありがとうございます！（笑）　それがまさに今富士通でやっている研究の話にもなるんですけど、「Ontenna」って、今のものだとうるさいところに行くとずーっと振動してしまうんです。これを機械学習などを入れることによって特定の音を学習し、それに対してのみ振動するように研究をはじめています。

杉原：具体的にはどういう使い方を想定しているのかなど、興味が湧きますね。後編ではそのあたりをもう少し掘り下げて伺いたいです。

後編へつづく

本多達也（ほんだ・たつや）
1990年 香川県生まれ。大学時代は手話通訳のボランティアや手話サークルの立ち上げ、NPOの設立などを経験。人間の身体や感覚の拡張をテーマに、ろう者と協働して新しい音知覚装置の研究を行う。2014年度未踏スーパークリエータ。第21回AMD Award 新人賞。2016年度グッドデザイン賞特別賞。Forbes 30 Under 30 Asia 2017。Design Intelligence Award 2017 Excellcence賞。Forbes 30 UNDER 30 JAPAN 2019 特別賞。2019年度キッズデザイン賞　特別賞。2019年度グッドデザイン賞金賞。現在は、富士通株式会社にてOntennaプロジェクトリーダーを務めている。

人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。前編では、氏がこのAIの研究に至った経緯や実情について伺った。後編では、認知症の初期症状などを読み取るために、研究の成果がどう活かされているのか？　気になる具体例やそれがもたらす今後の展望を語っていただいた。編集長・杉原が描く未来との共通点とは？

複数の行動データから認知症傾向を読み取る

杉原：岡田さんのプロジェクトのひとつは、認知症の症状を読み取るというものですよね。

岡田：そうですね。老人ホームのどの場所でよく生活していたのかという行動のデータを取りながら、高齢者にロボットと対話してもらったりして、行動履歴・対話履歴といったデータを掛け合わせたものを分析すると、認知症予備軍といいますか、認知症傾向にある方がある程度判断できることを示しました。ただ、限られた人数での実験結果なので、結果の解釈には注意が必要です。

杉原：それは、（認知症の）進行度とかがわかるということですかね。

岡田：ある程度はそうですね。データがもっと増えてくれば、そういうことがより可能になってくると思います。ただ、難しいところが感情と一緒で、認知症かどうかの診断っていうのは、お医者さんがいろんな検査をした上で統合的に判断するものなので、認知症傾向を検出できるというと、言い過ぎになってしまうんです。僕らの研究での正解データは、認知症の傾向を測る簡易的なスクリーニングテストの点数ですから、あくまで行動データからAIがスクリーニングテストの結果の傾向を推定しました、ということになるんですよ。

「超高齢化社会こそ、テクノロジーにとっては多くのチャンスがある時代」だと常々言っている杉原。認知症検知のシステムには、これからを生き抜くヒントがあると感じている。

杉原：医療行為ではないってことですよね。あくまで予測、予防のアドバイス的な役割を果たすのが岡田さんの研究ということですね。

岡田：そうですね。「こういう可能性があるのですが、大丈夫ですか？」というようなことですね。あくまで診断ではなくて。

杉原： AIなので、どれだけデータを溜められるのかも重要ですよね。結構な日数のデータを採らないと所見というのはわかりませんし、行動に合わせてその変化を見ていくことも重要になりますよね。

岡田：まさに、そうですね。

杉原：取ったデータをAIで解析する出口としては、認知症に限らず何でもありなんですかね。

岡田：そういうことは言えると思います。ただ、自分が専門とする分野は、AIのなかでも機械学習というものと、あとはセンサーの時系列解析というものを合わせて、例えば認知症テストの点数の良し悪しを推定する技術までなんです。データの結果をどうやって活かしていくかということになると、いろんなものが考えられますが、ちゃんとしたサービスと考えると、まだ明確なものはできていないので、これからですね。

2019年、英・ケンブリッジ大学で開催された著名な国際学会“ACII”では、ジョージ・アンド・ショーン株式会社と岡田研究室の共著論文「ライフログを活用した認知症の早期検知」が採択された。

 熟練者から得たデータはいわば遺言みたいなもの!?

杉原：まだしっかりとした形になってはいなくても、いくつかお話していただけるプロジェクトはありますか？

岡田：例えば美容アドバイザーのコンサルティングのテクニックをモデル化するというフューチャー株式会社さんとの共同研究の試みにも携わっています。美容コンサルタントの第一人者で、非常に有名な小林照子さんというアドバイザーの方がいらっしゃいますが、小林さんは、クライアントに対して化粧の仕方だけでなく、これから何になりたくてどこに向かって行きたいのか？　というようなライフスタイルのヴィジョンまで聞き出したり、提案したりするんですね。その小林さんのアドバイスのオリジナルメソッドを、AIを通して後世に伝えていけないだろうかと、いま試行錯誤しているところです。

杉原：それは面白いですね。

岡田：それでお弟子さんと小林照子さんのコンサルの仕方を、音声やジェスチャー、目線などのデータとして読み取って、“上手なコンサル”のノウハウみたいなものを積み上げていこうとしています。

岡田氏は、「人間の内面を数値化、可視化できれば、これまでできなかった試みがいろいろできるようになる」という。

杉原：そのデータが溜まってくれば、小林照子さんがこれまで感覚的にやってきたものが、数値として見えるようになる。まさにテクノロジーでわかりやすく提示するということですね。

岡田：そういうことを実現していければいいですよね。

杉原：そういうデータの集積っていうものは、成功された方や、その道の第一人者の方々の「遺言」みたいな感じになりそうですね（笑）。

岡田：そういうものの最初の例みたいになったらいいですね（笑）。確かに自分の遺言になるようなものを後世に残したい気持ちはあります。

杉原：例えばウォルト・ディズニーがまだ生きていたら、彼の感覚的な部分や、言葉のチョイスだったりをAI化していくと考えたらすごいですよね。それが精度の高いものであれば、ウォルト・ディズニーが永遠にコンサルできるってことですよね（笑）。

岡田：何年経ってもアニメーターに厳しく的確な指示を出し続ける。そんなことができるかもしれません（笑）。

コミュニケーションスキルの問題点もデータから紐解く

杉原：自分の会社も先代がもう亡くなっていますが、会社経営って意味では、蘇ったらめちゃくちゃ嫌ですけどね（笑）。それはスポーツの世界にも活用できそうですね。

岡田：そうですね。チャンスがあれば、何か一緒に取り組めたら面白いですね。

杉原：例えば、過疎が進んでいる場所とかもそうですし、そうではなくても、いまは子供たちが自由にスポーツできる場所も少なくなってきています。そうすると良質の指導を受ける機会も減りますよね。

岡田：スポーツがのびのびできる場所は、確かに昔より少ないかもしれません。

杉原：そういった状況に対して、チュートリアル的な取り組みも可能になっていくということですね。極端に言えば、イチロー選手のメソッドがあって、そのメソッドを、AIを通して効率よく伝えていければ、イチローさんを知らない子供たちがイチローさんの弟子になるみたいな感じですね。

岡田：そうですね。例えば若い担い手の少ない伝統芸術の職人さんなどの技術やメソッドを、情報化して伝えていければ面白いかなと思います。アメリカの南カリフォルニア大の研究グループは、戦争の体験者の姿をVirtual Reality（VR）の技術で再現し、また体験に関する証言もコンピュータに蓄積することで、戦争の体験に関してVR上の体験者と実際に質問応答の対話ができるシステムを作りました。実際のミュージアムでこのシステムが展示されたようです。

杉原：確かに人々が防げるものを事前にアドバイスできれば、それを回避することができますよね。認知症もそのひとつですね。あとは先ほどの小林照子さんのような技術を紡いで継承していくようなもの。そのほかに岡田さんの研究が活かせるものは何かありますか？

岡田：あとはコミュニケーションのスキルですかね。例えばプレゼントとかで、説明の質を上げることにも活用できます。わかりやすい説明だったか？　流暢に喋れたか？　などをあらゆるデータから自動推定して、あなたのプレゼンのこの部分がちょっとわかりづらいみたいなものを割り出す研究もしています。

杉原：それは助かるなぁ（笑）。ゲーム感覚にもなりますね。自分で100%だと思ったとしても、例えば70%だと判定されれば、こことここは直さないといけないってなりますよね。

岡田：そこで逆に、AIに指摘されたところだけがうまくなってしまうこともありそうですけど（笑）。

杉原：それだけ様々な出口がある岡田さんの研究ですけど、一歩先の未来を考えたとき、どんな分野に一番応用されそうですか？

岡田：どれもまだ一歩足りないんですが、やはり高齢者関連は大事だと感じています。例えば老人ホームを利用している高齢者が、実際に普段はどんな生活をしているかというライフログを、ご家族がまとめて見たいというニーズは高まっています。推定するだけじゃなくて、そういう行動を可視化するだけで、様々な対応ができるようになりますから、高齢者自体のライフスタイルの質も、その家族の気持ちも、全然変わりますよね。

杉原：確かにそうですね。僕も超高齢化社会は逆にチャンスだと感じていますから、これから面白いことがいろいろできる未来がやってくると思っているんですよ。

岡田：僕もこういう時代だからこそ楽しんで、やはり若いときのテンションやパッションを持ったまま、年老いて死んでいきたいと思っています（笑）。そのために若い頃の感覚・新鮮さを忘れないように心がけていますし、社会的にもそんな自分の思いや経験を行動として伝承できる技術を作りたいという思いが、常にあります。

杉原：そういう未来は、自分で作るしかないですね。

岡田：待っていても歳はとっちゃいますからね（笑）。

前編はこちら

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。