人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。前編では、氏がこのAIの研究に至った経緯や実情について伺った。後編では、認知症の初期症状などを読み取るために、研究の成果がどう活かされているのか？　気になる具体例やそれがもたらす今後の展望を語っていただいた。編集長・杉原が描く未来との共通点とは？

複数の行動データから認知症傾向を読み取る

杉原：岡田さんのプロジェクトのひとつは、認知症の症状を読み取るというものですよね。

岡田：そうですね。老人ホームのどの場所でよく生活していたのかという行動のデータを取りながら、高齢者にロボットと対話してもらったりして、行動履歴・対話履歴といったデータを掛け合わせたものを分析すると、認知症予備軍といいますか、認知症傾向にある方がある程度判断できることを示しました。ただ、限られた人数での実験結果なので、結果の解釈には注意が必要です。

杉原：それは、（認知症の）進行度とかがわかるということですかね。

岡田：ある程度はそうですね。データがもっと増えてくれば、そういうことがより可能になってくると思います。ただ、難しいところが感情と一緒で、認知症かどうかの診断っていうのは、お医者さんがいろんな検査をした上で統合的に判断するものなので、認知症傾向を検出できるというと、言い過ぎになってしまうんです。僕らの研究での正解データは、認知症の傾向を測る簡易的なスクリーニングテストの点数ですから、あくまで行動データからAIがスクリーニングテストの結果の傾向を推定しました、ということになるんですよ。

「超高齢化社会こそ、テクノロジーにとっては多くのチャンスがある時代」だと常々言っている杉原。認知症検知のシステムには、これからを生き抜くヒントがあると感じている。

杉原：医療行為ではないってことですよね。あくまで予測、予防のアドバイス的な役割を果たすのが岡田さんの研究ということですね。

岡田：そうですね。「こういう可能性があるのですが、大丈夫ですか？」というようなことですね。あくまで診断ではなくて。

杉原： AIなので、どれだけデータを溜められるのかも重要ですよね。結構な日数のデータを採らないと所見というのはわかりませんし、行動に合わせてその変化を見ていくことも重要になりますよね。

岡田：まさに、そうですね。

杉原：取ったデータをAIで解析する出口としては、認知症に限らず何でもありなんですかね。

岡田：そういうことは言えると思います。ただ、自分が専門とする分野は、AIのなかでも機械学習というものと、あとはセンサーの時系列解析というものを合わせて、例えば認知症テストの点数の良し悪しを推定する技術までなんです。データの結果をどうやって活かしていくかということになると、いろんなものが考えられますが、ちゃんとしたサービスと考えると、まだ明確なものはできていないので、これからですね。

2019年、英・ケンブリッジ大学で開催された著名な国際学会“ACII”では、ジョージ・アンド・ショーン株式会社と岡田研究室の共著論文「ライフログを活用した認知症の早期検知」が採択された。

 熟練者から得たデータはいわば遺言みたいなもの!?

杉原：まだしっかりとした形になってはいなくても、いくつかお話していただけるプロジェクトはありますか？

岡田：例えば美容アドバイザーのコンサルティングのテクニックをモデル化するというフューチャー株式会社さんとの共同研究の試みにも携わっています。美容コンサルタントの第一人者で、非常に有名な小林照子さんというアドバイザーの方がいらっしゃいますが、小林さんは、クライアントに対して化粧の仕方だけでなく、これから何になりたくてどこに向かって行きたいのか？　というようなライフスタイルのヴィジョンまで聞き出したり、提案したりするんですね。その小林さんのアドバイスのオリジナルメソッドを、AIを通して後世に伝えていけないだろうかと、いま試行錯誤しているところです。

杉原：それは面白いですね。

岡田：それでお弟子さんと小林照子さんのコンサルの仕方を、音声やジェスチャー、目線などのデータとして読み取って、“上手なコンサル”のノウハウみたいなものを積み上げていこうとしています。

岡田氏は、「人間の内面を数値化、可視化できれば、これまでできなかった試みがいろいろできるようになる」という。

杉原：そのデータが溜まってくれば、小林照子さんがこれまで感覚的にやってきたものが、数値として見えるようになる。まさにテクノロジーでわかりやすく提示するということですね。

岡田：そういうことを実現していければいいですよね。

杉原：そういうデータの集積っていうものは、成功された方や、その道の第一人者の方々の「遺言」みたいな感じになりそうですね（笑）。

岡田：そういうものの最初の例みたいになったらいいですね（笑）。確かに自分の遺言になるようなものを後世に残したい気持ちはあります。

杉原：例えばウォルト・ディズニーがまだ生きていたら、彼の感覚的な部分や、言葉のチョイスだったりをAI化していくと考えたらすごいですよね。それが精度の高いものであれば、ウォルト・ディズニーが永遠にコンサルできるってことですよね（笑）。

岡田：何年経ってもアニメーターに厳しく的確な指示を出し続ける。そんなことができるかもしれません（笑）。

コミュニケーションスキルの問題点もデータから紐解く

杉原：自分の会社も先代がもう亡くなっていますが、会社経営って意味では、蘇ったらめちゃくちゃ嫌ですけどね（笑）。それはスポーツの世界にも活用できそうですね。

岡田：そうですね。チャンスがあれば、何か一緒に取り組めたら面白いですね。

杉原：例えば、過疎が進んでいる場所とかもそうですし、そうではなくても、いまは子供たちが自由にスポーツできる場所も少なくなってきています。そうすると良質の指導を受ける機会も減りますよね。

岡田：スポーツがのびのびできる場所は、確かに昔より少ないかもしれません。

杉原：そういった状況に対して、チュートリアル的な取り組みも可能になっていくということですね。極端に言えば、イチロー選手のメソッドがあって、そのメソッドを、AIを通して効率よく伝えていければ、イチローさんを知らない子供たちがイチローさんの弟子になるみたいな感じですね。

岡田：そうですね。例えば若い担い手の少ない伝統芸術の職人さんなどの技術やメソッドを、情報化して伝えていければ面白いかなと思います。アメリカの南カリフォルニア大の研究グループは、戦争の体験者の姿をVirtual Reality（VR）の技術で再現し、また体験に関する証言もコンピュータに蓄積することで、戦争の体験に関してVR上の体験者と実際に質問応答の対話ができるシステムを作りました。実際のミュージアムでこのシステムが展示されたようです。

杉原：確かに人々が防げるものを事前にアドバイスできれば、それを回避することができますよね。認知症もそのひとつですね。あとは先ほどの小林照子さんのような技術を紡いで継承していくようなもの。そのほかに岡田さんの研究が活かせるものは何かありますか？

岡田：あとはコミュニケーションのスキルですかね。例えばプレゼントとかで、説明の質を上げることにも活用できます。わかりやすい説明だったか？　流暢に喋れたか？　などをあらゆるデータから自動推定して、あなたのプレゼンのこの部分がちょっとわかりづらいみたいなものを割り出す研究もしています。

杉原：それは助かるなぁ（笑）。ゲーム感覚にもなりますね。自分で100%だと思ったとしても、例えば70%だと判定されれば、こことここは直さないといけないってなりますよね。

岡田：そこで逆に、AIに指摘されたところだけがうまくなってしまうこともありそうですけど（笑）。

杉原：それだけ様々な出口がある岡田さんの研究ですけど、一歩先の未来を考えたとき、どんな分野に一番応用されそうですか？

岡田：どれもまだ一歩足りないんですが、やはり高齢者関連は大事だと感じています。例えば老人ホームを利用している高齢者が、実際に普段はどんな生活をしているかというライフログを、ご家族がまとめて見たいというニーズは高まっています。推定するだけじゃなくて、そういう行動を可視化するだけで、様々な対応ができるようになりますから、高齢者自体のライフスタイルの質も、その家族の気持ちも、全然変わりますよね。

杉原：確かにそうですね。僕も超高齢化社会は逆にチャンスだと感じていますから、これから面白いことがいろいろできる未来がやってくると思っているんですよ。

岡田：僕もこういう時代だからこそ楽しんで、やはり若いときのテンションやパッションを持ったまま、年老いて死んでいきたいと思っています（笑）。そのために若い頃の感覚・新鮮さを忘れないように心がけていますし、社会的にもそんな自分の思いや経験を行動として伝承できる技術を作りたいという思いが、常にあります。

杉原：そういう未来は、自分で作るしかないですね。

岡田：待っていても歳はとっちゃいますからね（笑）。

前編はこちら

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

センシング技術を組み込んだスニーカーを履くことで、自分の歩行や走りをスマートフォンやタブレット上で簡単に計測・分析できるスマートシューズ「ORPHE TRACK 」。企画・開発したのは株式会社no new folk studioの菊川裕也氏だ。「楽器のような靴を作りたい」という発想から生まれたスマートシューズが、いかにプロダクトとして成熟していったのか。アメリカのクラウドファンディングサイトで$110,000以上の資金を調達し、2016年に一般販売されるまでの経緯と、「ORPHE」シリーズに込められた菊川氏の哲学を、編集長・杉原が伺った。

楽器づくりから始まった
「ORPHE」シリーズ

杉原：実は僕、菊川さんの講演会には何度も行っています。「ORPHE」もかなり早い段階で注目していました。まずは、開発のきっかけからお伺いしたのですが。

菊川：そもそも大学は文系で、どちらかというと商学部よりも軽音楽部に通っていたような大学生活でした。音楽が好きだったのですが、普通の音楽がやりたいわけではなく、楽器から作りたかったんですね。それで、首都大学東京の大学院で芸術工学を専攻して、単位取得をした頃にはこの会社を立ち上げていました。大学院の時に一番時間をかけて作ったのが、目の見えないユーザーが使える電子楽器。ユニットを押したり、つかんだりすることで音が鳴る楽器です。直感的なインターフェースというと電子楽器やDJが思い浮かびますが、DJといっても、音とジェスチャーが本当に１対１で対応しているかわからないじゃないですか？

杉原：確かにそうですね。DJは直感的なインタラクションというけれど、レコードを回すマネだけをしているかもしれない。

菊川：テクノロジーの進化によってインターフェースのデザインの幅が広がって、時代的にも音とジェスチャーの分離が激しくなってきていたので、逆にそれがつながる意味を考えていました。その後、サントリーさんの「響」というウイスキーのプロモーションで、楽器になるコップを作りました。金細工の部分が静電容量センサーになっていて、グラスを持ったらそれがわかる、加速度センサーでグラスの傾きがわかる、唇に触れたらわかる。飲んでいる行為が合奏になるのです。要はもともと知っているものが楽器になると、「これ、飲むものですよ」と言わなくても、人は勝手に飲むんです。

杉原：飲む時にコップを持つというのは当たり前の行為だから、使い方を教えるコミュニケーションやらなくて済んだ、ということですね。

菊川：まさにそうです。どれだけ直感的に作ったとしても、新しいものだったら、説明しなきゃいけない。そこで、真新しい楽器を作るよりは、すでにあるものが楽器になっていくことをやったほうが、あらゆる人を演奏者に変えられると思いました。靴は本当に誰でも履くので、靴自体が楽器になれば、普段みんなが意識していない、「歩く」「走る」が演奏行為になると思ったんです。

杉原：その発想は面白い！

菊川：最初はシンプルにタップダンスのシューズを電子化することを考えていました。靴は買ってきて、そこにセンサーを付けて、みたいなことを１人で夜な夜なやっていたら、じょじょに「面白い」「製品化したら？」と言ってくれる人が出てきて、一部を出資してもらってクラウドファンディングまで持っていくことになった。それが会社設立の経緯です。

スマートシューズ市場が
思ったよりなかった

杉原：これ、出た時は覚えていますよ。すごく欲しいと思いました。

菊川：ありがとうございます。この時点ではあまりモノ作りの制約を抱えていなかったので、こういうものがあったら楽しいよねという素直な気持ちに基づいて作られています。

杉原：濁りがないですよね。僕も車いすが最初に出来た時の喜びはいまだに色あせないのですが、今モビリティを作るときには、「これ量産は無理だな」とか、「ここをちょっと変えなきゃダメだな」とか、少しずつ加点より減点になっていく。そこを、いかに食い止めるかが課題ですよね。

菊川：本当にそうですね。とはいえ、ちゃんと量産して販売するところまで、それほどお金をかけずに達成できたことは、今でもノウハウとして引き継がれています。スマートシューズ系で大風呂敷を広げたところは、わりと出す前に破綻したりしていますから。

杉原：最初のスマートシューズの時代を振り返った時に、今も残っている考え方やテクノロジーというのは、何かありますか。量産のノウハウと、あとは？

菊川：いや、全部残ってはいます。プロダクトとして成立しやすい部分を抽出して、製品になっているのですが、成立しにくい部分も別に捨てたつもりはなくて、多分戻ってくると思います。ただ、思ったよりもモノ作りの世界の発展がスローでしたね。スマートシューズに関しては2014年くらいから考えているから、クラウドファンディングが終わる頃には、ランニング系のスマートシューズなんて世の中で当たり前になっているはずだと思っていました。だから、もっとニッチな、ダンスに特化したものでないと売れないと思っていたんです。でも、2020年でも、全然当たり前になっていなかった。

杉原：わかりますね。オリパラが決まった時に、大企業もスタートアップもみんな色々な風呂敷を広げたじゃないですか？　でも、2020年になった今、予想よりはプロダクトが出てこないですもんね。想像以上にあまり変わっていないというのが自分の中の認識です。

菊川：打ち出すことはできても、実際に新規性が高いことをやる場合って、当然障害があるわけじゃないですか？　それをちゃんとやりきる人は、実はかなり少ないですよね。

ランナーのためのシューズを
新しく開発

杉原：2015年に発表して「Indiegogo」（サンフランシスコを拠点にするクラウドファンディングサイト）で資金調達したんですよね？

菊川：そうです。それをもとに製品を開発することができました。その先の話をすると、僕らの場合、一般のコンシューマにどんどん市場が広がっていったというよりも、むしろ様々な場でコンテンツとして使ってもらえたことが大きかったですね。例えばAKB48さんや乃木坂46さんのライブに使ってもらったり、21世紀美術館での展示や、TVCMにも使ってもらったり。ちょっと目新しいものとして話題になったことで、ほかの仕事にもつながっていきました。

杉原：2015、2016年からプロモーションをやってきて、今の活動は、会社としてはどういう主軸になっていますか？

菊川：主軸はスマートランニングシューズの開発ですね。アプリをオープンにするというのは最初から思想的にはあったので、３年間くらい、SDKを無償配布して、大学とかに使ってもらったりしていました。そういう中で、為末大さんとも出会って、「ORPHE」を最初に見せた瞬間に、「子どものランニングの教育に使いたい」と言ってもらえたんです。パンと踏んだ瞬間に音と光が出るので、しかも、もともとタップダンスの動きを模していたこともあって、かかとから着地するのと爪先で着地するのでは音色が変わるようになっていた。IoTというとデータだけ貯まっていけばあとはなんとかなる、みたいなところに行きがちですが、僕たちの場合はデータを録るというのと、即自的なフィードバックの両方をやっています。フォームを変えるみたいな、その人にとって直接ベネフィットがあるようなタイプのことが得意だなと思っていたのと、為末さんというのもあったので、そこでランニングフォームを見えるようにして、「ORPHE TRACK」にたどりついたという形ですね。

ランニングフォームを分析できるスマートフットウェア「ORPHE TRACK」。スマホアプリと連動し、今まで大がかりな設備でしか計測できなかった「着地」「プロネーション」「左右バランス」も解析できる。2019年発売。

引用元　https://nonewfolk.shop/

杉原：やっぱりコミュニケーションというか、伝え方にすごくこだわっていますね。

菊川：そうでしょうね。もともと会社自体は表現行為だと思ってやっているので。

杉原：うん、うん。

菊川：とはいえ、2016年に発売した「ORPHE ONE」はわりと漠然とやりたいことをやっているのに対して、「ORPHE TRACK」という世代では、きちんとこの技術が欲しい人たちに伝えることを意識しています。いろいろ調査したのですが、特にランナーの中でも、着地は、なかなか変えられないんです。勉強するけれど、そもそも自分がどうなっているかよくわからないというのがあって。

杉原：それを音で知らせてくれたり、光で知らせてくれたりしたら、フォームの直し方がわかりやすいですよね。

菊川：はい、全然違いますね。あとはセンサーと靴を切り離したというのは大きいです。前のモデルは全部スマートシューズだったので、一部が壊れたら全部替えないといけなかったのですが、ORPHE TRACKではセンサーと靴を分離しました。また、センサーとしては同じような仕組みですが、中のアルゴリズムはめちゃくちゃ進化させていて、履いているだけで歩幅や速度や角度など、ひとつひとつのデータを切り出せるようなアルゴリズムを社内で開発しています。

杉原：すごいな、このアルゴリズムは。結構変数が多いですよね？

「ORPHE」のアプリUIを見て、驚く杉原編集長。データを見ながら練習することでランナーの着地改善なども容易になる

菊川：センシング自体はシンプルで、アウトソールの真ん中に３軸加速度センサとジャイロセンサを置くというだけです。でも、そのほうがスケールしやすい。で、それを料理するアルゴリズムの部分をがんばって開発しているという感じです。

＜後編へ続く＞

菊川裕也（きくかわ・ゆうや）
1985年、鳥取県出身。一橋大学 商学部 経営学科を卒業後、首都大学東京大学院芸術工学研究科に進学。音楽演奏用のインターフェース研究・開発を行う。視覚的インターフェース「PocoPoco」が、アジアデジタルアート大賞優秀賞を受賞。その後、スマートシューズ「ORPHE ONE」を開発し、2014年10月にno new folk studioを設立。クラウドファンディングでの資金調達に成功し、「ORPHE ONE」を量産化する。2019年7月よりランナー向けシューズ「ORPHE TRACK」を発売。