センシング技術を組み込んだスニーカーを履くことで、自分の歩行や走りをスマートフォンやタブレット上で簡単に計測・分析できるスマートシューズ「ORPHE TRACK 」。企画・開発したのは株式会社no new folk studioの菊川裕也氏だ。「楽器のような靴を作りたい」という発想から生まれたスマートシューズが、いかにプロダクトとして成熟していったのか。アメリカのクラウドファンディングサイトで$110,000以上の資金を調達し、2016年に一般販売されるまでの経緯と、「ORPHE」シリーズに込められた菊川氏の哲学を、編集長・杉原が伺った。

楽器づくりから始まった
「ORPHE」シリーズ

杉原：実は僕、菊川さんの講演会には何度も行っています。「ORPHE」もかなり早い段階で注目していました。まずは、開発のきっかけからお伺いしたのですが。

菊川：そもそも大学は文系で、どちらかというと商学部よりも軽音楽部に通っていたような大学生活でした。音楽が好きだったのですが、普通の音楽がやりたいわけではなく、楽器から作りたかったんですね。それで、首都大学東京の大学院で芸術工学を専攻して、単位取得をした頃にはこの会社を立ち上げていました。大学院の時に一番時間をかけて作ったのが、目の見えないユーザーが使える電子楽器。ユニットを押したり、つかんだりすることで音が鳴る楽器です。直感的なインターフェースというと電子楽器やDJが思い浮かびますが、DJといっても、音とジェスチャーが本当に１対１で対応しているかわからないじゃないですか？

杉原：確かにそうですね。DJは直感的なインタラクションというけれど、レコードを回すマネだけをしているかもしれない。

菊川：テクノロジーの進化によってインターフェースのデザインの幅が広がって、時代的にも音とジェスチャーの分離が激しくなってきていたので、逆にそれがつながる意味を考えていました。その後、サントリーさんの「響」というウイスキーのプロモーションで、楽器になるコップを作りました。金細工の部分が静電容量センサーになっていて、グラスを持ったらそれがわかる、加速度センサーでグラスの傾きがわかる、唇に触れたらわかる。飲んでいる行為が合奏になるのです。要はもともと知っているものが楽器になると、「これ、飲むものですよ」と言わなくても、人は勝手に飲むんです。

杉原：飲む時にコップを持つというのは当たり前の行為だから、使い方を教えるコミュニケーションやらなくて済んだ、ということですね。

菊川：まさにそうです。どれだけ直感的に作ったとしても、新しいものだったら、説明しなきゃいけない。そこで、真新しい楽器を作るよりは、すでにあるものが楽器になっていくことをやったほうが、あらゆる人を演奏者に変えられると思いました。靴は本当に誰でも履くので、靴自体が楽器になれば、普段みんなが意識していない、「歩く」「走る」が演奏行為になると思ったんです。

杉原：その発想は面白い！

菊川：最初はシンプルにタップダンスのシューズを電子化することを考えていました。靴は買ってきて、そこにセンサーを付けて、みたいなことを１人で夜な夜なやっていたら、じょじょに「面白い」「製品化したら？」と言ってくれる人が出てきて、一部を出資してもらってクラウドファンディングまで持っていくことになった。それが会社設立の経緯です。

スマートシューズ市場が
思ったよりなかった

杉原：これ、出た時は覚えていますよ。すごく欲しいと思いました。

菊川：ありがとうございます。この時点ではあまりモノ作りの制約を抱えていなかったので、こういうものがあったら楽しいよねという素直な気持ちに基づいて作られています。

杉原：濁りがないですよね。僕も車いすが最初に出来た時の喜びはいまだに色あせないのですが、今モビリティを作るときには、「これ量産は無理だな」とか、「ここをちょっと変えなきゃダメだな」とか、少しずつ加点より減点になっていく。そこを、いかに食い止めるかが課題ですよね。

菊川：本当にそうですね。とはいえ、ちゃんと量産して販売するところまで、それほどお金をかけずに達成できたことは、今でもノウハウとして引き継がれています。スマートシューズ系で大風呂敷を広げたところは、わりと出す前に破綻したりしていますから。

杉原：最初のスマートシューズの時代を振り返った時に、今も残っている考え方やテクノロジーというのは、何かありますか。量産のノウハウと、あとは？

菊川：いや、全部残ってはいます。プロダクトとして成立しやすい部分を抽出して、製品になっているのですが、成立しにくい部分も別に捨てたつもりはなくて、多分戻ってくると思います。ただ、思ったよりもモノ作りの世界の発展がスローでしたね。スマートシューズに関しては2014年くらいから考えているから、クラウドファンディングが終わる頃には、ランニング系のスマートシューズなんて世の中で当たり前になっているはずだと思っていました。だから、もっとニッチな、ダンスに特化したものでないと売れないと思っていたんです。でも、2020年でも、全然当たり前になっていなかった。

杉原：わかりますね。オリパラが決まった時に、大企業もスタートアップもみんな色々な風呂敷を広げたじゃないですか？　でも、2020年になった今、予想よりはプロダクトが出てこないですもんね。想像以上にあまり変わっていないというのが自分の中の認識です。

菊川：打ち出すことはできても、実際に新規性が高いことをやる場合って、当然障害があるわけじゃないですか？　それをちゃんとやりきる人は、実はかなり少ないですよね。

ランナーのためのシューズを
新しく開発

杉原：2015年に発表して「Indiegogo」（サンフランシスコを拠点にするクラウドファンディングサイト）で資金調達したんですよね？

菊川：そうです。それをもとに製品を開発することができました。その先の話をすると、僕らの場合、一般のコンシューマにどんどん市場が広がっていったというよりも、むしろ様々な場でコンテンツとして使ってもらえたことが大きかったですね。例えばAKB48さんや乃木坂46さんのライブに使ってもらったり、21世紀美術館での展示や、TVCMにも使ってもらったり。ちょっと目新しいものとして話題になったことで、ほかの仕事にもつながっていきました。

杉原：2015、2016年からプロモーションをやってきて、今の活動は、会社としてはどういう主軸になっていますか？

菊川：主軸はスマートランニングシューズの開発ですね。アプリをオープンにするというのは最初から思想的にはあったので、３年間くらい、SDKを無償配布して、大学とかに使ってもらったりしていました。そういう中で、為末大さんとも出会って、「ORPHE」を最初に見せた瞬間に、「子どものランニングの教育に使いたい」と言ってもらえたんです。パンと踏んだ瞬間に音と光が出るので、しかも、もともとタップダンスの動きを模していたこともあって、かかとから着地するのと爪先で着地するのでは音色が変わるようになっていた。IoTというとデータだけ貯まっていけばあとはなんとかなる、みたいなところに行きがちですが、僕たちの場合はデータを録るというのと、即自的なフィードバックの両方をやっています。フォームを変えるみたいな、その人にとって直接ベネフィットがあるようなタイプのことが得意だなと思っていたのと、為末さんというのもあったので、そこでランニングフォームを見えるようにして、「ORPHE TRACK」にたどりついたという形ですね。

ランニングフォームを分析できるスマートフットウェア「ORPHE TRACK」。スマホアプリと連動し、今まで大がかりな設備でしか計測できなかった「着地」「プロネーション」「左右バランス」も解析できる。2019年発売。

引用元　https://nonewfolk.shop/

杉原：やっぱりコミュニケーションというか、伝え方にすごくこだわっていますね。

菊川：そうでしょうね。もともと会社自体は表現行為だと思ってやっているので。

杉原：うん、うん。

菊川：とはいえ、2016年に発売した「ORPHE ONE」はわりと漠然とやりたいことをやっているのに対して、「ORPHE TRACK」という世代では、きちんとこの技術が欲しい人たちに伝えることを意識しています。いろいろ調査したのですが、特にランナーの中でも、着地は、なかなか変えられないんです。勉強するけれど、そもそも自分がどうなっているかよくわからないというのがあって。

杉原：それを音で知らせてくれたり、光で知らせてくれたりしたら、フォームの直し方がわかりやすいですよね。

菊川：はい、全然違いますね。あとはセンサーと靴を切り離したというのは大きいです。前のモデルは全部スマートシューズだったので、一部が壊れたら全部替えないといけなかったのですが、ORPHE TRACKではセンサーと靴を分離しました。また、センサーとしては同じような仕組みですが、中のアルゴリズムはめちゃくちゃ進化させていて、履いているだけで歩幅や速度や角度など、ひとつひとつのデータを切り出せるようなアルゴリズムを社内で開発しています。

杉原：すごいな、このアルゴリズムは。結構変数が多いですよね？

「ORPHE」のアプリUIを見て、驚く杉原編集長。データを見ながら練習することでランナーの着地改善なども容易になる

菊川：センシング自体はシンプルで、アウトソールの真ん中に３軸加速度センサとジャイロセンサを置くというだけです。でも、そのほうがスケールしやすい。で、それを料理するアルゴリズムの部分をがんばって開発しているという感じです。

＜後編へ続く＞

菊川裕也（きくかわ・ゆうや）
1985年、鳥取県出身。一橋大学 商学部 経営学科を卒業後、首都大学東京大学院芸術工学研究科に進学。音楽演奏用のインターフェース研究・開発を行う。視覚的インターフェース「PocoPoco」が、アジアデジタルアート大賞優秀賞を受賞。その後、スマートシューズ「ORPHE ONE」を開発し、2014年10月にno new folk studioを設立。クラウドファンディングでの資金調達に成功し、「ORPHE ONE」を量産化する。2019年7月よりランナー向けシューズ「ORPHE TRACK」を発売。

人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原：もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか？

岡田：そうですね。人工知能を基本に、修士、学士と約５年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。　例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原：今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です（笑）。

岡田：いや、僕自身は（内面を予測することは）できないですよ（笑）。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原：ならよかったです（笑）。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか？

岡田：そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原：もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか？

岡田：最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが（笑）、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原：岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか？

岡田：もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社（現株式会社）と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle（ビブル）を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原：表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね（笑）。

岡田：そう言われれば、そうかもしれないですね。

杉原：僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田：そう言っていただけるとありがたいです（笑）。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原：世界的にはどうなんですか？

岡田：コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原：確かにそういう面接は、実際にあるようですね。

岡田：面接で一言、二言答えたことから推測して、その人（のスキル）を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原：なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか？

岡田：そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか？　というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか？　というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原：まず、ちゃんとしたデータを取ることが難しいんですね。

岡田：正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原：自分でも自分の感情が一番わからないこともありますよね（笑）。

岡田：そういうものなんですよ（笑）。

杉原：以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか？

岡田：それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね（笑）。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原：確かにそうですね。

岡田：だから、自然にそういうデータをどうやったら取れるのか？　っていうのは自分たちの研究の大きな課題ですね。

杉原：ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田：そうですよね、スマートウォッチとかもその一例だと思います。

杉原： スマートウォッチが出た当初はすぐに買いましたけど、３日後にはこれまで使っていた普通の時計が恋しくなってしまいました（笑）。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田：そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。