人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原：もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか？

岡田：そうですね。人工知能を基本に、修士、学士と約５年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。　例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原：今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です（笑）。

岡田：いや、僕自身は（内面を予測することは）できないですよ（笑）。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原：ならよかったです（笑）。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか？

岡田：そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原：もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか？

岡田：最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが（笑）、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原：岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか？

岡田：もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社（現株式会社）と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle（ビブル）を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原：表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね（笑）。

岡田：そう言われれば、そうかもしれないですね。

杉原：僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田：そう言っていただけるとありがたいです（笑）。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原：世界的にはどうなんですか？

岡田：コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原：確かにそういう面接は、実際にあるようですね。

岡田：面接で一言、二言答えたことから推測して、その人（のスキル）を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原：なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか？

岡田：そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか？　というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか？　というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原：まず、ちゃんとしたデータを取ることが難しいんですね。

岡田：正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原：自分でも自分の感情が一番わからないこともありますよね（笑）。

岡田：そういうものなんですよ（笑）。

杉原：以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか？

岡田：それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね（笑）。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原：確かにそうですね。

岡田：だから、自然にそういうデータをどうやったら取れるのか？　っていうのは自分たちの研究の大きな課題ですね。

杉原：ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田：そうですよね、スマートウォッチとかもその一例だと思います。

杉原： スマートウォッチが出た当初はすぐに買いましたけど、３日後にはこれまで使っていた普通の時計が恋しくなってしまいました（笑）。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田：そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

1974年以来、高橋尚子、野口みずきといったマラソンの五輪金メダリストを始めとし、多くのトップアスリートのシューズを作り続けてきた、三村仁司氏。2004年には『現代の名工』にも選ばれ、2009年には自身の工房『M.Lab（ミムラボ）』を設立。現在に至るまで、シューズ作り一筋だ。身体において“第2の心臓”とも言われる足を見続けて44年。磨き続けた感性は確信へと変わり、トップアスリートのみならず、足に悩みを抱える人々を文字通り足元から支えてきた。そんな三村氏に、パラリンピックアスリートのギア開発にも関わるHERO X編集長の杉原行里（あんり）が、話を伺った。

履く本人が自分の足を知らない

杉原：僕のRDSという会社は、元々レース用のマシンを作ったりとか自動車の先行開発を手がけたりする会社なのですが、そこにパラアルペンスキーのチェアスキーヤーたちが訪れて、ギアが身体にフィットすることの重要性を説いていたんですね。なぜ彼らが僕の所に来たのかというと、2013年に、個人所有を目的とした、使用者に合った松葉杖を開発したことがきっかけだったんです。従来の松葉杖は予め決められたサイズを自分で調整する、人がモノに合わせるのが一般的だった。それに対して僕らが考えたのはセミオーダー。ユーザーさんの手の形状とか、脇下から手までの距離、身長を考慮して、その人の為の松葉杖を開発したんです。それまで僕たちは福祉に関わる部分はやっていなかったんですけど、調べていくと、身体に合ったものを使うという考えがそこまで浸透していないのかなと。

三村：そうですね。靴も同じですが、履く本人が自分の足を知らないということです。だからどんな靴が良いか分からない。各シューズメーカーさんから、「これはウチが開発した良いシューズだから履いてください」と勧められる。それを良いと思って履く。でも、自分には合っていなくて、疲れやすくなったり、故障したりする。そんなことは往々にしてあるんです。履いてくださいと言うなら、メーカーも責任を持って対応しないといけないでしょう。それができてないわけです。

杉原：僕らは（車いすやチェアスキーヤーの）お尻の計測とかをしていますが、身体をデジタル計測するというのは少ないように感じられます。どうして皆、自分の身体を知ろうとしないのかな、と。

三村：今は3D計測やコンピュータ解析が発達してますから、だれでも測定自体はできるんです。ただ、この選手の為にはこういう靴が良い、足のここが悪い、弱いから調整という提案まではコンピュータはしてくれない。それは人間が判断するわけです。ただ、それをやっていないから、足の故障が増えるわけです。

「日本は整形靴の分野が遅れています」

杉原：例えば、アメリカやドイツではドクターが足を見るじゃないですか。ドイツの展示会ではすでに２０年前から足にフィットしたシューズの重要性を皆が説いていたと聞いています。でも日本に帰ってくると、皆、既成品を買って履いている。

三村：日本は整形靴の分野が遅れてますよね。先日もそのあたりを教えて欲しいということで、整形外科の学会でお話ししてくださいと言われたんです。なんで私がそんな偉い先生の集まりで喋らないといけないのか。何か変わるなら良いけれど、変わらないなら行っても行かなくても一緒ですよ、と。

杉原：医療に関して言えば、予防医療とか、予防治療という領域がありますね。

三村：それはシューズで言えばインナーソールにあたりますね。『アライメント』といって足の形態を計測して、アーチ（土踏まず）を上げるとか、外足部を上げるとか。感性で判断していく。ただ、それができる人は日本では少ない。整形外科ではゼロです。というのは、整形外科の先生はアライメントなんか測らないから。見るだけ。良くて石膏で足型を取るぐらいで、そこまでやる人も少ない。まともに足の骨格なんて測らないんですよ。それで、尻拭いが私の所に来る。高齢者が多いんですけどね。「全然靴が合わない。足が痛くならないようなインナーソールを作って欲しい」と。そんなことも多いですよ。

杉原：最近だと3Dスキャナーやコンピュータによる身体の計測、解析も一般的になってきています。ミムラボでは、足部の計測はどのように行っていくんですか？

三村：まず足型を取りますよね。それからアライメントと、腰から下のバランスを測ります。

杉原：それは3Dスキャナーですか？

三村：いや、それは治工具で取る。定規とかメジャーです。その後は3Dスキャナーで足裏を測ったり、ワイズ（足幅）を測ったり。それを総合して、足の弱点を見つける。それは選手も一般の方も同じです。

けれども、計測して足のデータが出ても、どう判断するかの根拠が無いといけない。例えばアーチが低い人。その場合、アーチを何ミリ上げたらその選手にとって良いのか。それは整形外科の根拠の無い判断からきていることも多いです。「足のこの部分がこういう状態だから、この選手はアーチを約3ミリ上げる」といった具合に理由があるなら良い。理由がはっきりしないのに、「3ミリ上げましょう」、「5ミリ上げましょう」。そんなことで足に合うわけがない。それに、その先生がインナーソールを製作するのではなくて、装具士さんが作るわけです。でも、装具士さんも、本人の足を見ていない。整形の先生の言われた通りに作るだけ。そんなことで良いものができるはずがないです。靴で直す範囲が多い中で、整形外科の先生たちは靴を作れるんでしょうか？　それは無理ですよ。

杉原：なら、例えば、医師と装具士の連携が図れるような仕組みができたら、良いものが生まれる可能性はあると？

三村：そうですね。3Dスキャナーも、左右の力の掛け具合によって計測データが全然変わってくる。「左右均等に計測器に乗ってくれ」と言っても、殆どの場合利き足に体重が乗るんです。そしたら左右でデータが変わってくる。

杉原：人の重心は皆違いますからね。それはやはり左右均等が一番ベストだと。それを靴で解決していくのがミムラボということですね？

三村：そうです。足の着地から蹴り出しまで左右均等でいくように、ということを大事にしているんです。

杉原：僕らは、歩くことやシューズを作ることは素人ですけど、“歩き方”って人から教わらないじゃないですか。意外に“走り方”は教わるんですけど。

三村：それは、そもそも教える人も分かっていないから、だと思いますよ。

「感性でITには負けたくないんです」

杉原：とはいえ、これから高齢社会を迎える上で、歩くことの大切さも問われているんじゃないでしょうか？

三村：そうですね。今まで寝たきりの老夫婦が、私が作ったシューズを履いてから歩くことができるようになったという例もあります。「おかげで外に出られるようになった」という手紙も頂きました。

杉原：それは靴の違いなんでしょうか。

三村：そうでしょうね。「この靴がなければ生活できない」と。

杉原：凄いですね。歩くことは、一番と決めつけてはいけないのかもしれないけど、人間にとって非常に大事な行為じゃないですか。

三村：歩くことが一番大事ですよ。

杉原：だからこそ、靴というのは、身に付けるものの中では最も気を遣わないといけないところだと思うんです。

三村：そりゃあそうですよね。高い靴じゃなくても良いから、自分に合った靴を履かないと。例えば、足首が柔らかい人がクッション性のある靴を履いても余計に疲れるだけ。故障しやすくなります。逆に、足首が固い人は、前後でミッドソールの高低差があってクッションがあった方が良い。極端に言えば、足首の柔らかい人が砂浜を歩いても、疲れるだけ。接地面が柔らかいものは足首の固い人にしか向かないんです。

杉原：その時の、“柔らかい”、“固い”というのは、三村さんの感覚。

三村：そうですね。

杉原：僕も元よりデザインの仕事をやってきたので、“感性”というのはなかなか人に継承するのは難しいと思っているんですけれど、日本のみならず、世界的にも、三村さんの持つ感性や経験は非常に大切なのではないかと感じます。

三村：感性というのは、ある程度の基盤、基礎知識の上に成立するものですからね。ウチの工房の場合は14人程社員がいるけど、ほとんどがシューズづくりの経験者です。渋谷の『ヒコ・みづの』とか神戸三田の『神戸医療福祉専門学校』など、靴の専科に2年間通って勉強した者だから、ある程度の基礎はできている。その上で皆に言うことは、「感性というのは自分で作っていくものだ。教えて習得するものじゃない。分からないことがあれば技術的なことは聞け。けれども感性の鍛錬は、自分を信じて、失敗したって良いからやりなさい」とは言ってます。

杉原：その“感性”を少しでもテクノロジーで体現するというのは。

三村：それはできたらいいですけど、ITがいくら発達しても、どうなんでしょうか。

杉原：100%は無理だと思うんですけどね。

三村：私はね、そういうITに代わるような仕事をしたくない。将棋の世界じゃないけど、自分の感性でITには負けたくないんですよ。

杉原：ただ、データとして落とし込むことができれば、歩くという行為の中での靴の大切さが、より多くの人に伝わるんじゃないかな、と。

三村：それはね、やはり各シューズメーカーさんの技術者がもう少し、しっかりしないといけませんね。

杉原：どの辺りが変わるべきなんでしょうか。

三村：素材の改良でしょう。アッパー、ミッドソール、アウトソール。これを変えない限り良い靴はできない。

杉原：仮に素材の革新が実現したとして、とあるメーカーの靴を買いますと。ただ、それはオーダーメイドではないので、自分にあった最適な靴とは言えないのではないですか？

三村：そうですね、やはり自分にあった靴というのは、足の着地から蹴り出しまで、体重の移動が左右均等になっているかということです。あとはアライメントも、疲れにくい状態になっているか。疲れにくいということは故障しにくいということ。そういう状態までしていかない限り、自分にあった靴とは言えませんね。

杉原：そこで、テクノロジーを通じて、“三村イズム”がより多くの人に伝わると良いですよね。

三村：だけど、ここ5年や10年で、そこまで変わるとは私には思えないんですよ。医師5、60人の前で講演したことがありますけど、私の言ったことがわからない人が多かった。

杉原：医療の現場では、これまであまりされてこなかったアプローチ法だからでしょうか？

三村：レントゲンを撮って、足が折れている、ヒビが入っている。これは分かりますよね？　問題はその後です。また同じ状態にならないようにするにはどうすれば良いのか。「あなたの足は今こういう状態だから、こう修正すれば良い」と、はっきりした根拠で、患者さんや選手に伝えてあげたら凄くラクだと思うんですよ。

後編につづく

三村仁司（Hitoshi Mimura）
1948年兵庫県生まれ。学生時代に陸上選手として活躍後、1966年国内スポーツブランドに入社。シューズ製造に携わり、1974年からはアスリート向けの別注シューズ製造をスタートする。2009年より自身の工房「M.Lab（ミムラボ）」を立ち上げ、これまでに様々な分野のトップアスリートたちのシューズ・インソール開発に携わり彼らの大舞台でのチャレンジをサポートし続けてきた。2004年厚生労働省「現代の名工」表彰、2006年黄綬褒章を受章。2018年1月1日よりニューバランスと「M.Lab」がグローバル・パートナーシップを締結。専属アドバイザーに就任。