人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原：もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか？

岡田：そうですね。人工知能を基本に、修士、学士と約５年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。　例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原：今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です（笑）。

岡田：いや、僕自身は（内面を予測することは）できないですよ（笑）。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原：ならよかったです（笑）。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか？

岡田：そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原：もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか？

岡田：最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが（笑）、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原：岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか？

岡田：もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社（現株式会社）と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle（ビブル）を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原：表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね（笑）。

岡田：そう言われれば、そうかもしれないですね。

杉原：僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田：そう言っていただけるとありがたいです（笑）。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原：世界的にはどうなんですか？

岡田：コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原：確かにそういう面接は、実際にあるようですね。

岡田：面接で一言、二言答えたことから推測して、その人（のスキル）を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原：なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか？

岡田：そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか？　というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか？　というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原：まず、ちゃんとしたデータを取ることが難しいんですね。

岡田：正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原：自分でも自分の感情が一番わからないこともありますよね（笑）。

岡田：そういうものなんですよ（笑）。

杉原：以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか？

岡田：それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね（笑）。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原：確かにそうですね。

岡田：だから、自然にそういうデータをどうやったら取れるのか？　っていうのは自分たちの研究の大きな課題ですね。

杉原：ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田：そうですよね、スマートウォッチとかもその一例だと思います。

杉原： スマートウォッチが出た当初はすぐに買いましたけど、３日後にはこれまで使っていた普通の時計が恋しくなってしまいました（笑）。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田：そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

座る、立つ、歩く。人間の動きの一つ一つについて工学的なアプローチで研究する人間工学。近年、医療との結びつきが加速するこの領域は今後、私たちの生活にどのように繋がりだすのか。医療と人間工学を接続させた第一人者、早稲田大学名誉教授で株式会社エルゴシーティング代表の野呂影勇氏に「HERO X」編集長・杉原行里がお話をうかがった。

杉原：本日はよろしくお願いします。まずは、先生のこれまでの研究についてお話をうかがえますでしょうか。

野呂：医学と人間工学について。整形外科は、X線やMRIなどを使い身体を調べて、どこが悪いか、身体とくに筋骨格系に関する疾病を診断することには卓越しています。しかし、その疾病の発症の原因、それがどういう日常生活環境から出てきたのかということにはあまり関心がないことが多いです。医者はそういう教育を受けていないですから。僕の場合は、早稲田の理工の出身で、その後は慶應義塾大学に移り、研究を進めました。慶應は医学部を持っていますから、ここで、医学との出会いがありました。工学の我々が強いのはモノづくりで、医学と繋がるところがいろいろと出てくる。例えば、疾患の原因が日常の座り方の悪さということもありえますよね。椅子に座ることは、お尻と関係があり、どういう筋肉や骨があって、お尻の外形があるかに深く関係しています。コンテンツを充実させることに人間工学は強い。一方、外形は外観の良さに関係して商品として真っ先に必要なのです。そこはいわゆるインダストリアルデザイナーの方が得意としているわけです。

杉原：まさに僕ですね(笑)。

野呂：そうです。インダストリアルデザイナーと我々人間工学──やっていて気が付いたのですが、お互いに敵と味方のような関係ですね(笑)。しかし、インダストリアルデザイナーの人たちの方が飯を食うのに長けている。

杉原：ありがとうございます。

野呂：インダストリアルデザイナーの方たちは、出身がスモールオフィスの方が多く、自立してやっていらっしゃる。ところが、人間工学を研究している我々を大学が雇ってくれている、という体制ですから、飯は授業で（笑）。その違いは大きいです。

例えば、何かを開発するとします。製品は金額があって、モノにはそれ相応の金額がありますよね。枕なら枕なりの金額がある。車なら50万円は安いとなりますが、枕がもし50万円と言われたらどうですか。高すぎると感じるはずです。モノには生れてきた由来があって、相応の単価があります。この感覚が、大学人には弱い。マージンの中の５％をインダストリアルデザイナーがとってしまったら、我々工学はとるところがないわけです。形以外に、メーカーをこちらに向かせるためには何が必要か、となると「医学」かなと。とうことで、わたしは今に至り、医学を掛け合わせた人間工学の分野を推し進めている訳です。人間工学とインダストリアルデザイナーの勝負はそう簡単にはつかない、そう思っています(笑)。

杉原：僕は先生と発想が違って、5％を分けるのではなく、その価値を高め、10%、15％に増やし分けることを考えます。

野呂：それはお見事ですが、現実にはなかなか難しい。例えば、パラリンピックなんかで、国からお金がでているとかだとできるかもしれませんが。

杉原：RDSでは、ほとんどのプロジェクトは補助金を貰わずに、できる限り自己資金で進めてきました。開発のスピードを維持するために。

野呂：それはすばらしいですね。

医学と人間工学
なぜ結びついたのか

杉原：人間工学とは実際どんなもので、どうやって医療とつながるのでしょうか。

野呂：先日、北九州にある、サービス付き高齢者住宅を見学してきました。１階が共有施設で２階３階が住宅。階段やトイレの手すりなど、人間工学的に必要と考えられるものは全て備え付けられていました。今は人間工学が社会装置化している。人間工学とはなんぞやと30年くらい前に言われていたことはもう、その必要がないくらい浸透していると思いますよ。これからは、もっと踏み込んで、「人間工学が、新たに何をすべきなのか」が問われてくる。自分の場合は医学との関係を構築することでした。

産業医科大学で医学部の教授として8年勤務しました。医学部ですから、脳神経外科をはじめ、医学の領域について知識を得る場が、いろいろと揃っています。ある時、同僚（医学部の教授たち）から「お前は医学のことぜんぜん分からないじゃないか」と言われたことがありました。でも、逆もそうで、あちらは人間工学のことを知らない。

医者は、社会の機構として組み込まれており、整形なら整形のことだけ、耳鼻科なら耳鼻科のことだけに特化してやっていけます。その反面、専門外のことはあまり知らない。でも自分は医学部に籍を置いていた工学者としては、深くは知りませんが、脳神経も耳鼻科も整形も平等に知っているという強みがあります。こうした広範囲にまんべんなく知っているという状況は医者には少ない。ということで、工学の僕がやれば、医療×人間工学のアプローチとしてそれなりにやれることがあると思いました。

杉原：僕らは車いすをつくるのに、お尻の計測がすごく難しいと思っています。お尻は座るとつぶれてしまうので。あと、背骨との関係性も難しい。野呂先生はその座面を研究されているわけですが、どんなことをされているのでしょうか。

野呂：計測とは何か。お尻がつぶれるは、臀部の筋肉に圧がかかっている状態です。

圧のかかり方が微小ですと快感に近い感覚ですが、強くなると痛みに代わります。お尻に均等な圧がかかればよいのですが、臀部形状が複雑なので難しいのです。

背骨との関係は、身体を支えることにあります。背骨には、中枢と末梢神経が走っているので、無理な支え方では強い痛みが生じます。　下半身の血流も圧により阻害されますので、むくみやしびれの原因となります。座るという一見簡単な動作ですが、生理的には複雑です。何でも計測可能な現代、しかし得られたデータの解釈に医療×人間工学の専門性が要求されます。

人間工学が支える在宅医療とは

杉原：人間工学と医療、私たちに身近なところでいうと、どのような方面でつながりが持たれるのでしょうか。

野呂：2018年は大変重要な年で、厚生労働省が指針を出し診療報酬を改訂、遠隔医療に世の中が向き始めています。すでに全国でいくつかの遠隔医療のサービス機関が立ち上がっています。入院から完治または終末まで病院で過ごすのではなく、一定の回復をしたら自宅で療養する方法へとシフトしはじめています。この段階、人間工学がすごく重要になります。例えば、院内では壁に手すりがついていて、転倒を防止するつくりになっています。ベッドも一定水準のものが備わっておりますが、個人宅は千差万別。ベッドか布団か。枕はどうかなど療養者の睡眠に影響します。厚労省のオンライン診療の指針にある診療支援の一つとしての人間工学的介入が望まれます。

杉原：なるほど。

野呂：遠隔医療の流れは早いと思います。人間工学との連携は今後、密接になっていくと思います。例えば、筑波大学大学院 人間総合科学研究科では「遠隔看護外来システム」のなかでその重要性を位置付けております。

杉原：先生のところでは医師のための椅子を作られていますよね。

野呂：この椅子（写真）は背あてに特徴があります。最近の手術は昔と違い、眼科など、細かな部分を扱う時には、手術する部分を立体映像化して４K大画面に映し出し、その画面を見ながら手術する（ヘッドアップモニターシステム）ことが増えました。細かい部分を扱う手術は、顕微鏡を覗きながらでも、モニター式となっても、変わらず執刀医は椅子を使います。普通の椅子は執刀中の前かがみの姿勢により背あてと背中の部分に空間が空くのですが、この椅子では超軟質の筒状の背あてを前進させて背中に接触させることで執刀に有害な身体の動きを安定化させます。

背中の緊張を和らげ円筒型背あてと座面の絶妙な傾斜で腰部も楽だと好評の眼科執刀医用椅子

手術中は足もとで器具を操作することもあるため、足が使いやすいように座面には少し傾斜がつけてあります。

杉原：利用者、眼科の執刀医師のニーズにあった椅子ということですね。

野呂：医師とコラボすることは素晴らしいことですが、そのために配慮するべきこともあります。医療の対象は、患者です。倫理委員会等で病院では、がっちりとガードされております。それを乗り越えてコラボまでにこぎつけるだけの高い説得性と信頼性が工学側にも求められます。そのうえで、人間工学は今後、もっともっと医療の現場で、そして、人々の生活の中に、身近に存在するものになるでしょう。

早大理工　ピアノを弾くロボット（科学万博つくば’85　故加藤一郎教授による）の前で語り合う二人

野呂 影勇
1937年生まれ。早稲田大学名誉教授、エルゴシーティング CEO。業績は前半1982年から1999年までと後半2000年から現在（2018）までに大別。前半は国際学会への貢献、国際誌の編集。代表的な成果は、参加型人間工学の概念と方法論を提案し、1991年にTaylor＆Francisから出版の英書「参加型人間工学」が国際的なベストセラー。後半2000年のローマ大学ラサピエンツァ招聘教授就任を境に、臨床医学×人間工学が主な研究に、加えて医師とのコラボで旅客機シート、呼吸枕、執刀医用椅子、運動具の開発を行った。2018年8月　人間工学の国際貢献に関してフェロー賞を受賞。