人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原：もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか？

岡田：そうですね。人工知能を基本に、修士、学士と約５年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。　例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原：今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です（笑）。

岡田：いや、僕自身は（内面を予測することは）できないですよ（笑）。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原：ならよかったです（笑）。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか？

岡田：そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原：もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか？

岡田：最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが（笑）、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原：岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか？

岡田：もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社（現株式会社）と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle（ビブル）を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原：表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね（笑）。

岡田：そう言われれば、そうかもしれないですね。

杉原：僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田：そう言っていただけるとありがたいです（笑）。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原：世界的にはどうなんですか？

岡田：コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原：確かにそういう面接は、実際にあるようですね。

岡田：面接で一言、二言答えたことから推測して、その人（のスキル）を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原：なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか？

岡田：そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか？　というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか？　というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原：まず、ちゃんとしたデータを取ることが難しいんですね。

岡田：正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原：自分でも自分の感情が一番わからないこともありますよね（笑）。

岡田：そういうものなんですよ（笑）。

杉原：以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか？

岡田：それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね（笑）。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原：確かにそうですね。

岡田：だから、自然にそういうデータをどうやったら取れるのか？　っていうのは自分たちの研究の大きな課題ですね。

杉原：ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田：そうですよね、スマートウォッチとかもその一例だと思います。

杉原： スマートウォッチが出た当初はすぐに買いましたけど、３日後にはこれまで使っていた普通の時計が恋しくなってしまいました（笑）。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田：そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

日本における子どもの死亡原因の統計、あまり知られていないのだが、いつも上位にくるのが事故による死亡だ。高所からの転落など、子どもの思わぬ行動が死亡につながるケースは少なくない。子どもにとっての本当の安全とは何か、センシングを使い導き出そうとする動きが出てきている。これまでの常識を疑い、センシング技術で子どもの安全性向上に取り組む東京工業大学の西田佳史教授は、「親が『目を離してはいけない』から『目を離してもいい』環境へとパラダイムシフトする」と話す。いったいどういうことなのか。自分事化をきっかけに描く一歩先の未来とは？　編集長・杉原行里が訪ねた。

子どもが生まれたことを
きっかけに研究をスタート
保護者の見守りの限界

杉原：今日はよろしくお願いします。早速ですが、西田教授がセンシング技術を使って子どもの安全性向上の分野を研究しようと思われたきっかけは？

西田：単純ですよ、子どもが生まれたからです（笑）。当時、福祉工学という分野はありましたが、主に高齢者が対象で、子どもの安全に寄与するものはなかったんです。例えばISO（国際標準化機構）やJIS（日本産業規格）の定義は「受け入れることのできない危険がないこと」ですが、やっぱり危険はある。危険がないことと定義するのではなくて、危険を扱える能力を備えた状態の社会に変えていきたいと思ったんです。

特に子どもの事故は、身体の機能変化と非常に関わりが深いと思っています。身体はもちろん、認知機能や運動能力が急速に発達する時期なので、昨日できなかったことが今日できるようになる。でも事故が起こるとまず、子どもから目を離した保護者の見守り責任が問われる。しかしその事故原因の多くは、そもそも我々が設計した環境やデザインが生み出してしまっているのです。そこで、デザインによって変えられる可能性があるんじゃないかなと考えたんです。

怪我をしにくい環境はできると語る西田教授

杉原：最近、電気ケトルで火傷をした子どもの話を聞いたばかりです。なぜそんな危険なデザイン構造になっているのか疑問を感じていたところです。

西田：そうなんです。人間の注意力に頼る「見守り」だけで事故を防ぐことはできない。それを証明するためには、実際の生活の場で起こり得る現象を切り離さず、計測をして理解するということが必要でした。そこで、子どもの実際の行動を画像処理して、子どもの転倒時間や、電気ケトルが倒れて熱湯がもれ広がるのにかかる時間、物が落ちたり倒れたりする時間を測定しました。子どもが転倒するのにかかる時間は平均0.5秒。これは、例え１メートルという至近距離で見守っていたとしても、人間の見守り能力に頼るだけで防ぐにはどうしても難しい。

また例えば、子どもが歯磨きをしながら動き回って転んで怪我をしてしまうという事故も多発しています。いくら「止まって磨きなさい！」と親が言っても、言うことを聞いてくれる子どもばかりではない。見守りだけでは不十分だから、事故が後を絶たないと僕は思っています。

杉原：本当にそうで、保護者の見守りだけで事故を防ぐには限界がありますよね。親がどれだけ注意していても、子どもってじっとしていられない。

西田：そうなんです。さらに我々は怪我のデータを統計的に処理するために、まずは病院の協力を得て子どもが怪我をした部位のデータを集めて可視化しました。ビッグデータを元に効果として結果を出すことができるようになったんです。例えば、歯ブラシの事故では、目を離さないで見守ることに限界があるなら、目を離してもいい環境・デザインをつくろうではないかと、私が「ABC理論」と呼んでいる、Ⓐ変えたいもの、Ⓑ変えられないもの、Ⓒ変えられるもののなかで、Ⓒの“変えられるもの”として、転倒データを元に歯ブラシのデザインを変えることができたんです。

研究室にはベビーベットやベビーサークルなど、実際に家庭で使う家具などが並んでいる。

杉原：そうだったんですか。最近は曲がる歯ブラシが販売されていますよね。規格化は考えられていないのですか？

西田：いい質問ですね。歯ブラシに限らず、最初はとにかく問題を提示することが大事だと考えているんです。そこから企業との共同研究がはじまって、プロダクトが出来上がる。そしてそれをユーザー側が魅力的なモノ、価値あるモノだと捉えることで他のメーカーが参入して常識化されていく。この段階まできたら規格化してもいいんじゃないかと。このサイクルを、データに基づいてやれるといいなと思っているんです。

最近は、転落事故について研究しています。最近は子どもの登る姿勢のデータベースが作れるようになってきているんです。どういうことかと言うと、子どもがどこを、どんなふうに登る可能性があるかということが分かることで、転落事故防止につながります。身体機能や認知機能の変化が大きい1～2歳の子どものデータを中心に集めていますが、今後は保育園の遊具で観察するとか、現場からの情報を集められるような仕組みが出来るといいなと思っています。

子どもから目を離してもいい環境の整備

杉原：なるほど。子どもの1～２年って変化がとても大きい。このアルゴリズムがディープラーニングしていくことも大事で、そこから得られるデータから環境やデザインを変えていくことによって、大きな事故を防ぐことが出来るようになるということですよね。

西田：その通りです。我々が研究を続けてきたなかで気が付いたことは、社会が必ずしも問題を理解しているというわけではないということ。リサーチして問題を抽出しなくてはいけない場合もある。我々が子どもの事故について取り上げたのが2007年で、それまではそういった活動はなかったんです。そこで、子どもにとって安全なもの、いいものをアイコン化して推奨することで市場を拡大していけたらと、2007年に「キッズデザイン賞」を作りました。ニーズがイノベーションに返還されるという仕組みが出来上がりつつあるのかなと思っています。やはりいいものを褒めていかないと社会はシフトしない。

杉原：素晴らしいですね。確かにハードパワーとしての規格も必要ですが、エンジニアリングでもデザインを変えられるものがきちんと評価されなければユーザーも育たない。アイデア自体はかなり前からあったのに、実装としてのフィールドになかなか到達しなかったということですよね。おそらく倫理的な問題もあるかと思います。今は、一般社会におけるデータの扱い方についての理解が深まってきている。

西田：そうですよね。現場で役に立つ知識の作り方が、IoTの時代で変わってきたのかなと感じています。家庭においても、新しいスマート環境を作っていくということが出来る時代になってきたのではないかなと。社会側の受け入れ方が変わってきたと思うんです。最近はZoomやSkypeで家の中まで入っていける時代になってきたので、画像認識を使えば、その家、その人に合わせた安全対策の提案が出来るようになりますよね。

杉原：確かに。事故の可能性が可視化されることで、よりイメージしやすいし、事故防止につながると思います。事故に様々な外的要因があったとしても、誰にでも必ず起こる可能性がある。高齢化の問題で考えると自分事化しやすいですよね。いまや３人にひとりが高齢者と言われる時代になっていて、家族にひとりは高齢者がいるという社会ですから。

西田：そうなんです。日本の人口分布と事故の確率をグラフで見てみると、人口分布は平たんな一方、事故の確率は生まれた瞬間と65歳以上に多い、いわゆる「バスタブ曲線」です。人生には妊娠・出産や介護したりされたりと、どこかで必ず変化がある。この変化に対応していかないといけないのが現代。変化するところに色々なニーズが隠れている。つまり、 “常識を疑え”ということなんです。これまでの常識だった「事故を防ぐために目を離すな」から、我々が目指しているところは「目を離してもいい環境」を作ること。それを認めていく環境を作ること。怪我を許容する自立支援や、リスク管理型の社会参加を促す方向にもっていきたい。

杉原：謎解きのようなグラフですね。こんなにも課題の抽出されている社会に生きているってラッキーですよね。これからいろんなことにチャレンジできる。

西田：そうですね。このメッセージが若い世代の人たちにどんどん伝わっていくといいですよね。我々には解かなくてはいけない問題がたくさんある。まだまだ未熟な社会です。人生100年時代と言われているいま、子どもからお年寄りまで、“機能が変わる人”にフォーカスして、その変化にどう対応していくかが問われる社会になってきているわけです。

西田佳史（にしだ・よしふみ）
東京工業大学 工学院 機械系教授。1998年東京大学大学院工学系研究科機械工学専攻博士課程修了。博士（工学）。同年4月通産省（現経産省）工業技術院電子技術総合研究所入所。2003年産業技術総合研究所デジタルヒューマン研究センター研究員。同年、同研究センター人間行動理解チーム長。2005年〜2012年科学技術振興機構戦略的創造研究推進事業（CREST）研究代表者。2009年産業技術総合研究所デジタルヒューマン工学研究センター生活・社会機能デザイン研究チーム長。2013年同研究所デジタルヒューマン工学研究センター首席研究員。2014年から2019年東京理科大学連携大学院客員教授。2015年産業技術総合研究所人工知能研究センター首席研究員。2017年より、セコム科学技術振興財団の特定領域研究助成（社会技術分野）の領域代表者。 2019年より産業技術総合研究所人工知能研究センター招聘研究員。2019年から東京工業大学工学院機械系教授に就任。