人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原：もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか？

岡田：そうですね。人工知能を基本に、修士、学士と約５年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。　例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原：今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です（笑）。

岡田：いや、僕自身は（内面を予測することは）できないですよ（笑）。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原：ならよかったです（笑）。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか？

岡田：そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原：もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか？

岡田：最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが（笑）、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原：岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか？

岡田：もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社（現株式会社）と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle（ビブル）を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原：表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね（笑）。

岡田：そう言われれば、そうかもしれないですね。

杉原：僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田：そう言っていただけるとありがたいです（笑）。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原：世界的にはどうなんですか？

岡田：コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原：確かにそういう面接は、実際にあるようですね。

岡田：面接で一言、二言答えたことから推測して、その人（のスキル）を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原：なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか？

岡田：そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか？　というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか？　というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原：まず、ちゃんとしたデータを取ることが難しいんですね。

岡田：正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原：自分でも自分の感情が一番わからないこともありますよね（笑）。

岡田：そういうものなんですよ（笑）。

杉原：以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか？

岡田：それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね（笑）。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原：確かにそうですね。

岡田：だから、自然にそういうデータをどうやったら取れるのか？　っていうのは自分たちの研究の大きな課題ですね。

杉原：ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田：そうですよね、スマートウォッチとかもその一例だと思います。

杉原： スマートウォッチが出た当初はすぐに買いましたけど、３日後にはこれまで使っていた普通の時計が恋しくなってしまいました（笑）。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田：そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

コミュニケーション型のロボットを数多く開発しているユカイ工学。テーマとしているのは「コミュニティの再構築」だという。スマートシティ化が進む現在、ロボットの役割は今後どうなっていくのだろうか。IoTによって家電がロボット化していく？　人間は、どんなふうにロボットとコミュニケーションしていくようになる？　ユカイ工学CEOの青木俊介氏に編集長・杉原行里が聞く。

めざしているのは
コミュニティの再構築

杉原：最初に青木さんとお話をさせていただいたのは、今年のCEATECというイベントで、テーマが「スマートタウン」でしたよね。広義でも狭義でもどちらでもいいのですが、青木さんが考えるスマートタウンってなんですか。

青木：僕は、例えば交通的なインフラとか、割と大規模なインフラが必要なものはスマートシティと呼ばれるジャンルのものだと思っています。それに対して、スマートタウンは、人の足で歩いて回れる単位で考えられるものではないかと。特にIT技術が進んでくると、カメラとAIを組み合わせたりすることで、今まで分断されがちだったコミュニティが技術によって取り戻せるのではないかということを考えています。

杉原：スマートシティとスマートタウンの認識がそもそも違うという考え方が、かなり面白いですね。やはり青木さんにとって、コミュニティは大きなテーマですか？

青木：僕はそう思っていますね。コミュニティの再構築。

杉原：その再構築のもととなるイメージは、例えば時代でいえばいつ頃でしょうか？

青木：『ちびまる子ちゃん』とかでしょうか。

杉原：確かに僕らの時代は、『ちびまる子ちゃん』や『サザエさん』の世界でしたよね。家に帰って親がいないと隣の家に行きましたもんね。

青木：そうそう。友達の家に行ったら夕ご飯が出てきて、勝手に食べて帰ってくるみたいな感じでしたよね。

杉原：今はその余白みたいなのは少しずつなくなってきているということですか？

青木：そうだと思います。住居がオートロックだったりすると、小学生が友達の家に気軽に遊びに行くこともできないですよね。昔だったら「あーそーぼー！」って呼びに行っていましたが。今は遊びに行く前に携帯に連絡していかなきゃいけないとか。

杉原：「あーそーぼー！」って言っても、マンションとかだと家に入るまでに何個もボタン押さなきゃいけないですもんね。昔は携帯もないから、公園に行って誰かを待っていましたけど。

青木：行ったら誰かいるだろう、みたいな。あの感覚が面白いですよね。

杉原：一方では高度経済成長期を経て、テクノロジーによって多くのことがコンビニエンスになったり、マンションだったらセキュリティが向上したりといったメリットもある。全体的に裕福になったと思いがちだけど、今度はテクノロジーによって失ってしまった、もしくは失いそうなものを、ユカイ工学はテクノロジーによって取り戻そうとしているということでしょうか。僕がいつも感じるのは、青木さんは今の時代が悪いと言っているのではなくて、今の時代にあったアップデートの方法で、昔あったいいものを付帯させていく、融合させていくことを考えているのではないかと思います。

青木：おっしゃる通りです。

家電と会話できる
＝ロボット化ではない!?

杉原：世界の潮流としては、どういうロボットが今後生活の中に入ってくると思いますか。

青木：僕たちが必要だと思っているロボットは、インターフェースの役割が大きいと思っています。例えば、皿を洗うとか洗濯をするといったことは、ロボットよりも家電のほうが効率もいいし安い。だから、皿洗いをロボットがやる日はこないと思っています。すでに家電の洗濯機は洗濯物の汚れ具合を検知して必要な洗剤量を変えるとか、かなり賢いことをやっているので、技術的に見ればもう家電はロボットです。でも、洗濯機に名前をつけて可愛がっている人はあまりいない。ロボットって名前をつけたくなるものですよね。

杉原：うちの娘が今５歳なのですが、ロボット掃除機のルーロを「ルーロちゃん」と呼んでいます。

青木：なるほど。ルンバとかもそうですけど、動き回るものって何か特別な感情を抱きがちですよね。

杉原：その中で白物家電みたいなものがIoT化されていく。

青木：そうなると思いますが、僕はその時に必要なのが冷蔵庫と直接会話できる機能かというと、たぶんそうじゃないと思います。顔がない家電に向かって人間がコミュニケーションをとることはなくて、なにかしらインターフェースが絶対に必要になる。それがこういうロボットだと思ったんですね。

杉原：要は翻訳家というか、通訳をする存在ですよね。

青木：そう、通訳をする人。例えば、室内の家電をコントロールする時も、何か顔のあるインターフェースが人間は欲しくなるはずだと思います。それがロボットの役割になると考えてまして、アレクサとかも機能としてはかなり近いと思います。

杉原：今後、インターフェース側はどんな進化をするでしょうか。

青木：さっきおっしゃったように、ロボット掃除機ってなんとなく愛情をもったりとか、ケーブルにひっかかったら助けたかったりしますよね。僕はそれがロボットのもっている一番の強みだと思っています。人に感情を起こさせるというか、人を説得したり、人のモチベーションを起こしたり、行動を促したりできるというのがロボット型のインターフェースの強みですよね。

杉原：とすると、これから出てくるかもしれないものは、ヒューマノイド的に人間により近づいた形状のものや、しゃべりかたが人間に近いロボットでしょうか？

青木：出てくるとは思うのですが、家で使うぶんにはまず、ヒューマノイド型は大き過ぎますよね。あとは日本語で会話をするとなると、ロボットが全部聞いているという前提で生活をすることになるので、さらにスマホとつながっていると自分の行動も全部そのロボットが把握していたりして、すごく嫌な感じになるじゃないですか。そういうのはダメなんですよ（笑）。

杉原：では、ロボット型インターフェースは『BOCCO』みたいなプロダクトがアップデートしていく？

青木：はい。例えば『BOCCO』は、お年寄りに「薬を飲んでね」という風に言ってくれたりします。今もユーザーさんがそのように利用しているケースが結構あります。すごく面白いのは、家族に「おばあちゃん、薬、飲んでるの？」とか言われると「うるさいわね」みたいに角が立つけれど、ロボットが言うと進んで飲んでくれるらしいんです。あとは夫婦で使われている方で、朝「火曜日はごみの日だよ」みたいなことを言ってくれるから、旦那さんがゴミ捨てをちゃんとしてくれるようになって夫婦喧嘩が減った、とか。

杉原：人間に言われるとイヤだけれど、ロボットにいわれると素直に聞きたくなるというのは研究テーマになりそうですね。仮に『BOCCO』をハードウェアととらえて、この中にどんどんアプリケーションを入れていくのであれば、僕は音声認識ソフトが入ると面白いと思います。例えば、高齢者の言葉のスピードや強弱で認知症の兆候というものが検知できるから、それを認識して家族に伝えるサービスがあれば面白いかなとか。あとは子どもだったら、共働きで親がいない時の様子を検知して、「実はこの子は明るくしているけれど寂しそうだよ」と言ってくれるソフトが出てくるとか。インターフェースコミュニケーションロボットを通じたビジネスやサービスが今後増えてきそうですよね。

青木：増やしたいと思っています。例えば語学学習やダイエットは、自分ひとりの力で続けようとすると、すごく大変じゃないですか。ロボットは人の行動を促すことが得意なので、語学の学習だったら定期的に英語で話しかけてきたり、ダイエットだったら「今週は、あと何キロは走ったほうがいいよ」とか言ってくれたりする役目ができると思います。

杉原：語学はすごくわかりますね。一人でやっていることを、ロボットが拡張してくれると嬉しいですね。

青木：サポートしてくれるものがほしいということだと思います。あとは、例えばお金を貯めるとかいうのもそうですよね。カードと連携して「使いすぎだよ」とか言ってくれると助かりますよね。

杉原：今月の請求額は……特にムダだったのは……って。それはイヤかもしれない(笑)。

裏テーマは「妖怪」。
そこにいるだけで幸せになれる

杉原：次に青木さんが考えているロボットはありますか？ 期待しているはずですよ、みなさん。

青木：そうですね。BOCCOもそうですけど、わりとテーマが「妖怪」だったりします。家に一台置いておくと、家族が笑顔になる、幸せになる。座敷童というのが一応、BOCCOの裏テーマです。『となりのトトロ』でも天井裏に何かいるとか、妖怪っていろいろなのが潜んでいるじゃないですか。そういう世界観が近いと思います。

杉原：この前お聞きした二足歩行で玄関に迎えに来るロボットもいいですね。迎えに来る以外何もない。しゃべるとトゥーマッチですよね。

青木：家であんまりしゃべりたいとは思わないですよね。猫とか犬はしゃべらないからいいわけじゃないですか。

杉原：これからユカイ工学として、コンソーシアムも含め、様々な企業との掛け算というのは始まるんでしょうか。

青木：そうですね。ぜひやりたいと思っています。

杉原：ぜひ青木さんとRDSチームで何かやりましょう。今日はありがとうございました。

ユカイ工学株式会社　代表　青木俊介　（あおき・しゅんすけ）
東京大学在学中にチームラボを設立、CTOに就任。その後、ピクシブのCTOを務めたのち、ロボティクスベンチャー「ユカイ工学」を設立。「ロボティクスで世界をユカイに」というビジョンのもと家庭向けロボット製品を数多く手がける。2014年、家族をつなぐコミュニケーションロボット「BOCCO」を発表。2017年、しっぽのついたクッション型セラピーロボット「Qoobo」を発表。2015年よりグッドデザイン賞審査委員。