対談 CONVERSATION

行動から人の内面状態を読み取るAI!?岡田将吾の気になる研究 前編

長谷川茂雄

人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原:もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか?

岡田:そうですね。人工知能を基本に、修士、学士と約5年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。 例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原:今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です(笑)。

岡田:いや、僕自身は(内面を予測することは)できないですよ(笑)。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原:ならよかったです(笑)。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか?

岡田:そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原:もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか?

岡田:最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが(笑)、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原:岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか?

岡田:もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社(現株式会社)と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle(ビブル)を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原:表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね(笑)。

岡田:そう言われれば、そうかもしれないですね。

杉原:僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田:そう言っていただけるとありがたいです(笑)。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原:世界的にはどうなんですか?

岡田:コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原:確かにそういう面接は、実際にあるようですね。

岡田:面接で一言、二言答えたことから推測して、その人(のスキル)を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原:なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか?

岡田:そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか? というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか? というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原:まず、ちゃんとしたデータを取ることが難しいんですね。

岡田:正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原:自分でも自分の感情が一番わからないこともありますよね(笑)。

岡田:そういうものなんですよ(笑)。

杉原:以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか?

岡田:それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね(笑)。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原:確かにそうですね。

岡田:だから、自然にそういうデータをどうやったら取れるのか? っていうのは自分たちの研究の大きな課題ですね。

杉原:ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田:そうですよね、スマートウォッチとかもその一例だと思います。

杉原: スマートウォッチが出た当初はすぐに買いましたけど、3日後にはこれまで使っていた普通の時計が恋しくなってしまいました(笑)。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田:そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾(おかだ・しょうご)
国立大学法人北陸先端科学技術大学院大学(JAIST)准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

(text: 長谷川茂雄)

(photo: 増元幸司)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

対談 CONVERSATION

世の中から「待ってました!」と言われるプロダクト。「Ontenna」開発者・本多達也が届けたいもの 後編

宮本さおり

音を光と振動で伝えることに焦点を絞って開発された「Ontenna」。学生時代から開発を続け、現在は富士通株式会社に所属、Ontennaプロジェクトリーダーを務めている本多達也氏。プロダクトが完成したことで、新たな挑戦をはじめようとしていると言う。開発当初から親交のある編集長、杉原行里がそんな本多氏を直撃。新たな挑戦について話を聞いた。

杉原:紆余曲折を経て富士通に籍を置いてOntennaが発売されたと伺いましたが、一般の方もすでに手にすることができるとか。

本多:はい。Amazonでも販売されています。本体は25,000円、コントローラーは30,000円です。最初に行里さんに着目いただいた充電器、聾学校の先生たちからも簡単にできるようにしてほしいという意見があったのでこだわりました。1個の充電器で本体もコントローラーも充電できるようにしたんです。クリップ型のプロダクトと発信機をマグネット式かつ、1つの充電器でチャージできるもので特許も取っています。

杉原:これ、カッコイイし、よく考えられているなと思いました。

本多:ありがとうございます。クリップ式なので、髪の毛につける人もいます。いろいろなところにつけられるのですが、耳に直接付けるのがいいと言われる方もいて、使い方は人それぞれです。世界中の人にこの「Ontenna」を届けたいと思って、富士通に入社しました。
プロのデザイナーやエンジニアの方、聾者の方にも実際にプロジェクトに入ってもらったおかげでプロダクトを進化させることができました。最初はもっと大きいものだったのですが、企業に入ったことでブラッシュアップされて使いやすく、サイズも小さくすることができました。新しくコントローラーも作りまして、こちらは複数の「Ontenna」を同時に制御できる機械になっています。これがあることでダンスをするときや太鼓をたたくときに複数の生徒たちに同時にリズムを伝えることができます。
マグネット式の充電は聾学校の先生から「休み時間が短いのでなるべく簡単に充電できるようにしてほしい」と言われて、もともとmicro SDを抜き差しする必要がありましたが、置くだけで、さらにコントローラーと一緒に充電できるデザインを取り入れました。

杉原:なるほどね。

本多:全国に聾学校が118か所あるんですが、全国聾学校長会を通じて希望するところには「Ontenna」の体験版を無償で提供しています。

杉原:「Ontenna」が販売開始されたとき、ネットに「待ってました!」というコメントがすごくて、プロダクト冥利に尽きるなと。「待ってた!」と言われるプロダクトって、なかなかないんですよ。

本多:ありがとうございます。今、いろいろなエンターテインメントのほうでも使われ始めていて、まずはタップダンスの映像をお見せいたします。これはタップダンスのタップ音だけに反応するようにチューニングして使ってもらってます。

「Ontenna」だから実現できた
ボーダレスなエンターテイメント

本多:この時は聴覚障がい者の方もたくさんいらっしゃっていたのですが、健常者の方も同じくらい来てくださいました。振動や音を複数で制御できるプロダクトって他になくて、「Ontenna」を健聴者の方もつけると「臨場感が増した」とか、「光で一体感が生まれて面白い」と言ってくださいます。障がい者の方とデザインしたインターフェイスが僕たちにも使えるものだったっていうのがとても嬉しかったです。

杉原:実は僕らがRDSチームで開発しているものと全く同じことで、特定の人を助けたい、もしくは選択肢を拡張したいという思いがあるプロダクトって、ある1つのところに陥りやすくて、その人たちの少ないマスだけで勝負してしまうから、シュリンクしちゃう。「Ontenna」は “多くの人が使えるんだよ” “聾者の方たちにも楽しめるんだよ” っていう入り口にすれば、あらゆる人にとって一気に当たり前のコンテンツになっていく。単純にこれ見ても楽しそうだなーと思うし、プロダクトとしてももちろん、流行るのではないかな。

本多:RDSの松葉杖 (参考:http://hero-x.jp/article/2202/) もそうですけど、パッと見て何となくかっこいいとか、軽くて使いやすいとか、なおかつ僕らも使いたいと思うし、そういうのってすごく大事だなと思います。「Ontenna」プロジェクトをやっていて感じることは、スペシャリストというか耳が聞こえない分ほかの感覚が研ぎ澄まされている人たちと一緒にもの作りをするのって、面白いなと思っているんです。

杉原:2013年に東京2020の開催が決まった後、2016年くらいから様々な人が動いていたじゃない。プロダクトを開発していこうとした人たちの中で、販売に至っているチームって実は少なくて。

本多:面白い、その視点で見たことなかったです。へえーそうなんですね!

杉原:まだまだ開発途中の人たち、あきらめてしまった人たちがいるなかで、本多さんたちのチームは、しっかりと完成に至った。あきらめず完成させることで、やっと世の中に新たな価値を届けることができる最初のフェーズに立てるわけです。

本多:行里さんにそう言われるのはめちゃくちゃ嬉しいです!

杉原:ここからは、本多さんたちにしか見えない、売らなきゃいけない、より魅力を伝えなくてはならないフェーズに入っていくと思うのですが。

本多:そうなんですよ。最近よく思うのは、マインドセットを変えていかないといけないなと思っていて。今までは作りたいものを届けると言っていたのですが、ここからはどう継続して届けるか、より多くの人たちに届けられるかっていうのを考えないといけなくて、フラストレーションがあります。僕はデザイナーなのに…っていう。(笑)

杉原:僕もありました! よく言われるのは、「元、デザイナーじゃない?」っていうこと。それもあながち間違っていないんだけど、それを言われるたびに、日本って絵を描く人がデザイナーだっていうのが染みついているんだなと。僕たちはストーリーをデザインするコンダクター(指揮者)みたいな感覚だと思っています。コンダクターは、ありとあらゆる楽器の音だったりを感度高く見ていかないとオーケストラの演奏はできないじゃないですか。そうなると、めちゃ勉強しないといけない。そういう意味では、海外で言われているデザイナーに近づいた気がしますね。だから販売するってすごいと思いますよ。

本多:なるほど、指揮者か…確かに。マインドセットをどう切り替えるかっていうのはまさに悩んでいる最中で、これからまた売り上げのことも考えなければいけないなかで、じゃあどういう方向性で行こうかって、イラレとかフォトショもほとんど触ってないし、自分はもうデザイナーじゃないんじゃないかな、とか思っていたのですが、さっきの言葉を聞いて嬉しくなりました。

杉原:これからも応援しています!

前編はこちら

本多達也(ほんだ・たつや)
1990年 香川県生まれ。大学時代は手話通訳のボランティアや手話サークルの立ち上げ、NPOの設立などを経験。人間の身体や感覚の拡張をテーマに、ろう者と協働して新しい音知覚装置の研究を行う。2014年度未踏スーパークリエータ。第21回AMD Award 新人賞。2016年度グッドデザイン賞特別賞。Forbes 30 Under 30 Asia 2017。Design Intelligence Award 2017 Excellcence賞。Forbes 30 UNDER 30 JAPAN 2019 特別賞。2019年度キッズデザイン賞 特別賞。2019年度グッドデザイン賞金賞。現在は、富士通株式会社にてOntennaプロジェクトリーダーを務めている。

(text: 宮本さおり)

(photo: 増元幸司)

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー