人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原：もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか？

岡田：そうですね。人工知能を基本に、修士、学士と約５年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。　例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原：今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です（笑）。

岡田：いや、僕自身は（内面を予測することは）できないですよ（笑）。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原：ならよかったです（笑）。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか？

岡田：そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原：もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか？

岡田：最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが（笑）、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原：岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか？

岡田：もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社（現株式会社）と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle（ビブル）を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原：表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね（笑）。

岡田：そう言われれば、そうかもしれないですね。

杉原：僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田：そう言っていただけるとありがたいです（笑）。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原：世界的にはどうなんですか？

岡田：コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原：確かにそういう面接は、実際にあるようですね。

岡田：面接で一言、二言答えたことから推測して、その人（のスキル）を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原：なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか？

岡田：そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか？　というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか？　というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原：まず、ちゃんとしたデータを取ることが難しいんですね。

岡田：正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原：自分でも自分の感情が一番わからないこともありますよね（笑）。

岡田：そういうものなんですよ（笑）。

杉原：以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか？

岡田：それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね（笑）。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原：確かにそうですね。

岡田：だから、自然にそういうデータをどうやったら取れるのか？　っていうのは自分たちの研究の大きな課題ですね。

杉原：ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田：そうですよね、スマートウォッチとかもその一例だと思います。

杉原： スマートウォッチが出た当初はすぐに買いましたけど、３日後にはこれまで使っていた普通の時計が恋しくなってしまいました（笑）。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田：そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

万国共通に親しまれているスポーツ。スポーツを通して人間が受けるものはさまざまあるが、おそらく、スポーツで元気を得ることもそのひとつであろう。懸命に頑張る選手を見て、勇気をもらうこともあれば、自身がスポーツをすることで、健康や力を与えられることもある。そんなスポーツの無限の可能性を信じて活動する団体、一般社団法人 Sport For Smile の梶川三枝代表に話を伺う。

杉原：HP などいろいろと拝見させていただいたのですが、まずは、Sports For Smile について教えていただけますでしょうか。

梶川： 私たちはスポーツで社会を変えるということを謳っていて、普段スポーツをしようと思ってもできないような方々にスポーツをする機会を提供する活動、また「スポーツの力で社会を変える」を体現している団体や活動を紹介するイベントなどを実施しています。身体的、知的発達障がい者の方や、児童養護施設で暮らす子どもたち、ホームレスの方々など、日常生活が難しい状況にある場合、スポーツをするゆとりが生まれにくいのです。そういう方々にスポーツに触れる機会を与えることで、彼らが生きがいを感じて、より良い未来へと歩みだす手助けをするというのが主な活動です。ブラインドサッカー協会さんや（児童養護施設の子どもたちを支援している）ブリッジ・フォー・スマイルさんなどと連携していろいろな方法でスポーツを推進する活動をしています。

杉原：なるほど。具体的にいうと、どのようなものになるのでしょうか。

梶川：3つの柱があります。1つ目は、啓発イベントやセミナーを開催することです。先ほども申しました「スポーツの力で社会を変える」を体現している団体の方をお招きしてのセミナーなどを行っています。その方々の活動を紹介するだけでなく、背景にはどのような社会問題があるのかもお話いただくことで、普段はあまり社会課題に関心がないという人でも、スポーツには興味があるという方に重要なメッセージを届けることができます。スポーツに焦点を当てることで、聴衆の幅を広げられるため、ここがメリットだと思います。

杉原：スポーツをひとつのきっかけにして、社会課題に気づいてもらうということですよね。

梶川：そうです。

杉原：梶川さんは、スポーツを通じてソーシャルインクルージョンをするということを強く言われていると思うのですが、ここに行きついた経緯はどういうところにあったのでしょうか。

梶川：もともとは、世界でこういう動きが非常に高まっていたことがあります。日本ではすでにスポーツを日常的に楽しめている子どもたちに、プロの選手になるという夢や希望を与えられるというのがスポーツの力だと言われていた時代に、世界ではすでに、スポーツの力を活用して社会の問題や課題に取り組もうという大きな動きがありました。

国連の中にもスポーツ局というのがあったほどです。例えば、有名アスリートが国連の活動のアンバサダーになることで、それまではその問題に関心のなかった人々の目を向けさせることをしていたのです。

私は誰もが誰かの力になることができると思っていて、スポーツにはそれを可能にしてくれる力があると思っています。それを体感できたのが、スペシャルオリンピックス種目にもあるフロアホッケーだったのですが、ある時、フロアホッケーをする機会がありまして、杉原さんもおっしゃっていましたけれども、障がいのある方と何かをするとなった時、私たちはどうしても、なにか、少し手加減しようかな、と思ってしまいがちなのですが、実際はこちらが本気で、いや、むきになってやっても勝てないわけですよ。普段から練習されている選手は本当にうまくて、競技している姿を外から見ていると、誰が障がいがあって、誰がないのかなんて、わからないような感じになるんです。

この経験を通して、日常生活の中で勝手に想定してしまっている「救うー救われる構造」を、スポーツを通して“楽しく破壊する”ことができると感じました。

杉原：わかります、その感覚。

梶川：これを体感したことがすごく大きくて、スポーツってやはり、フェアだと思うんですよね。社会的ステイタスとか、身体的な障がい（ディスアビリティ）はハンディにはならないというか、努力をした人が報われるべきだし、ルール設定等の工夫によりそれができるのがスポーツの価値でもあると思うので、そうしたところからソーシャルインクルージョン（社会的包摂）ということを謳っているのです。例えばですけど、大統領とホームレスがサッカーをした場合、ホームレスの方がちゃんと練習して挑んだら、大統領に勝てる可能性がありますよね。そういうことです。また、身体的ハンディのある方にも、得点システムやルール設定を調整することで、参画の機会、勝利に貢献する体験の場を提供することができます。

杉原：そうですよね。

梶川：この場合、スポーツの試合という中では社会的地位は関係ありません。

杉原：確かに。

梶川：もうひとつ例を挙げると、すごく屈強な力士と、3歳くらいの子どもが競争をしたらどちらが勝つと思いますかという問いを私はよく使うのですが、そうすると、大抵の人が力士だろうと予想されます。だけど、競争していただくスポーツが三輪車レースですとなったら答えは変わると思うんです。力士って、そもそも三輪車に乗るのが難しいですよね。

どんなスポーツ、どんなコンテクストかによって、どちらが強いかというのは変わるわけです。それって日常生活の中で忘れがちなことなのだけれど、とても大切なことなのではないかなと思っていて、スポーツにはそれを思い起こさせてくれる力があるなと。

杉原：硬直化した見方を逆転させることができますよね、スポーツは。

梶川：そうなんです。この感覚を、できるだけ多くの方に体感いただけたらと思っています。また、Sport For Smile では2014年からスポーツメンタリングという活動を実施しており、現在はDV（家庭内暴力）の被害者家庭の子どもたち（小学校高学年）に大学生のメンターをマッチングして、月2回一緒にスポーツを楽しむ機会を提供していますが、、開会式ではずっと下を向いて何も言わなかった子が、信頼できるお兄さん・お姉さんや友達と一緒にスポーツをすることで、傷ついた心を回復させていくなど、心理的な効果もあります。PTSD（心的外傷後ストレス障害）で挨拶もできなかった子が、友達を見つけた瞬間にパッと顔が明るくなりその子に駆け寄っていくような光景は、活動の中でよく目にします。プログラム名をスポーツメンタリングと呼んでいますが、スポーツをうまくプレイするための活動ではなくて、心が傷つき、子どもらしい生活ができない子たちに、「安心して子供でいられるひととき」を提供すること、そして彼らが自信と人を信じる力を身に着けてもらうことを目的として実施しています。

後編へつづく

梶川 三枝
名古屋大学（文学部哲学科社会学専攻）卒業後、旅行会社勤務を経てパリに語学留学、長野オリンピック通訳、国際会議運営会社、外資系金融等で働き、2003年夏にオハイオ大学大学院スポーツ経営学科留学。NBAデトロイトピストンズ コミュニティ・リレーションズ部にて日本人女性初のインターンとして採用され、スポーツ経営学修士号取得。帰国後は世界バスケットボール選手権でのVIP対応、米系コンサルティング会社マーケティング・コミュニケーション部、2007年8月より東京オリンピック・パラリンピック招致委員会にて国際渉外、マーケティングマネージャーとして勤務。2010年、スポーツのチカラをよりよい社会づくりに役立てることをミッションとし、株式会社 Cheer Blossomを設立、Sport For Smile の企画運営事業とともに、スポーツの社会的責任に関するコンサルティング・サービスを提供、国連事務総長付スポーツ特別顧問や世界経済フォーラムのスポーツアジェンダ諮問委員会委員、アショカフェロー等を招聘してのセッションや世銀総会公式サイドイベント等を実施している。