対談 CONVERSATION

行動から人の内面状態を読み取るAI!?岡田将吾の気になる研究 前編

長谷川茂雄

人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原:もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか?

岡田:そうですね。人工知能を基本に、修士、学士と約5年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。 例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原:今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です(笑)。

岡田:いや、僕自身は(内面を予測することは)できないですよ(笑)。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原:ならよかったです(笑)。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか?

岡田:そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原:もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか?

岡田:最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが(笑)、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原:岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか?

岡田:もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社(現株式会社)と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle(ビブル)を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原:表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね(笑)。

岡田:そう言われれば、そうかもしれないですね。

杉原:僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田:そう言っていただけるとありがたいです(笑)。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原:世界的にはどうなんですか?

岡田:コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原:確かにそういう面接は、実際にあるようですね。

岡田:面接で一言、二言答えたことから推測して、その人(のスキル)を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原:なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか?

岡田:そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか? というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか? というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原:まず、ちゃんとしたデータを取ることが難しいんですね。

岡田:正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原:自分でも自分の感情が一番わからないこともありますよね(笑)。

岡田:そういうものなんですよ(笑)。

杉原:以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか?

岡田:それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね(笑)。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原:確かにそうですね。

岡田:だから、自然にそういうデータをどうやったら取れるのか? っていうのは自分たちの研究の大きな課題ですね。

杉原:ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田:そうですよね、スマートウォッチとかもその一例だと思います。

杉原: スマートウォッチが出た当初はすぐに買いましたけど、3日後にはこれまで使っていた普通の時計が恋しくなってしまいました(笑)。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田:そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾(おかだ・しょうご)
国立大学法人北陸先端科学技術大学院大学(JAIST)准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

(text: 長谷川茂雄)

(photo: 増元幸司)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

対談 CONVERSATION

【HERO X × JETRO】乳児を見守るセンシング 介護現場でも広がる“眠りログ”

JETROが出展支援する、世界最大のテクノロジー見本市「CES」に参加した注目企業に本誌編集長・杉原行里が訪問。「ユニークなテクノロジーを発明・開発し、お客様にサプライズを」をテーマに、現場の声を大切にしながらセンシング技術の開発に情熱を注ぎ続ける株式会社リキッド・デザイン・システムズ。 数年前、保育園で起こった乳児の突然死。午睡中の乳児が保育園で突然死亡したこのニュースは子どもを持つ親たちに衝撃を与えた。事故から数年経った今、自治体の中には昼寝を見守る機器の保育園への導入に補助金を出す所も出てきた。寝ている時の体の状態を可視化する装置を開発、世界への進出を目指している同社の代表・遠山直也氏にお話を伺った。

“何の役に立つの?”
見向きもされなかった草創期

杉原:はじめまして。僕自身はエンジニアやデザイナー寄りなので、遠山さんのお話を伺えることをとても楽しみにしていました。今回、初のオンライン開催となったCESに出展されて、感触はいかがでしたか?

遠山:当社はCESへの出展自体が初めてでしたが、数社の企業が当社の技術に興味を持ってくださり、打ち合わせに発展しました。オンライン開催でしたので製品を実際に手に取って見てもらえなかったのは残念でしたが、海外での認知度が少しでも上がったことはよかったですね。

杉原:それはうれしい反響ですね。そもそも御社のセンサー技術開発のきっかけはどういったことからだったのですか。

遠山:この会社の生い立ちからになるのですが、もともと私はシリコンバレーにある半導体のソフトウェア開発の会社に勤務していました。友人が次々と起業していくのをきっかけに、私も起業しました。立ち上げから約5年は半導体ビジネスをやっていましたが、資金繰りが厳しく行き詰ってしまった。そんなとき、たまたま我々の基幹技術になっている「バイタルセンサー」を紹介されて、技術を買い取ったところから、当社の製品開発がスタートしました。

杉原:なるほど。開発当初から乳幼児向けに使おうと考えられていたのですか?

遠山:実はその前にもうワンステップあるんです(笑)。当初我々は、この技術は介護の世界で需要があるだろうと考えていました。その当時はまだIoTという言葉はなかったのですが、センサーとクラウドを組み合わせて何か作れないかと考えていたんです。

杉原:具体的にはどういった製品を開発されたのですか?

遠山:呼吸や心拍数など、眠っている間の体の状態を計測するものです。通常の医療用具は直接身体に装着するものがほとんどですが、当社の製品はベッドマットの下にセンサーマット を敷くだけ、要は非接触で体動から推測した呼吸と心拍が計測できるという画期的な技術を使ったものでした。しかし当時の介護の世界では、こんなものが何の役に立つのか、と全く理解されなかった。結局、商品を作ったものの全く売れず、再び経営危機に陥ってしまいました。

杉原:介護用品の難しいところですね。今までの介護の世界は、今あるものをいかに安くできるかという方向に目が行きがちで、新たなサービスや付加価値というところにまでなかなか考えが及ばないところがあるのではと僕は常々思っています。

遠山:そうなんです。でもここからがまた面白いところで、この商品を新聞で紹介してもらったら、保育園から次々と問い合わせが来るようになったんです。

杉原:それはすごいですね。保育園からの問い合わせが多かった理由には、「新生児突然死症候群」が関係しているのでしょうか?

遠山:そうなんです。ちょうど話題になっていた時期でした。そこで、保育園に協力してもらって試作品を実際に使用してもらうことを始めました。しかし、小さくて軽い赤ちゃんでは、とにかくエラーばかりで。初めのうちはそれはもう散々な結果でした。現場からもこんなもの使い物にならないと言われてしまって。ところがこの時も、運よく半導体商社の社長がこの商品を大変気に入って出資してくださり、1年ぐらいかけて「IBUKI」という製品を開発しました。それが約3000台も売れたんです。

保育園でのお昼寝見守り用に開発された「IBUKI」は全国の保育園から問い合わせがある。

杉原:それは素晴らしいですね。

遠山:東京都が保育施設に助成金を出したこともあって、「IBUKI」の認知度は急速に高まっていきましたね。

杉原:PoC(概念実証)としての実証フィールドは、提携していた保育園や幼稚園だったのですか?

遠山:はい、そうです。約3か月で問題点をクリアにし、その後は9か月ほどかけて幼稚園で実証実験をしました。他社と比べて、うちの製品は布団の下に敷くタイプのものでしたので、ボタン電池の誤飲などの心配もなく、安全性に関して問題視されることはありませんでした。一番気を使ったところは“誤動作”が起きないようにすることでした。誤動作が起きて頻繁にアラートが鳴ってしまうと、アラートに対しての信頼性が低くなってしまう。なので、アラートに加えて更にアプリを使って呼吸の波形を目で見てわかるようにしたんです。現場の先生方から、眠っている赤ちゃんが呼吸をしているかどうかの確認は非常に難しく苦労していると伺っていました。目で見てわかるという安心感が大変大きいという声が多かったですね。

杉原:赤ちゃんの呼吸を可視化して分かりやすくしたことが、他社製品と比較して、「IBUKI」が現場からの信頼を勝ち得たポイントだったということですね。

遠山:その通りです。画面での操作を細かくわかりやすくして取り扱いを簡単にしたことも大変好評でした。

介護施設や産婦人科が導入
やっとはまった当初の予測

杉原:こちらは保育施設用ですが、うちにもまだ幼い子どもがいるので、個人向けの製品が出てくると親としても安心して子どもを見守ることができますよね。

遠山:そうなんです。「IBUKI」の改良点などを盛り込んで、更に高性能にした個人向けの商品を開発しました。こちらは「Baby Ai」と言うのですが、その後は産婦人科から要望があって「Baby Ai Med.」も開発しました。

杉原:「IBUKI」は3000台売れたということでしたが、そこから得たビッグデータはディープラーニングさせたりしているのですか?

遠山:残念ながら最初の製品はすべてiPadで完結してしまっていたので、現在はクラウドの開発を介護の分野でやっているんです。

杉原:もったいない(笑)!! ということは…創業当初の遠山さんのクラウドの考え方にまた戻ってきたということですね。

『体動センサ 介護log Med.』はコロナ禍で人手不足が叫ばれる医療現場からの引き合いもあるという。

遠山:そうなんです。結局またクラウドを開発する羽目になりました(笑)。

杉原:今後、クラウドを使いながらディープラーニングさせていくとなると、遠山さんはどのような未来を描かれていますか?

遠山:まずクラウド化とAIは必須だと思っています。

杉原:僕たちは1000件近い歩行や座位のデータを使って、歩く・座るといった未病対策やパフォーマンスを上げるために必要なデータを取得しています。それを“データバンキング”と呼んでおり、自分たちが取得したデータだけではなく様々な身体データを集約できるプラットフォーム構築に取り組んでいます。

遠山:それは素晴らしい! 実際にビッグデータがあってもそれをどう集約してどのように活用するかという課題がある。ぜひご一緒させていただきたいですね。

杉原:もちろんです。一つの分野のビッグデータだけを持っていても仕方がないんですよね。やはり様々な分野のデータが欲しい。

遠山:実はいま、“睡眠”の分野で新たな開発を進めています。自閉症など、なにか問題を抱えているお子さんは、睡眠に問題を抱えている場合が多い。我々の製品は非接触で睡眠のデータが取れるので、簡易的な方法で子どもの睡眠の質を見守ることができると考えていています。介護の分野では、オムツ交換のタイミングを知らせるというセンサーの開発を進めていて、クラウドに組み込もうとしているところなんです。

杉原:遠山さんはこれから先、介護をどのように変えていきたいとお考えですか?

遠山:まだお話できないこともあるのですが、バイタルを取れるクラウドと、現場で使う帳票類を一体化させるというシステムの開発を進めています。センサーに関しては、先述のオムツ交換の時期を知らせる尿センサーと、在宅でも遠隔で異常を知らせるナースコール、温室センサーで熱中症を知らせる、離床を知らせるといった5つのセンサリングを一つのパッケージにしていきます。

杉原:なるほど。これから日本が抱えていく社会課題に立ち向かっていくというイメージですね。

遠山:そうですね。現場ではまだそれぞれのセンサーを別々に購入して使用していて、コストもかかるし電源も複数必要になるので、ぜひワンパッケージ化してほしいという要望が多かったんです。それなら我々がいま持っている技術でやれるところまでやってみようと。ワンパッケージ化に向けて、いまクラウドと連携して実証実験の最中です。

杉原:その商品、欲しいです! 僕は自分のデータが可視化されるのが好きなので(笑)。
今回遠山さんとお話させていただいて、いろんな浮き沈みを経験されながら、苦しい時もいつも前向きで楽しんでいらっしゃるような印象を受けました。最後に、いま起業を目指している方たちに向けて、遠山さんから何かアドバイスをいただけますか。

遠山:どんなにつらい時でも諦めちゃいけないということだけでしょうか。辛くて苦しい時ほど、起業したからには社員を守らなくてはならない、とにかく会社を潰すわけにはいかないという強い信念だけは持ち続けていました。起業すると、苦しい時に身を切るのはまず自分です。1年近く役員報酬のない時期もありましたが、会社を潰してしまったらそこで終わりなので、そこだけはなんとか守ってきました。

杉原:素晴らしいですね! 今後は社会の課題になっている分野で活躍の幅を広げていかれるのですね。御社のバイタルセンサー技術を使うことで、いろんな方面に応用が利く。もしかしたら近い将来、遠山さんと何か一緒にできるんじゃないかと期待が膨らんでいます。本日はありがとうございました。

遠山直也 (とおやま・なおや)
東京都出身。1985年ニューヨーク州立大学卒業。 半導体ソフトの米国ケイデンス・デザイン・システムズ社でMarketing Directorを経て、2003年仲間内で半導体関連のベンチャー企業を設立。 2008年に会社を清算して、株式会社リキッド・デザイン・システムズを設立。 当初半導体受託設計中心に事業を進めていたが、2013年に元ソニーの技術者が開発したVitalセンサーと出会い、半導体からヘルスケアのセンサー開発事業に転換。 3つの助成金に採択され、IoT呼吸センサーと空気よる肌の共振マッサージ器(美顔器)を開発した。その後、両技術の事業化を推し進めている。

関連記事を読む

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー