対談 CONVERSATION

行動から人の内面状態を読み取るAI!?岡田将吾の気になる研究 前編

長谷川茂雄

人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原:もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか?

岡田:そうですね。人工知能を基本に、修士、学士と約5年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。 例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原:今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です(笑)。

岡田:いや、僕自身は(内面を予測することは)できないですよ(笑)。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原:ならよかったです(笑)。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか?

岡田:そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原:もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか?

岡田:最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが(笑)、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原:岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか?

岡田:もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社(現株式会社)と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle(ビブル)を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原:表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね(笑)。

岡田:そう言われれば、そうかもしれないですね。

杉原:僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田:そう言っていただけるとありがたいです(笑)。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原:世界的にはどうなんですか?

岡田:コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原:確かにそういう面接は、実際にあるようですね。

岡田:面接で一言、二言答えたことから推測して、その人(のスキル)を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原:なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか?

岡田:そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか? というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか? というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原:まず、ちゃんとしたデータを取ることが難しいんですね。

岡田:正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原:自分でも自分の感情が一番わからないこともありますよね(笑)。

岡田:そういうものなんですよ(笑)。

杉原:以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか?

岡田:それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね(笑)。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原:確かにそうですね。

岡田:だから、自然にそういうデータをどうやったら取れるのか? っていうのは自分たちの研究の大きな課題ですね。

杉原:ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田:そうですよね、スマートウォッチとかもその一例だと思います。

杉原: スマートウォッチが出た当初はすぐに買いましたけど、3日後にはこれまで使っていた普通の時計が恋しくなってしまいました(笑)。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田:そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾(おかだ・しょうご)
国立大学法人北陸先端科学技術大学院大学(JAIST)准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

(text: 長谷川茂雄)

(photo: 増元幸司)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

対談 CONVERSATION

VR仮想現実がもたらす世の中アップデート

HERO X 編集部

VR技術のソリューション提供で最先端を走る企業、株式会社ABAL。VRライブストリーミングやVRストアなど、ビジネスにキャッチアップしたアイデアで突出している点が特徴だ。本誌編集長・杉原も昨年、同社の「ABAL:プレゼンテーションタワー(6階建てビルを仮想空間の中で体感する展示)」を体験して大興奮! VRは今後、我々に何を提供してくれるのか。代表取締役・尾小山良哉氏が提唱するキーワード「リテールテイメント」とは何か? 未来のテクノロジーを展望する2人の対話から、杉原のVRアイデアも飛び出す!?

現実空間を拡張していく
ロケーション型VR

杉原:御社の社名のABALは、アヴァロン(Avalon)から来ているんですか?

尾小山:そうです。アヴァロンの語源はケルト語で「リンゴ」なんです。もう1つにはアーサー王の眠るアヴァロン島という島の名前で、もう1つの世界、マルチバースという意味で名づけました。

杉原:VRブームの第一期といってもいい2016年に会社を立ち上げられて、この5年間は出口戦略も含めて大変だったと思います。続けられたのは、VRの時代が必ず来るという思いがあったからですか。

尾小山:そうですね。今おっしゃられた出口戦略については、今でも信じていたことが実現できたとは言えない段階です。ただ、信じられるかというと、それは信じられる。やはり最大の理由は、人間のコミュニケーションの表現には、まず文字があって、その次に映像になったけれど、結局映像のコミュニケーションは映画ができた100年前から、精度は上がっても「ビジュアルのコミュニケーションに時間軸がつきました」というところから変わっていないからです。

空間そのものをパッケージングできる体験のコミュニケーションが、僕らのこのやり方、つまりVRだと思っています。体験のコミュニケーションは文字も映像も包括していく上位コミュニケーションですから、タイミングの問題はあれども、確実にこの流れになっていくと思っています。

ABALが提供している体験共有プラットフォームは、システムとハードを組み合わせ、VR空間内での自由移動・体験共有を可能にするソリューション。設置に大がかりな工事なども必要なく、空間をVRで拡張することができる。
画像元:https://www.abal.jp/

杉原:実際にABALタワーを体験させてもらって、すごく面白かったんです。リアルと仮想現実の境界線がかなり微妙になっていて、没入度が高いなと。やはり御社にしかないシステムやテクノロジーがあるんですか。

尾小山:我々の最大の強みは空間を圧縮する技術ですね。小さなスペースの中に巨大なVR空間を作る技術に関しては、特許技術でもあります。一番わかりやすいものでいうと、あのタワーの中のエレベーターの部分はABALだけのものです。今VRは大きくクラウド系の文脈と、ロケーション系の文脈という2つがあるんですよ。クラウド系の文脈はご存じの通り、クラウドの中にゲーム空間のような大きなワールドを作っていく考え方です。一方で 僕らがメインとしているのはロケーションベースのVRで、現実の空間に対して、VRを使って空間を拡張する考え方です。この技術を使って現実空間の不動産価値を向上させるとか、場所そのものが持っている価値を飛躍的に伸ばすということをやっています。そして、今我々が最も注力している領域が店舗空間なんです。


まるで本当にショップを訪れているかのような感覚になるVR POP-UPストア。

杉原:というと、タワーの一番上ですね。

尾小山:そうです。商空間そのものをDX化するところに我々のソリューションは使えると思っていて、バーチャルのストアを作ったり、店舗内のディスプレイ空間をVRで作って、その中で買い物ができるようにしたり。それが今、我々が一番力を入れている領域です。

便利軸、代替案、可逆性でVRを考える

杉原:タワーの中に360度の巨大ドームシアターがありましたよね。このコロナ禍でイベント、エンタメ関係は多大な打撃を受けました。その中でこのシアターは非常に可能性が大きいと思いますが、やはり今後、ライブシーンやエンタメシーンがストリームとして行われていくというのは大いにありますよね。

尾小山:そこは間違いないと思います。今まで集客というのは一か所に人を膨大に集めなくてはいけなかったのですが、それ(会場)と自宅で体験するというものの間に、僕は分散集客というのがあると思っています。例えばですけど、中央区の会場で100人規模だとしても、全国10か所でやっていますというと、それだけで1000人の会場となる。それだと集中過密リスクも防げて、機会損失も少なくなる。分散で集客を小さくしていく流れを作るときに、VRは非常に可能性があります。1回のライブで3万人ドーンと集めるのではなく、全国の市町村に1個ずつとか、そういう興業の手法がこれから出てくるのではないかと思っていますね。

『ABAL:プレゼンテーションタワー』では、世界3大フェスと称される音楽フェスティバル『Tomorrowland』を、360度のドームシアターで再現した。こうしたVRを使ったライブ参加方法が浸透する日も近い。

杉原:中央集権的な流れももちろんあるのですが、情報社会で5Gが動いていくと、中央に行かなくて済むという流れが必ず出てきますよね。

尾小山:加えて、コロナ禍を経て、オンラインコミュニケーションが悪だったり、違和感だったりの時代にはもう戻らないと思います。可逆性のない変化が起きていて、それはマインドステートとして相当大きいですね。

杉原:エンタメの中でも旅行はどうでしょうか?

尾小山:旅行そのものの代替案としてのVRは厳しいと思います。便利軸と代替案というものと、可逆と不可逆というものがあって、バーチャルライブなどは代替で始まったけれども、別の面白さが出てきて、ここは生き残る領域だと思っています。一方で非対面コミュニケーションなどは、便利軸で動いてしまって可逆性はゼロ。これがもう一番戻らない軸だろうと。

そういう意味では、バーチャルツアーは代替案で、便利でもないので、可逆性がすごく強くて、コロナが終わったら戻るだろうという感じです。

杉原:例えばですけど、バーチャルツアーで「今、イギリスに行ってきたよ」みたいにはならないと僕も思います。でも1つだけ、バーチャルツアーが出たら絶対やりたいと思うのは、宇宙ですね。

尾小山:そこはそうですね! 結局、旅行の一番可逆性が大きいところは、行こうと思ったら行けるということ。でも宇宙は、そう簡単には行けない場所だから、バーチャルツアーは流行ると思います。国際宇宙ステーションに360度のカメラがあって、そこに行けるというだけでも、相当アガると思います。

杉原:しかもそこに無重力空間的な雰囲気を出す装置があれば、「宇宙に行った」と言っていいですもんね。だからやっぱりこのVRというものは人間の感覚値を、ある意味すごく拡張していくものだと思うので、拡張領域って人間の欲深い考え方でいくと、限りないですよね。

ABALがめざすものは“リテールテイメント”

杉原:ABALの事業の中で、街中で開かれる展覧会のようなこともされているとか。

尾小山:百貨店で開かれたあるアミューズメントパークの展覧会を手伝わせていただいています。このパークは僕がCMをやっていた頃にも携わったことのある所だったので、今回ABALとして関われることになったときは感慨深いものがありました。パークのキャラクターにバーチャルで会えたり、物語の世界の中をバーチャル空間を使って散策できたりといったことをやらせていただきました。

杉原:すごいですね。かなり時代の潮流を抑えていますよね。

尾小山:ABALで色々なモノ作りをしてきましたけど、今回の展覧会は僕としては、かなり完成形に近いです。前半では、キャラクターが住む世界をバーチャル空間に再現しています。それで、最後がお店になっていて買い物ができる。僕らが思い描いている“リテールテイメント”、つまりエンターテイメント+リテール空間が全部統合されていて、1つの世界観の中で、規模感のあるコンセプトツアーみたいなものが実現しています。

僕らが考えるリテールテイメントの最終形ってこうしたアミューズメントパークそのものなんですね。世界的に有名なアミューズメントパークがいくつかありますが、どこのパークもパーク部分が大きく見えるけれど、反対側にはそのパークのキャラクターグッズなど、物販エリアが必ずあります。この部分は売り場そのものなので、ひとつの大きなリテールテイメント空間ととらえることもできると思って。僕らの最大の強みは、あのエンターテイメント空間とリテール空間の比率を自在に変えることができることです。3坪くらいの中でアミューズメントパークのような空間を構築するというのが僕らの一番やりたいことかなと思うので、今回の展覧会の企画を一緒にやれたのはすごくうれしいですね。

ディレクタースキルの
マネタイズの手段が起業だった

杉原:HERO Xはエンジニアやデザイナー、企業など、色々な人が見てくれているのですが、その中で起業をこれからめざす人達もいらっしゃいます。ひとことアドバイスをいただけますか?

尾小山:やってみる、ですよね。結局、僕っていくつ会社を作って、いくつ潰したかわからないみたいな感じのところがあるんです。僕自身はディレクターでモノ作りをしていて、自分の持っている技術をどうにかマネタイズしなければいけなくて、起業に至ったんです。逆に孫(正義)さんとかは起業家なので、色々なビジネスプランの中で一番いけるやつを選ぶ感じですけど、あれって色々なことができる人に与えられた選択肢だなと僕はすごく思うんです。僕はそうではなかったけれど、起業するというゴールを持ってやりたいことをいっぱい出すことができる環境にある人ならば、それもいいのではないかなと思います。

杉原:今日は面白い話をありがとうございました。今、我々は医療の身体データをセンシングする事業をやっているのですが、出口としてVRというのは間違いなく必要になってくるところだと思います。ぜひ、またお話させてください。

尾小山:はい。体感というものを表現する箱というか空間としては、我々の空間はすごく使いやすいと思いますので。

尾小山良哉 (おこやま・よしや)
株式会社ABAL代表取締役。1996 年金沢美術工芸大学卒業後、太陽企画株式会社(企画演出部) に入社、24 歳から TV-CM の演出を開始し、同年、毎日広告デザイン賞第 1 部優秀賞 受賞。その後、あらゆる映像表現のディレクター として頭角を現し、2004 年に有限会社ディスバウンドディメンショ ン、2008 年に株式会社ドロイズ、2014 年株式会社 wise を設立。 TV-CM、VP、MV、遊技機、ゲーム等幅広いジャンルでの映像制作に携わる。 2016 年 1 月に設立されたジョイントベンチャー企業「株式会社 ABAL」を設立。

関連記事を読む

(text: HERO X 編集部)

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー