人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原：もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか？

岡田：そうですね。人工知能を基本に、修士、学士と約５年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。　例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原：今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です（笑）。

岡田：いや、僕自身は（内面を予測することは）できないですよ（笑）。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原：ならよかったです（笑）。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか？

岡田：そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原：もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか？

岡田：最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが（笑）、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原：岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか？

岡田：もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社（現株式会社）と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle（ビブル）を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原：表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね（笑）。

岡田：そう言われれば、そうかもしれないですね。

杉原：僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田：そう言っていただけるとありがたいです（笑）。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原：世界的にはどうなんですか？

岡田：コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原：確かにそういう面接は、実際にあるようですね。

岡田：面接で一言、二言答えたことから推測して、その人（のスキル）を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原：なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか？

岡田：そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか？　というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか？　というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原：まず、ちゃんとしたデータを取ることが難しいんですね。

岡田：正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原：自分でも自分の感情が一番わからないこともありますよね（笑）。

岡田：そういうものなんですよ（笑）。

杉原：以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか？

岡田：それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね（笑）。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原：確かにそうですね。

岡田：だから、自然にそういうデータをどうやったら取れるのか？　っていうのは自分たちの研究の大きな課題ですね。

杉原：ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田：そうですよね、スマートウォッチとかもその一例だと思います。

杉原： スマートウォッチが出た当初はすぐに買いましたけど、３日後にはこれまで使っていた普通の時計が恋しくなってしまいました（笑）。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田：そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

eスポーツという言葉が先行しつつも、その実態はよくわからないという人が大半なのではないだろうか？　一般的にはテレビゲーム大会と同義に捉えられることが多いが、eスポーツの黎明期からさまざまな角度で関わってきた、運楽家である犬飼博士氏のヴィジョンは壮大だ。RDSの代表であり本誌編集長の杉原と、ゲーム遊び・ゲーム作りに没頭してスポーツにたどり着いた犬飼氏が、未来について語り尽くす。

テレビを使って遊ぶようになった
最初の世代

杉原：犬飼さんは、映画監督を経てゲーム監督（開発）の道に進まれ、その後はeスポーツのプロデューサーとしても活躍されていました。そこでお聞きしたいのですが、一般的にeスポーツ＝テレビゲームというイメージだと思うんです。しかし、犬飼さんが現在やられていのは実際に身体を動かすものが多いですよね？　そこが面白いと思うのですが、犬飼さんは「eスポーツ」というのをどう捉えられているのでしょうか。

犬飼：「ゲームはスポーツだ」ということは、すでに1994年くらいから言っていたんです。自分は1970年生まれなので、カラーテレビがすでに普及していた世代。小学校低学年でアタリ社のテレビゲームが出てきて、高学年になって任天堂のファミコンが発売され、中学くらいでゲーム業界がいろいろ盛り上がってきた。つまり、テレビという装置を見るだけでなく、使って遊ぶようになった最初の世代なんですよ。

もっと言うと、1920～30年代にモータースポーツが生まれるわけですけど。工業社会が成熟してコモディティ化し、車が社会の中に浸透したことで、仕事や遊びに使われ、モータースポーツが生まれるわけです。経済成長をした日本でも1970年代後半にスーパーカーブームがおこりますよね。そういう風に、時代の流れとともに世間へ浸透していく。ファミコンが誕生したとき僕は13歳でしたが、同時に『キャプテン翼』の影響でサッカー人気もおこった。子どもにとっては、どちらも「面白い」というだけで境目はないんです。カウンタックが走っていればカッコイイと思ったし。何も考えず、区別もなく受け入れていた。その感覚はいまでも変わらないんです。

犬飼：小学校の頃にはパソコンも普及してきて、テレビゲームも作っていましたから。

杉原：えっ、作られていたんですか？

犬飼：今ならみんな作るでしょ？　猫を右から左に動かすとか、プログラミング教室でやるのと似たようなものですよ。僕が小学生の頃からできる環境はあったんです。ポケットコンピューターみたいのが、1万円で買えましたから。MSXというパソコンも3～4万円。なので、僕らはグラウンド（校庭）だけでなく、テレビのなかでも遊び始めた世代なんです。そこにはルールがなかったから何をやってもよかった。

杉原：そんな昔から、プログラムの環境が整っていたとは知らなかったです。

犬飼：サッカーもテレビゲームも区別なくゲームに熱中してきたので、「テレビゲームのゲームもスポーツと呼んでもいいでしょ？」というのが僕のeスポーツ感。

2035年には、たくさんの人が
eスポーツの恩恵を受けるようになる

杉原：eスポーツって犬飼さんが提唱したんでしょうか？

犬飼：いや、最初は人から聞きました。1999年頃、『Quake（クエイク）』というゲームをやるイギリスのチームがあって、彼らのチーム名に「eスポーツ」という単語が入っていたんです。それを見て、「eスポーツって表現はいいね」と僕らの周りが言い始めた。当時は、部活のようにテレビゲームをやるニュアンスで使っていたんですけどね。その後、2000年に韓国で『World Cyber Games』という大会が始まって、そこが「eスポーツ」という単語を大々的に使った。そのへんから、eスポーツというものの認識や状況が変わってきたんです。

杉原：へぇ～、ハンゲームが流行った頃ですよね？

犬飼：厳密に言うと、ハンゲームが流行る2～3年前ですね。

杉原：僕は2010年くらいに「eスポーツ」という言葉を聞くようになって。そこから急激に盛り上がって、市民権を得た印象です。

犬飼：う～ん、市民権を得たとまでは言えないかな…。2000年頃、eスポーツ事業を始めるにあたって35年計画を作ったんですよ。そのタイミングで僕はゲームの開発をやめたんです。というのも、作るだけではなくプレイすることもちゃんと伝えたかった。それで、2000年から数えて35年後には、おそらくたくさんの人がeスポーツの恩恵を受けると思ったんです。

杉原：それはどういう意味でしょうか？　詳しく教えてください。

犬飼：スポーツって、スポーツが大嫌いな人にも恩恵を与えていますよね？　というか、溶けている。国の政策など、何らかのカタチでスポーツは生活に入り込んでいるという意味。eスポーツもそうなります。

杉原：今年の茨城国体では、文化プログラムとしてeスポーツ選手権がおこなわれますしね。

犬飼：多分これから10～20年くらいで、そういうものが積み重なって、みんなにとって普通なことになる。ひょっとしたら、eスポーツという言葉もなくなっているかもしれない。

杉原：「ただのスポーツじゃないか！」、みたいなことですか？

犬飼：そうそう。スポーツという言葉に反発する人もいるから、スポーツという名称すらなくなるかもしれない。

杉原：それは「ゲーム」という言葉にも当てはまりそうですね。

犬飼：いや、そもそも「ゲーム」という言葉が当てはまらないから「スポーツ」に言い換えた経緯があるんです。ゲームという言葉は誤解が多いんです。現代社会においては、多くのことがゲームと呼ばれるようになっている。IT社会、情報社会になって、人間の行動をゲームとして扱えるようになってしまったから。このように、あまりにも広範囲にゲームという言葉を使っているので、「ゲーム文化」と言ったときに何を示すのか不明瞭になってしまいました。というわけで、議論が成り立たないので、ゲームという言葉は使いたくないんですよ。

杉原：そこで「eスポーツ」という言葉に置き換えられていったということですね。

身体情報をすべて測定するのが
当たり前の時代になる

犬飼：よくする例え話ですが、「音楽」はもともとアコースティックなものでしたよね。その後、電気が普及することでエレクトリックギターやシンセサイザーなどが出てきて、「エレクトリック音楽」が生まれる。言い換えば「eミュージック」なんです。そういう感じで、「スポーツ」も「eスポーツ」になるだけ。メールもそうでしょ？　いま郵送の手紙を指すとは思われていない。

杉原：昔は、「eメール」って呼んでいましたもんね。

犬飼：そう、「eスポーツ」も「スポーツ」の中に溶けていく。

杉原：つまり、今後はもっと大きなものになっていくわけですか？

犬飼：普通になっていく。コモディティ化していきます。

杉原：そう考えると、犬飼さんが2013年に『スポーツタイムマシーン』を発表された理由がよくわかりますね。

犬飼：そうなんです。情報化はあらゆるところで起こっていて、僕たちは身体情報をすべて測定するという意味での「情報化」をやっている。それが当たり前になる社会を目指しています。まだ珍しいことなんで早めにやったほうがいいですよ。

杉原：もっと早く知っていたら、10年前の自分と100m走で戦いたかったですよ。でも、あの映像を見ると、みんなすごく楽しそうですよね。

犬飼：人間ってくだらないから、走るだけで大喜びする（笑）。走っているときは、背景に映し出されている対戦相手の映像も見えないんですけどね。

杉原：それってリアルなスポーツと似ていますよね。サッカーをやっている人と、観ている人は乖離している。

犬飼：そういうことです。

eスポーツに関する
プラットフォームを作っていきたい

杉原：『スポーツタイムマシーン』はどこかに常設されているんですか？

犬飼：まだないです。『スポーツタイムマシーン』を作る前、2010年頃には『eスポーツグラウンド』という、4×6mくらいの設備を作って売っていたんです。床面にプロジェクターを当てて、キネクトで各種データを取って、デジタル空間で遊べるというもの。簡単に言えば、床に大きいiPadがあって、指の代わりに人間が動いて遊ぶような感じ。アプリは誰もが開発できるようにして、eスポーツのグラウンドとして使いたかった。

iPhoneもまだ完全には普及していなかった時代なので、当時は理解してくれる人が少なかった。いまは、それよりもサイズを大きくした『IT体育館』を目指しています。

杉原：それはすごいですね。人間の各種計測データが遊びに変化する。

犬飼：でも、昔からなかなか資金調達ができないんですよ。未来は必ずそうなる、そうならざるを得ないことを描いているのに。

杉原：稲見昌彦（東京大学先端科学技術研究センター教授）さんとやられていることも、そのひとつですか？

犬飼：そうですね。稲見さんは『超人スポーツ』という名前で研究をしているということです。

杉原：計測データを使って遊ぶという意味では、ワントゥーテンさんがやっている『サイバーボッチャ』とも似ていますよね。

犬飼：そうそう、彼らは『サイバーボッチャ』という単体の遊びを提供していますけど、僕らはプラットフォームを提案している。それくらいの差ですよね。

杉原：今後、iTunesストアみたいにeスポーツに関するプラットフォームを作っていくわけですね。将来的には、情報化させた身体情報をどう活用していくのでしょう。

犬飼：データ（身体情報）をリアルタイムで取って、クラウドに貯めて、過去の情報をほしいときに引っ張れるようにしたいと思っています。

後編へつづく

犬飼博士
1970年、愛知県一宮市生まれ。運楽家／遊物体アソビウム／ゲーム監督。映画監督山本政志に師事後、ゲーム業界にて『TOY　FIGHTER（アーケードゲーム）』、『UFC（ドリームキャスト）』、『WWF RAW（Xbox）』といった作品を制作。2002年より、スポーツとゲームを融合する「eスポーツ」の事業を開始。『World Cyber Games』、『Cyberathlete Professional League』、『Electronic Sports World Cup』といった国際eスポーツ大会の日本予選をオーガナイズ。2007年度文化庁メディア芸術祭にて、ゲームソフト『Mr.SPLASH!』が審査員会推薦作品に選出。2012年には、日本科学未来館で常設されている『アナグラのうた　消えた博士と残された装置』に参加。2013年には、YCAM公募企画『LIFE by MEDIA』国際コンペティションや、文化庁メディア芸術祭エンターテインメント部門優秀賞などを受賞した『スポーツタイムマシーン』を発表。