人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。前編では、氏がこのAIの研究に至った経緯や実情について伺った。後編では、認知症の初期症状などを読み取るために、研究の成果がどう活かされているのか？　気になる具体例やそれがもたらす今後の展望を語っていただいた。編集長・杉原が描く未来との共通点とは？

複数の行動データから認知症傾向を読み取る

杉原：岡田さんのプロジェクトのひとつは、認知症の症状を読み取るというものですよね。

岡田：そうですね。老人ホームのどの場所でよく生活していたのかという行動のデータを取りながら、高齢者にロボットと対話してもらったりして、行動履歴・対話履歴といったデータを掛け合わせたものを分析すると、認知症予備軍といいますか、認知症傾向にある方がある程度判断できることを示しました。ただ、限られた人数での実験結果なので、結果の解釈には注意が必要です。

杉原：それは、（認知症の）進行度とかがわかるということですかね。

岡田：ある程度はそうですね。データがもっと増えてくれば、そういうことがより可能になってくると思います。ただ、難しいところが感情と一緒で、認知症かどうかの診断っていうのは、お医者さんがいろんな検査をした上で統合的に判断するものなので、認知症傾向を検出できるというと、言い過ぎになってしまうんです。僕らの研究での正解データは、認知症の傾向を測る簡易的なスクリーニングテストの点数ですから、あくまで行動データからAIがスクリーニングテストの結果の傾向を推定しました、ということになるんですよ。

「超高齢化社会こそ、テクノロジーにとっては多くのチャンスがある時代」だと常々言っている杉原。認知症検知のシステムには、これからを生き抜くヒントがあると感じている。

杉原：医療行為ではないってことですよね。あくまで予測、予防のアドバイス的な役割を果たすのが岡田さんの研究ということですね。

岡田：そうですね。「こういう可能性があるのですが、大丈夫ですか？」というようなことですね。あくまで診断ではなくて。

杉原： AIなので、どれだけデータを溜められるのかも重要ですよね。結構な日数のデータを採らないと所見というのはわかりませんし、行動に合わせてその変化を見ていくことも重要になりますよね。

岡田：まさに、そうですね。

杉原：取ったデータをAIで解析する出口としては、認知症に限らず何でもありなんですかね。

岡田：そういうことは言えると思います。ただ、自分が専門とする分野は、AIのなかでも機械学習というものと、あとはセンサーの時系列解析というものを合わせて、例えば認知症テストの点数の良し悪しを推定する技術までなんです。データの結果をどうやって活かしていくかということになると、いろんなものが考えられますが、ちゃんとしたサービスと考えると、まだ明確なものはできていないので、これからですね。

2019年、英・ケンブリッジ大学で開催された著名な国際学会“ACII”では、ジョージ・アンド・ショーン株式会社と岡田研究室の共著論文「ライフログを活用した認知症の早期検知」が採択された。

 熟練者から得たデータはいわば遺言みたいなもの!?

杉原：まだしっかりとした形になってはいなくても、いくつかお話していただけるプロジェクトはありますか？

岡田：例えば美容アドバイザーのコンサルティングのテクニックをモデル化するというフューチャー株式会社さんとの共同研究の試みにも携わっています。美容コンサルタントの第一人者で、非常に有名な小林照子さんというアドバイザーの方がいらっしゃいますが、小林さんは、クライアントに対して化粧の仕方だけでなく、これから何になりたくてどこに向かって行きたいのか？　というようなライフスタイルのヴィジョンまで聞き出したり、提案したりするんですね。その小林さんのアドバイスのオリジナルメソッドを、AIを通して後世に伝えていけないだろうかと、いま試行錯誤しているところです。

杉原：それは面白いですね。

岡田：それでお弟子さんと小林照子さんのコンサルの仕方を、音声やジェスチャー、目線などのデータとして読み取って、“上手なコンサル”のノウハウみたいなものを積み上げていこうとしています。

岡田氏は、「人間の内面を数値化、可視化できれば、これまでできなかった試みがいろいろできるようになる」という。

杉原：そのデータが溜まってくれば、小林照子さんがこれまで感覚的にやってきたものが、数値として見えるようになる。まさにテクノロジーでわかりやすく提示するということですね。

岡田：そういうことを実現していければいいですよね。

杉原：そういうデータの集積っていうものは、成功された方や、その道の第一人者の方々の「遺言」みたいな感じになりそうですね（笑）。

岡田：そういうものの最初の例みたいになったらいいですね（笑）。確かに自分の遺言になるようなものを後世に残したい気持ちはあります。

杉原：例えばウォルト・ディズニーがまだ生きていたら、彼の感覚的な部分や、言葉のチョイスだったりをAI化していくと考えたらすごいですよね。それが精度の高いものであれば、ウォルト・ディズニーが永遠にコンサルできるってことですよね（笑）。

岡田：何年経ってもアニメーターに厳しく的確な指示を出し続ける。そんなことができるかもしれません（笑）。

コミュニケーションスキルの問題点もデータから紐解く

杉原：自分の会社も先代がもう亡くなっていますが、会社経営って意味では、蘇ったらめちゃくちゃ嫌ですけどね（笑）。それはスポーツの世界にも活用できそうですね。

岡田：そうですね。チャンスがあれば、何か一緒に取り組めたら面白いですね。

杉原：例えば、過疎が進んでいる場所とかもそうですし、そうではなくても、いまは子供たちが自由にスポーツできる場所も少なくなってきています。そうすると良質の指導を受ける機会も減りますよね。

岡田：スポーツがのびのびできる場所は、確かに昔より少ないかもしれません。

杉原：そういった状況に対して、チュートリアル的な取り組みも可能になっていくということですね。極端に言えば、イチロー選手のメソッドがあって、そのメソッドを、AIを通して効率よく伝えていければ、イチローさんを知らない子供たちがイチローさんの弟子になるみたいな感じですね。

岡田：そうですね。例えば若い担い手の少ない伝統芸術の職人さんなどの技術やメソッドを、情報化して伝えていければ面白いかなと思います。アメリカの南カリフォルニア大の研究グループは、戦争の体験者の姿をVirtual Reality（VR）の技術で再現し、また体験に関する証言もコンピュータに蓄積することで、戦争の体験に関してVR上の体験者と実際に質問応答の対話ができるシステムを作りました。実際のミュージアムでこのシステムが展示されたようです。

杉原：確かに人々が防げるものを事前にアドバイスできれば、それを回避することができますよね。認知症もそのひとつですね。あとは先ほどの小林照子さんのような技術を紡いで継承していくようなもの。そのほかに岡田さんの研究が活かせるものは何かありますか？

岡田：あとはコミュニケーションのスキルですかね。例えばプレゼントとかで、説明の質を上げることにも活用できます。わかりやすい説明だったか？　流暢に喋れたか？　などをあらゆるデータから自動推定して、あなたのプレゼンのこの部分がちょっとわかりづらいみたいなものを割り出す研究もしています。

杉原：それは助かるなぁ（笑）。ゲーム感覚にもなりますね。自分で100%だと思ったとしても、例えば70%だと判定されれば、こことここは直さないといけないってなりますよね。

岡田：そこで逆に、AIに指摘されたところだけがうまくなってしまうこともありそうですけど（笑）。

杉原：それだけ様々な出口がある岡田さんの研究ですけど、一歩先の未来を考えたとき、どんな分野に一番応用されそうですか？

岡田：どれもまだ一歩足りないんですが、やはり高齢者関連は大事だと感じています。例えば老人ホームを利用している高齢者が、実際に普段はどんな生活をしているかというライフログを、ご家族がまとめて見たいというニーズは高まっています。推定するだけじゃなくて、そういう行動を可視化するだけで、様々な対応ができるようになりますから、高齢者自体のライフスタイルの質も、その家族の気持ちも、全然変わりますよね。

杉原：確かにそうですね。僕も超高齢化社会は逆にチャンスだと感じていますから、これから面白いことがいろいろできる未来がやってくると思っているんですよ。

岡田：僕もこういう時代だからこそ楽しんで、やはり若いときのテンションやパッションを持ったまま、年老いて死んでいきたいと思っています（笑）。そのために若い頃の感覚・新鮮さを忘れないように心がけていますし、社会的にもそんな自分の思いや経験を行動として伝承できる技術を作りたいという思いが、常にあります。

杉原：そういう未来は、自分で作るしかないですね。

岡田：待っていても歳はとっちゃいますからね（笑）。

前編はこちら

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

前編ではeスポーツが生まれた背景や現状を語り合った。そして今後は、eスポーツは一般的なスポーツのなかに溶けていくだろうと予測。後編では具体的な未来予想図を展開。犬飼氏が構想する『IT体育館』の可能性について話が展開していく。

人の動きを解析すると未来が見える

杉原：僕は人の動きを解析することが好きなので、リアルイム身体情報を測定してクラウドにストックしていくという犬飼さんの『IT体育館』構想に共感するんです。RDSは車いすレーサーの開発をしているのですが、「人間が45分くらい座り続けるとどんな動きをするのか」、「何回減圧するのか」といったことから、その人の身長や体重、年齢が予測できて面白いんです。

犬飼：そういう研究データはみんな欲しくて仕方がないんですよ。たとえば、『アナグラのうた –消えた博士と残された装置–』という科学展示が、日本科学未来館にあるんですけど。それは、「空間でどういった情報を取って、どう利用すれば、どう幸せになるか」という空間情報科学に関する展示なんです。面白いのは、僕たちがそれを作っている様子を、京大の先生がさらに研究している。つまり、入れ子構造になっているんです。京大の先生たちは、僕らの会議や制作風景をすべてビデオに録画した後、「犬飼が立ち上がった」「◯◯と喋った」とかを全部書き出して、「犬飼が立ち上がると議論はこう変わる」とか「何分くらいでこう変わる」とかを解析して論文にしているんです。そういうことを自動化させたい。

杉原：そんな研究があるんですね。

人間のためではなくて、
テクノロジーが成長するためにやっている

犬飼：最終的には意思決定に使いたいんですよ。AIがディープラーニングした過去のデータと、リアルタイムで起きていることを対峙させれば未来予想ができる。そうなると、未来の選択肢はAmazonのおすすめ商品みたいに表示される。つまり、「今日の会議は何をする？」という時点で、すでに「結論」が出ている。未来の会議は、その結論に対しての意思決定の場になっていく。

杉原：会議室に入ってきたときの雰囲気やサーモグラフィーだったりを踏まえてですよね。

犬飼：今日のような対談も、最初から結論の記事ができあがっている状態。それが対談のなかでリアルタイムに変化していく。

杉原：そのためのデザインや構造はすでにあって、あとはどう数値化、AI化して使えるコンテンツにするかということですか？

犬飼：いまやっているのは入力部分です。発見のための「眼」を作っている感じ。それは人間のためではなくて、テクノロジーが成長するためにやっているんです。そういうと反感を買うんだけど、僕は「人のために働く」とか「ホスピタリティ」とかいうのがすんなり理解できない人間だから。

杉原：その感覚は僕も少しわかるところがあります。RDSで車いすを作ったり、『HERO-X』のようなメディアをやっていると、「いろんな人の助けをしていて偉いですね」とか言われることがあります。でも、僕はただ「無いものを作りたい」だけなんですよね。時速50kmのスポーツカーみたいな車いすがあったら面白いとしか思っていない。

犬飼：そこには、時速50kmの車いすがあるだけですよね、ただ作ってみたいだけ。

杉原：頭の中に描いている未来をやらないと気持ち悪い。やらないなら、キレイさっぱり消し去りたい。

犬飼：そう、「思いついたから」って結構重要で。思いついたから、作らなければいけないから、作るだけ。「誰のために作っているのですか？」と聞かれたら考えるけど。

杉原：コンクルージョンが大事だと思っていて、イントロは誰かが書いてくれればいいかなと思っています。

犬飼：とはいえ、こういう場所に呼ばれたからには、「自分の言葉で話せ」「批評は自分でしろ」とか、そこも含めてやらないといけない。

東京オリンピックの開催が
決まってから空気は変わった

杉原：eスポーツのプラットフォーム化は、今後どんどん大きくなりますか？

犬飼：はい。先ほどもお話したように、まずは『IT体育館』を作りたいんです。過去のデータと、リアルタイムを対峙させて未来予想をすると言いましたけど、そこにみんなが気づき始めたときに、そういうソリューションを提供したいと考えています。

杉原：多くの人が共鳴して、一緒にやっていくイメージですか？

犬飼：2010年くらいから、苦労して自力でやっていますけど、いまだに始まってない。「いつ儲かるんですか？」と聞かれるから事業計画を書くんだけど、僕がヘタクソなのかそこから動かない。でも、2013年、東京がオリンピックの開催地に決まって、そこから急に空気は変わりましたね。それまでeスポーツなんて誰も興味を持っていなかったですから。日本のターニングポイントだと思いますよ。結局、オリンピックでスポーツへの関心が生まれて、次のスポーツを探したときに、具体的に使えるのがeスポーツだけだったということなんでしょうけど。

杉原：従来型のスポーツとのギャップが面白かったんですかね。

犬飼：2020年までに何かしら投資するに値するものが、そこしかなかったんですよ。「eスポーツ＝テレビゲーム」としてくくれば、ゲームプレイヤーの10％が真剣に取り組めば幾らになると試算できる。「超人スポーツ」みたいなものに投資が集まらないのは、その市場がそもそも文化になっていないから。酔狂なエンジェル投資しかあり得ない。

IT体育館が普通になると、
次にくるキーワードは「作る」

杉原：犬飼さんたちは、新たな市場を作ろうとしているんですね。

犬飼：いまはニーズを先に作ればいいと思っているんです。スマホが当たり前の時代になって、次はデータを取ることが当たり前になって、情報が取れる体育館が当たり前になり、取れない体育館に違和感を覚えるようになったら、みんながIT体育館を欲しがるようになる。実際、山口の情報芸術センターでは2015年からやり始めていて、子どもたちは学校にある旧来の体育館に違和感を感じ始めているんです。IT体育館が普通になると、次にくるキーワードは「作る」になんですよ。

杉原：どういうことですか？

犬飼：スポーツ庁のスポーツ基本計画では、「する・見る・支える」をキーワードにしている。するスポーツ、見るスポーツ、支えるスポーツという三角形。その面積を大きくすることで、人々が健康になって、医療費も下がって、健康寿命がながくなるという説明。それを一緒にやっているのが超人スポーツをやっている人たち。

僕らは、そこに「作る」という縦軸を作って立体的に増やしていきましょうという提案をしているんです。やる種目が増えればスポーツ人口が増えるという考え方です。というのも、eスポーツがスポーツに与えた影響のひとつに、スポーツデベロッパーが増えたことが挙げられるんです。テレビゲームでいえば、ゲームクリエーターが増えたのと同じ。問題点としては、スポーツクリエーターには給料や賞がなく、社会的評価もないということ。さらに、新しいスポーツを作ったあとに、それは誰のものかっていうことになる。スポーツって誰のものでもなく、パテントもとれない。

杉原：確かにそうですね。

犬飼：そこで僕が提案しているのは「デベロップレイヤー」、デベロップとプレイをかけた造語です。新しいスポーツを考案して、プレイしながらルールを決めている途中の段階では、「デベロップ」と「プレイ」の境界線がないわけです。プロトタイピングに近い。ITの世界のように、プロトタイピングをアジャイルに作っていき、ちょうどいいところが見つかったら人にプレゼンする。作りながら遊ぶ体験ですよね。とはいえ、これもまだどうマネタイズするのがいいのか、回答は出てないんです。僕たちはまだアイデアがないので、それが「作る」の次にくるキーワード。

杉原：そう考えると、「スポーツ」というワードを使ったほうがいいのか、面白いものが生まれるならスポーツと呼ばなくてもいいのでは？　ということになりますよね。

犬飼：そうなんですよね。「スポーツ」や「遊び」という言葉が使いにくくなってしまったので、新たに自分で「運楽」という言葉を作っちゃったんです。運楽の中に、スポーツや音楽があるような感じです。

杉原：なるほど。音楽のなかに、さらにジャズやヒップホップがあって、演歌もあってみたいなものですよね。

犬飼：そうそう、プレイヤーも観客も楽しんでいるに過ぎないというのは、音楽ではすでに起こっている。

杉原：もしかしたらeスポーツはジャズに近いのかもしれない。

犬飼：即興的に作っていくという意味ではジャズに近いかもしれないですね。僕らのやっている『運動会ハッカソン』※1とか、『未来の運動会』※2とかね。
——————
※1 伝統的な運動会の道具、紙、棒、ボールからドローン、コンピューターなど、使う道具の制限をなくした状態で、みんなで新しい運動会の「種目」や「出し物」を作る試み。
※2 『運動会ハッカソン』で生まれた、新しい競技で楽しむ運動会のこと。
——————

杉原：それをテレビのショーとしてやるのか、YouTubeとしてやるのか、ジャズバーでやるのか。

犬飼：そうそう、IT体育館をそういう場所にしたいんです。そういう場所を用意しておけば、コンペティティブな環境が生まれて、そのうちにすごい奴が現れますから。

杉原：xでも、eスポーツというものをテレビゲームの大会では終わらせず、ここまで広げて考えている方は少数派ですかね。

犬飼：そんなに難しくないし、便利で普遍的な捉え方だとおもうんですけどね。でも、eスポーツ＝テレビゲーム大会のような認識になってしまったことには、僕も反省があるんです。2005年頃は、「eスポーツって何ですか？」と聞かれたら、みんながわかりやすいように「たとえばテレビゲームをスポーツとしてとらえるようなことです」と答えていたので。

杉原：今後、犬飼さんの考えるeスポーツが普及していくと、「ゲームばかりやっていないで、少しは体を動かしなさい！」という定番文句が家庭から消えていきそうですね（笑）

犬飼：『ポケモンGO』をやって、1日5km歩いている子どもを否定できないですよ。「お母さん、僕は今日ポケモンがんばったよ。」って言ったら、「ゲームばっかりしてないで外で遊びなさい」と、なぜか怒られてしまう矛盾と戦ってきた人生なんです。僕はお母さんに苦言を言われる理由がわからなかった。そこを説明したくて、苦肉の策で生まれたのがeスポーツでもあるんです。

前編はこちら

犬飼博士
1970年、愛知県一宮市生まれ。運楽家／遊物体アソビウム／ゲーム監督。映画監督山本政志に師事後、ゲーム業界にて『TOY　FIGHTER（アーケードゲーム）』、『UFC（ドリームキャスト）』、『WWF RAW（Xbox）』といった作品を制作。2002年より、スポーツとゲームを融合する「eスポーツ」の事業を開始。『World Cyber Games』、『Cyberathlete Professional League』、『Electronic Sports World Cup』といった国際eスポーツ大会の日本予選をオーガナイズ。2007年度文化庁メディア芸術祭にて、ゲームソフト『Mr.SPLASH!』が審査員会推薦作品に選出。2012年には、日本科学未来館で常設されている『アナグラのうた　消えた博士と残された装置』に参加。2013年には、YCAM公募企画『LIFE by MEDIA』国際コンペティションや、文化庁メディア芸術祭エンターテインメント部門優秀賞などを受賞した『スポーツタイムマシーン』を発表。