人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原：もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか？

岡田：そうですね。人工知能を基本に、修士、学士と約５年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。　例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原：今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です（笑）。

岡田：いや、僕自身は（内面を予測することは）できないですよ（笑）。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原：ならよかったです（笑）。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか？

岡田：そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原：もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか？

岡田：最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが（笑）、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原：岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか？

岡田：もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社（現株式会社）と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle（ビブル）を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原：表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね（笑）。

岡田：そう言われれば、そうかもしれないですね。

杉原：僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田：そう言っていただけるとありがたいです（笑）。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原：世界的にはどうなんですか？

岡田：コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原：確かにそういう面接は、実際にあるようですね。

岡田：面接で一言、二言答えたことから推測して、その人（のスキル）を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原：なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか？

岡田：そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか？　というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか？　というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原：まず、ちゃんとしたデータを取ることが難しいんですね。

岡田：正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原：自分でも自分の感情が一番わからないこともありますよね（笑）。

岡田：そういうものなんですよ（笑）。

杉原：以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか？

岡田：それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね（笑）。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原：確かにそうですね。

岡田：だから、自然にそういうデータをどうやったら取れるのか？　っていうのは自分たちの研究の大きな課題ですね。

杉原：ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田：そうですよね、スマートウォッチとかもその一例だと思います。

杉原： スマートウォッチが出た当初はすぐに買いましたけど、３日後にはこれまで使っていた普通の時計が恋しくなってしまいました（笑）。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田：そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

近年、大きな社会問題になっている数々のハラスメント。とりわけスポーツ界では、監督やコーチと選手間の異常な主従関係や、暴力的な行為が問題視されることが多い。度々メディアでも報じられるこうした歪みの裏側には、記録やパフォーマンスの向上を目指す指導者側の感情的な空回りや、埃をかぶった根性論などが横たわっている。スポーツ科学とセンシングテクノロジーは、それをポジティブなコミュニケーションへと変える。第一人者である長谷川 裕氏をお招きした編集長対談。前編ではすでにヨーロッパのサッカーチームではこうしたスポーツの科学的分析が主流になりつつある話を伺ったのだが、日本のスポーツ界にもやっとその風が吹き始めているようだ。データを基にした指導で選手はどう変わるのか。未来のスポーツ指導について語り尽くしていただいた。

データ化すると選手の能力と課題が一目瞭然

杉原「具体的なトレーニングの測定についてもお聞きしたいのですが、長谷川さんは、いま何を一番重視されていますか？」

長谷川「ひとつは GPS ですね。GPS はこれからどんどん広まっていくと思います。トレーニングも分析できるし、試合も分析できる。それからいわゆるスプリントや持久力、それらを客観化することも可能です」

杉原「GPS は、やはり大切なんですね」

長谷川「はい。センシングという言い方をすると、最先端と思われるかもしれませんが、平たく言えばデータです。それをどう使っていくのかということなんです。GPS 同様大切なのは、筋力や筋パワーのデータですね。筋パワーというのは、筋力とちょっと違います。みんなそこをごっちゃにしていますが、質量の単位はkg、筋力の単位はN（ニュートン）、筋パワーの単位はW(ワット)というように、それぞれ別のものです。多くのトレーニングの指導者は N や W という単位を使わないばかりか、知らない人もたくさんいます。あとは心拍数や血中乳酸値など、基本的なものを計測することは難しくありません」

杉原「最近は、Jリーグでも選手の走行距離のデータなどは、よく聞かれるようになりましたよね」

長谷川「そうですね。総走行距離は、選手の平均を割り出すと１試合に10〜11km程度になります。あと大切なのは、スプリントの回数です。スプリントをどんな数値に設定するかも重要ですが、時速24〜25km　というのが一般的。それを試合中に何回記録したかを計測します。総走行距離の中で早いスピードで走った割合や、加速度と減速度からはスピードの変化が読み取れますね」

杉原「その測定を、細かく解析するのは大変な作業ですね」

長谷川「そうですね。でも、こういったデータ測定を導入すると、試合を見ていた印象と実際の数値が違っていることが多いので興味深いですよ。すごく走っていたと思う選手よりも、実は全然違う選手が長い距離を走っていたり、総走行距離が短くてもスプリント回数がダントツに高い選手がいたり。そういうデータが見えてくると、もっと守備をしっかりするべきだとか、スプリント回数を増やすべきだとか、選手一人ひとりの課題も見えてくるわけです」

杉原「確かに、そうやって選手のパフォーマンスを数値的に可視化することは、新たなコミュニケーションツールになりますね」

感情論ではない選手の本当の適正を見出す

長谷川「そうです。熊本の八代市に、秀岳館高校という学校があります。熊本といえば大津高校というサッカーの名門校がありますが、そこになかなかに勝てないため、センシングなどのテクノロジーを導入したんですね。そうしたら、選手の内発的な動機付けができるようになって、コーチのほうも選手のいいところや課題が見つけられるようになったそうです」

杉原「これから大きな効果が期待できそうですね」

長谷川「センシングを導入して、試合中のスプリント回数や加速減速などの数値を計測しているのですが、参考としてプロはこのぐらいの数値だというデータを紅白戦の前に見せたところ、選手たちはその日の試合が終わった後に、クタクタになって倒れて笑っていたというんですね。指導者は、これまで紅白戦でそこまで力を出し切った選手の姿を見たことがないと言っていました。選手もデータで見せてあげると、目標が見えやすいんです。次の段階は、一人ひとりの能力に合わせてどういうトレーニングをするか？　それをプランニングすることですね」

杉原「なるほど。計測して解析して、プランを立てるということですね。では、どのポジションが向いているというような適正は、どうやって見極めていくのですか？」

長谷川「例えばスプリントスピードを静止状態から30mまで測った場合、最初の5m、10mを何秒で走っているか？　そして、最後の10mを時速何㎞で走っているのか？　そういうところから適正が見えてきます。最初の5mで1秒切れる人は、Jリーグやラグビーの代表クラスで1人いるかいないか。でも最初が遅くても、最後の10mで時速32km出せるのであれば、世界的に見てもトップクラスですから、それを活かせばいいんですよ。そうやって、一瞬のスピードを求められるフォーワードがいいとか、ある程度の距離を早く走れると有利になる中盤がいいとか、わかってくるわけですね」

杉原「自分がどのポジションに向いているのか、感情論ではなく教えてもらえるのは、選手も嬉しいかもしれないですね」

長谷川「そうなんです。それに指導者側もセンシングの数値をもとに、選手の能力を活かした戦術も浮かんでくるようになる。データがわかれば、ぐっと科学的になりますし、合理的なプランが立てられるんです」

トレーニングでは最大の力を
何回繰り返すかが重要

杉原「センシングというと科学的な印象ですが、選手一人ひとりを計測するとか、フェイス・トゥ・フェイスでコミュニケーションを取るという部分はアナログですよね。そういう合理的なところと非合理的なところの良さを活かし協業することで、よりコーチングもスポーツも最大化していけますよね」

長谷川「おっしゃるとおりですね。そうやって、選手も指導者も前に進んでいけるということです」

杉原「自分はパラリンピックの競技プロダクトに関わっていますが、測定というのは少しずつわかってきたんですけど、解析に関してはまだまだ発展途上です。例えば、車いすレースの場合、スタートの５mを早くすることが大事なのか、それとも40mでマックスを出すのが重要なのか？　そういうことをいろいろと模索しています。でもデータを可視化すると、感情論抜きに選手とコミュニケーションが取れるので、やりやすいです」

長谷川「そうですね。指導者の経験や感覚に委ねていたこれまでの指導方法は、才能のある選手を潰してしまっていたケースもありますから。それは、先ほどお話しした秀岳館高校サッカー部の先生も実感されていて、センシングによってこれまで気づかなかった選手の才能を開花できそうで、すごく嬉しいと言っていました。そうなると、もう暴力的な指導をしたり、無駄に長時間練習をする必要もないわけですね」

杉原「指導者も、センシングが自分を変えるきっかけになりますね。僕らは、いまレース用の車いすを伊藤智也選手と一緒に開発していますが、東京2020のとき彼は58歳になるんです。それでどんな結果が出せるのか、社会的にも注目されると思いますから、そういう新しいテクノロジーや考え方を付与して、どんどん進んでいきたいですね」

長谷川「いまはもう、歯を食いしばって辛い練習をやれば結果がついてくると思われていた時代とは違うんです。いかに高速で大きな力を爆発的に短時間で出すか。それは、主観ではわからない。トレーニングで大事なのは、疲れるのが目的ではなくて、最大の力を出すことを何回繰り返すか。それを計測しながら効果的にやるべきです」

杉原「そうですね。能力が可視化できれば、そういうトレーニングができますから効率もいいですね」

長谷川「有名な話ですが、何かのトレーニングを７割ぐらいの力で10回３セットやったグループと、100%の力で３回10セットやったグループでは、同じ回数ですが、明らかに後者の方が爆発的な筋力が付くんです。そうやって効果的なトレーニングができれば、より合理化していけます」

杉原「そういうことですね。長谷川さんがやられているセンシングの技術があれば、選手も自分の選択肢が明確にわかりますし、それを組み立てるプランも立てやすくなる。そういう材料を提供されているというのは、素晴らしいです。でも今日のお話しを聞いて、自分もジム通いでやっているトレーニングを見直そうと思いました。まずは、真っ先に回数を減らそうと思います（笑）」

前編はこちら

長谷川 裕（はせがわ・ひろし）
1956年京都府生まれ。龍谷大学経営学部教授（スポーツサイエンスコース担当）。日本トレーニング指導者協会（JATI）理事。エスアンドシー株式会社代表。筑波大学体育専門学群卒業、広島大学大学院教育学研究科博士課程前期終了。龍谷大学サッカー部部長・監督、ペンシルバニア州立大学客員研究員兼男子サッカーチームコンディションコーチ、名古屋グランパスエイトコンディショニングアドバイザー等を経て、スポーツセンシング技術等を利用した科学的トレーニング理論の実践的研究を続ける。著者は『アスリートとして知っておきたいスポーツ動作と体のしくみ』、『サッカー選手として知っておきたい身体の仕組み・動作・トレーニング』ほか多数。