人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原：もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか？

岡田：そうですね。人工知能を基本に、修士、学士と約５年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。　例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原：今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です（笑）。

岡田：いや、僕自身は（内面を予測することは）できないですよ（笑）。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原：ならよかったです（笑）。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか？

岡田：そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原：もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか？

岡田：最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが（笑）、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原：岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか？

岡田：もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社（現株式会社）と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle（ビブル）を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原：表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね（笑）。

岡田：そう言われれば、そうかもしれないですね。

杉原：僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田：そう言っていただけるとありがたいです（笑）。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原：世界的にはどうなんですか？

岡田：コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原：確かにそういう面接は、実際にあるようですね。

岡田：面接で一言、二言答えたことから推測して、その人（のスキル）を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原：なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか？

岡田：そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか？　というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか？　というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原：まず、ちゃんとしたデータを取ることが難しいんですね。

岡田：正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原：自分でも自分の感情が一番わからないこともありますよね（笑）。

岡田：そういうものなんですよ（笑）。

杉原：以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか？

岡田：それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね（笑）。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原：確かにそうですね。

岡田：だから、自然にそういうデータをどうやったら取れるのか？　っていうのは自分たちの研究の大きな課題ですね。

杉原：ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田：そうですよね、スマートウォッチとかもその一例だと思います。

杉原： スマートウォッチが出た当初はすぐに買いましたけど、３日後にはこれまで使っていた普通の時計が恋しくなってしまいました（笑）。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田：そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

人気のロックヴォーカルデュオ、Honey L Days（ハニー エル デイズ／通称ハニエル）のKYOHEIとHERO X編集長の杉原は、公私に渡って15年以上の友人関係にある。TOKYO2020を迎え、車いすレーサー伊藤智也選手への公式応援歌として起用されたのが、この度リリースされるハニエルの新曲『ノンフィクション』だ。2人の出会いから、この曲が生まれるまでの経緯を語っていただいた。

英国留学体験がきっかけとなり、
意気投合した学生時代

――15年以上の付き合いがあるというお二人ですが、どのように出会ったのでしょうか？

KYOHEI：お互い気が合いそうだからと、友人を介して出会ったのがきっかけでした。僕は大学で建築を学びながら音楽活動を行っていて、すでに今の相方（MITSUAKI）とは出会っていたのですが、ハニエルとしてはまだ活動していなかった頃です。当時から、行里はデザイナーと名乗っていて、その頃からことある度に、モビリティのデッサン画をよく見せられました。他の友達が大学生活を漫然と過ごしている中で、勉強とは別の目的意識を持った、数少ない同志のようなつながりを感じていました。

杉原：いまはデザイナーと言うよりは、コンダクター的な立場でデザインに関わっていますが、寝る時間を惜しむほど夢中になってデザインに取り組んでいたあの頃の気持ちが、現在の自分の役割に生かされていると、つくづく感じます。KYOHEIと会うと当時の様々な出来事を思い出しますね(笑)。当時僕はイギリスに留学していて、３ヶ月くらい日本に戻っているときに紹介してもらったのかな。その紹介してくれた友人というのも英国留学経験があり、KYOHEIも同じでした。現地で顔を合わせたことはないのですが、ちょうど同じ時期に留学していたこともあってか、意気投合したよね。

KYOHEI：当時の行里の印象は「変わった奴だなぁ」って……。だって、ナイロン製の宇宙服みたいな服を着て、ゴーグルを着けていたんだもん（笑）。

杉原：そんな時期があったねー（笑）。なんでそんな格好をしていたのか、今となってはもうわからないけど。あの頃はトンがってたからなぁ。その後も付き合いが続いて、ライブに足を運ぶようになっていました。KYOHEIの大きな転機となったのは、2010年に発表された『まなざし』という曲が、男子新体操を舞台にしたテレビドラマ『タンブリング』に使用されてブレイクしたことだよね。そのときは仲間内でも大盛り上がりでした。

活路を見出した応援歌という
スタイルと3.11後の活動

――新体操をテーマにしたTBS系ドラマの『タンブリング』ですね。ハニエルは常にスポーツとの接点がありますよね？

KYOHEI：デビューしてからしばらくは、「自分たちはコレだ！」っていう明確なスタイルがなくて、暗中模索していたのです。自分でもスポーツは好きでやっていたんですが、ルックス的にもスポーツとは離れているし……。そんなとき『タンブリング』の主題歌を担当することになって、初めてスポーツを意識したのです。そうして、応援歌のような歌詞とメロディーが生まれて、「よし自分たちのスタイルはコレだ！」と。30代を目前として、これが最後のチャンスだと自分に言い聞かせながら作曲に取り組んでいていました。特に最初からスポーツの応援歌を作ろうと意識したわけではないんですが、結果的に悩んでいた自分自身や、人生の岐路に立った仲間たちへ向けた歌にもなっていったのです。

杉原：その頃、ちょうど僕も同じく30歳手前で。自分自身の手であれこれ作ってみたり、がむしゃらに仕事に打ち込んでいました。夜中の４時まで作業をしては、まだ起きて仕事している仲間同士でSkypeを通じて励まし合うこともよくありました。切磋琢磨している同士が身近にいたから頑張れたし、目標に向かって必死に過ごしてきた20代があってこそ、現在に繋がっていると思えます。僕に取ってKYOHEIはその同志の1人なんです。20代は、コトは作れても場を作れなかった。30代になって場を作れるようになったら、いつかKYOHEIと一緒に何かやりたいね、という話をずっとしていたんです。その後自分のスタイルを確立したKYOHEIは、青森山田高校サッカー部の応援歌『がんばれ』や、柔道グランドスラムTOKYO 2010のテーマ曲『Believe』とか、次々とヒットを生み出していったね。

KYOHEI：『がんばれ』という曲は、活動がようやく軌道に乗ってきた矢先に起きた3.11の後に発表された曲でした。リリースの延期やイベントやライブ活動も一旦休止になるなど、とても他人の心配をしているような状況ではなかったのですが、東京でジッとしていても仕方がないと思っていました。そこで、毎月のように被災地まで自走で出向き、避難所や被災した学校でライブ活動をしていました。被災直後はまだ、がんばれと歌える状況ではなかったのですが、段階的に復興の道筋が見えてきたとき、この『がんばれ』という曲が被災したみなさんの心に寄り添っていったのかなと思っています。そのとき、人のために歌える喜びというのを実感しました。去年、青森山田高校サッカー部の黒田監督に気に入って頂き、応援歌として吹奏楽部や応援団が演奏してくれています。そのせいもあって、東北地方のtiktokユーザーの間で、最近この曲がバズっているそうで嬉しいですね。

杉原：ハニエルは歌詞が響くんですよね。でも、カラオケでは歌わないんです。だって、ハニエルの曲って、キーが高いから一曲歌うだけで疲弊してしまう（笑）。もっとキーを下げて作曲してよ。

KYOHEI：キーを下げる機能を使えばいいじゃん！（笑）。

――作曲方法はどんなパターンがあるのでしょうか？

KYOHEI：最初に歌詞が出来上がってから曲を付ける場合もありますし、曲が仕上がってから歌詞を付けていく場合もあります。それから、曲と歌詞が同時にできることもありますし、特に決めてはいません。

杉原：以前、僕もバッキングヴォーカルとして、レコーディングに参加したことがあるんですよ。KYOHEIに呼びだされた場所がなんとスタジオで、突然参加することになって驚きました(笑)。あの日は帰るタイミングを逃して、夜中までずっといたね（笑）。実はRDSの製品プロモーションビデオ用の楽曲をKYOHEIに依頼していたこともあり、裏ではコラボしていたのですが、表立って僕たちがコラボするのが、先日の記者発表で明かした伊藤選手への楽曲です。 “30代になったら一緒になにかやりたいね” 若かりし頃そう語り合っていた目標を今回、かたちにすることができました。

KYOHEI：東京都が主催するチーム・ビヨンドに参加していることもあって、今回のプロジェクトは自然な流れでした。今回の伊藤選手のプロジェクトには、前向きでいいオーラを持っている人間ばかりが集まっていることも作用しているのかも知れません。行里の紹介で伊藤選手にもお会いして、その人間的な魅力に惹かれました。『ノンフィクション』という曲名なのですが、伊藤さんにぴったりだと思います。

杉原：記者会見では伊藤さん、めっちゃテンション上がってたもん。泣きそうになっていたくらい。うちらが長い時間をかけて作ったマシンよりも、ハニエルの曲の方が嬉しかったみたいで、ひどいよなぁ〜（笑）。

伊藤選手がヒーローになるとき
心の中に流れるメロディーを

伊藤智也選手モデルのレーサー・WF01TRのPVでは、Honey L Days『ノンフィクション』が流れる。

――先日のドバイ大会では、伊藤選手の予言通り、100m/400m/1500m全ていい形で東京2020の出場が内定しました。いよいよ楽しみになってきましたね。

杉原：僕ら世代にとって東京2020は、直接的に携わることができる一生に一度の大イベント。この祭りに参加することを躊躇している人たちにも、一緒に楽しもうよと働きかけたいのです。僕はテクノロジーとデザインで関わり、KYOHEIは音楽、いろんな人がこのプロジェクトに携わっています。「チーム伊藤」は、皆、伊藤選手をヒーローにすべく最大限のできる力を持ち寄っていますが、伊藤選手が中心というわけではなく、このプロジェクトに参加しているみんなが集まって、点が繋がっていくイメージなんです。スポーツ、音楽、アートは多くの人に訴えかけることができる強力なツール。こうして、KYOHEIときちんと仕事ができるまで、10年以上の時間がかかったのですが、ようやく「チーム伊藤」として形になりました。映像やプロモーションなど、異なる立場の人間がそれぞれの能力を発揮して、チームをビルドアップしていったのですが、その最後に抜けていたピースである“音楽”が、ようやくここにハマったという感じですね。やっぱり音楽には、直感的に人を突き動かす力があるんです。

KYOHEI：勝負って、他人と競い合っているようで、実際は自分自身との闘いであると思うのです。個人競技だと、なおさらそう思うのです。結果として相手に負けたとしても、自分に勝てたと思えた時点で意味があると思うし、その過程こそが重要だと思うのです。そして、その結果が、必ず次につながるはずだから。僕が意識したのは、伊藤選手の力強い走りに合うリズムとコーラス。それから、作り手しか分からない想いよりも、観客のみなさんが自分の想いと重ね合わせられるような歌詞です。

杉原：陸上競技はすごくルールがシビアで、競技中は観客も手拍子してはいけないんです。でも、観客の皆さんの心の中でこの曲が鳴っていて、その躍動感が伊藤選手を後押しするようになればいいですね。そして、伊藤選手が本当のヒーローになってほしい。ヒーローとは、自分がなりたくてなれるものではなく、なるべくしてなるものだと思うのです。その裏に多くの人の協力と準備があって、その仕上げをきっちり決めてくれるのが本当のヒーローなのかな。

KYOHEI：伊藤選手を鼓舞するようなコーラスがこの曲のクライマックスなのですが、歌詞の最後に「また僕は始められるさ」というフレーズがあるんです。伊藤選手が競技に復活できたのは、そこに信じられる仲間がいたから。何度でもまた始められることを、伊藤選手が体現してくれたら最高ですね。まさにこのチーム伊藤のプロジェクトが、曲名通り『ノンフィクション』になる瞬間をこの目で見たいんです。

杉原：2020年、57歳のおじさんが見事に復活しただけでなく、TOKYO2020で優勝したら、多くの人の心を突き動かすはず。アスリート自身はもちろんですが、たった数日だけのために、これだけ多くの人間が伊藤選手を支えているというのは、改めてすごいことだと思えるのです。誰しも歳を取れば、身体は衰えてくる。でも、精神は老化しないはず。実際に、伊藤選手に接しているチームのみんながそのことを実感しているのです。ここまでたくさんの遠回りをしてきましたし、もっとこうすれば良かったということはありますが、チーム伊藤として
KYOHEIと仕事ができたことは、本当に感慨深いものがあります。

KYOHEI：選手に注目が集まるのは当然ですが、その周囲にたくさんの人が動いていて、それぞれの立場でこの大舞台の準備をしているのです。このプロジェクトに参加しているひとりひとりが手を繋ぎ、大きな力となれば、もっと大きな夢が見えるはず。たくさんの人にこの取り組みがあることを知って欲しいし、ひとりひとりの『ノンフィクション』が、2020で実現すれば最高ですね。

Honey L Days（ハニー エル デイズ） KYOHEI
1981年生まれ、神奈川県出身。学生時代からバンドを中心にライブ活動を行っていた KYOHEI (Vo,Gu) と、ゴスペルグループで活動を行っていた MITSUAKI (Vo) が、舞台出演をきっかけに出会い、Honey L Days を結成。2008年、avex trax よりメジャーデビュー。2010年にリリースした 4th シングル「まなざし」が、テレビドラマ『タンブリング』の主題歌に起用され、着うたが100万ダウンロードを記録。2014年には“壁ドン”ブームの火付け役となった、映画『 L♡DK 』の主題歌「君色デイズ」をリリースしスマッシュヒット。2018年、初となるベストアルバム「The Best Days」もリリース。待望のニューアルバム「ノンフィクション」は2020年1月20日に発売。

1月20日（月）にHoney L Days待望のアルバム
「ノンフィクション」のリリースが決定！
伊藤智也選手の応援歌になっている「ノンフィクション」をはじめ、映画『L♡DK ひとつ屋根の下、「スキ」がふたつ』の挿入歌となった「君が笑っていてくれるなら」、タイガー魔法瓶ショートフィルム「あなたと・・・〜 To Be With You 〜 」主題歌「あなたと」等、書き下ろしテーマソングの他、LIVEの定番曲や新曲、音源化を待ち望まれた様々な楽曲を収録。アルバムリリースに先駆けてアルバムの中から先行配信がスタート！また、アルバムリリースに伴い、1月よりワンマンライブツアーも決定！
—–
１月２０日（月）初台Doors
１月２５日（土）心斎橋JANUS
１月２６日（日）新横浜LiT
—–
詳しくは公式HP、SNSをチェック！