人と人とのコミュニケーションに必要なものは、言語だけにあらず。視線やジェスチャー、表情といった非言語情報も不可欠であることはいうまでもない。岡田将吾氏は、それを社会的信号処理という新しい領域に基づいた研究を通して読み取ることを実践する先駆者のひとり。同氏の試みは、人間の内面の状態を理解するためのAIの新分野として世界から注目を浴びる。これらの研究は認知症の初期症状などを読み取る手がかりにもなるという。編集長・杉原が、最先端の研究の現状とその先に広がる未来について伺った。

人の行動から内面状態を理解するという試み

杉原：もともと岡田さんは、大学でいわゆるAIに関する研究をされていたんですか？

岡田：そうですね。人工知能を基本に、修士、学士と約５年間研究をしまして、少しずつ人の行動を予測するとか、人の行動からコンテキストを推定するということにフォーカスするようになりました。　例えば、この人のしゃべり方や使う言葉の特徴がこうなら、この人はロボットとのおしゃべりを楽しんでいるとか、いくつかの行動から、人の内面を予測するというような研究です。

杉原：今日は、話していて僕の思惑がバレるかもしれないから、サングラスか何か掛けたい気分です（笑）。

岡田：いや、僕自身は（内面を予測することは）できないですよ（笑）。システムにはできてしまうことがありますけどね。

人の行動から内面を読み取るという研究を続ける岡田氏。「最近は、手の動きと感情の関係性が気になる」という。

杉原：ならよかったです（笑）。岡田さんのそういった研究は、AIなどを通じて出口がたくさん出てきたという段階ですか？

岡田：そうですね。最近は動作を測るセンサーが安くなったりもして、状況が変わってきましたし、企業でも自分たちのような研究をしているところが出てきました。そういうプロジェクトに自分が加わることも増えてきて、出口は広がったと感じています。

杉原：もともと岡田さんがAIに興味を持ったのは、どういった経緯でしょうか？

岡田：最初は大学で物理をやっていたのですが、物理の世界っていろいろと難しくて挫折してしまいました。それで物理の先生にはちょっと失礼なんですが（笑）、もう少し目に見えてわかりやすいことがやりたいと思って、ロボットに顔の認識や画像の認識をさせて動かすという研究をやっている研究室に入ったんです。AIを研究し始めたのは、そこからですね。

杉原：岡田さんのような分野の研究者は、日本にどのくらいいらっしゃるんですか？

岡田：もちろん産官学で人工知能の研究をされているグループは山ほどありますけど、ピンポイントで、人の行動から内面状態を理解するみたいなことに焦点を当てているのは、僕たちと数えるくらいしかないです。

こちらは、2018年にジョージ・アンド・ショーン合同会社（現株式会社）と岡田研究室が共同で開設したG&S Labのイメージビジュアル。IoTデバイスであるbiblle（ビブル）を活用して、行動学習に特化した機械学習プログラムの開発を行っている。

もう多くの企業ではAIが採用面接をしている!?

杉原：表情から何かを読み取るということは、なんとなく僕もイメージできるんですが、そこから購買意欲だったり、そこに出口を見つけていくというのは、なんだか大学でやる研究っぽくないなと思いますね（笑）。

岡田：そう言われれば、そうかもしれないですね。

杉原：僕自身のイメージでは、大学の先生は研究を突き詰めて、あとはアウトプットを第三者に見つけてもらう、そんなスタイルが多いなと常々感じているんですよ。それが出口までしっかりとしていて、岡田さんの研究は面白いなと思います。

岡田：そう言っていただけるとありがたいです（笑）。確かにそれは狙っていて、研究室でコンピューターの前に座って突き詰めるのではなく、実際のインパクトのあるデータに対して、なんらかの回答を出していくほうが、世の中的にも出口がわかりやすいですし、そういうことは意識していますね。

岡田氏の研究に興味津々の杉原。感情という抽象的なものを数値化するという試みには、シンパシーを感じているようだ。

杉原：世界的にはどうなんですか？

岡田：コンピューティング分野の国際会議のような場には、アメリカ、ヨーロッパの有名大学の研究者が集まってきますが、そこでは感情を理解するという研究が一番多いように感じます。コンピューターにいろいろな感情を理解させるということが基本ですけど、話している声や内容、表情からコミュニケーションのスキルを推定するということも盛んになってきてはいます。AIによる企業の採用面接みたいなものもそうですね。

杉原：確かにそういう面接は、実際にあるようですね。

岡田：面接で一言、二言答えたことから推測して、その人（のスキル）を判定するということですよね。あらゆる企業は、もうAIを様々活用しているのですが、採用には特定の人しか受からないとか、雇用差別・公平性の問題が出てきたりもしています。自分も就職面接のように実際に多くの人を呼んで、はじめて会った学生同士でディスカッションをしてもらい、そのビデオを人材派遣の会社に送って、人事の採用担当者に点数をつけてもらうという試みをしたことがあります。同じようにAIにも判断してもらったら、熟練の採用担当者と同じように人を選ぶのかどうかを検証しました。その実験は、学会でも良い評価をもらいましたが、アプリケーションとして見た場合、考慮すべき課題が多いと感じます。ですので、そういうスキル判定の技術を使って、スキルを上達させるための訓練に活かすことを、これからはやっていきたいですね。困っている人が喜ぶようなアプリとして機能できればと思っています。

感情を数値化するには、大きな課題がいくつもある

杉原：なるほど、それは興味深いですね。もうひとつお聞きしたいのが、“感情”っていうのは数値化も可視化もしにくいのではないか、ということです。実際に研究は進んでいるんでしょうか？

岡田：そうですね、難しいところも確かにあります。いま主にやっていることは、心理学者たちがこれまでに作った評価指標に則って、実験後に、いまあなたの感情はいくつでしたか？　というように被験者に問いかけたり、第三者に被験者の映像を見せて、被験者の感情状態はどうなっていると考えられますか？　というようにアンケートを書いてもったりする手法なんです。それをもとに人工知能が答えを導き出すわけですから、そもそものアンケートの答えが間違っていると、人工知能的にはもう破綻してしまう。そこが弱点でもありますね。

杉原：まず、ちゃんとしたデータを取ることが難しいんですね。

岡田：正解のデータがしっかりと作れなければ、人工知能は動けませんから。正直、感情って自分で数値をつけるのは難しいですよね。

杉原：自分でも自分の感情が一番わからないこともありますよね（笑）。

岡田：そういうものなんですよ（笑）。

杉原：以前の心理学者の研究だったり、研究論文なんかを追っかけながら、感情を紐解く要素を分析していくという手法はもちろんわかりますが、IoTを使ったデータ集めというのは、どうなんでしょう。世界的にはビッグデータは集まってきているんですか？

岡田：それも難しいところではあるんです。GAFAは、画像・音声を含めWeb上でたくさんの情報を集めていますが、普段の人同士の会話や、自然に対面コミュニケーションしているときのデータを膨大に集めるのは、まだまだ実際には難しいですよね。例えば感情データを集めるために、誰かが怒っているところをずっとビデオで撮るわけにもいかないですし、これからデータを取るので怒ってください、っていうのもおかしいですしね（笑）。多くの人が、AI speakerと友達のように頻繁に話す未来が来たら変わるかもしれませんが、AIの対話機能レベルから言って、それはもう少し先になりそうです。

杉原：確かにそうですね。

岡田：だから、自然にそういうデータをどうやったら取れるのか？　っていうのは自分たちの研究の大きな課題ですね。

杉原：ライフログ的なところですね。とはいえ、無理やりIoT的な要素をくっつけたものを開発して使ってもらっても、結局使わなくなりますしね。

岡田：そうですよね、スマートウォッチとかもその一例だと思います。

杉原： スマートウォッチが出た当初はすぐに買いましたけど、３日後にはこれまで使っていた普通の時計が恋しくなってしまいました（笑）。でもいまは、Apple Watchなどがセンシングに使われていますよね。睡眠だったり、バイタルだったり。そういう使われ方をしているのは有意義だと思います。

岡田：そうですね、そのような使い方は興味深いです。最近私たちもスマートウォッチのようなセンサを使った研究を始めています。とはいえ自分たちの研究は、いまはデータを採取するのにビデオの前に人を座らせなきゃならないので、常に記録するのが難しい状況です。なので、毎日何かを記録すれば、健康がチェックできるとか、そういう多くの人に受け入れやすいアプリなどを通して、効率よくデータを取る方法を模索して行こうと思っています。

後編へつづく

岡田将吾（おかだ・しょうご）
国立大学法人北陸先端科学技術大学院大学（JAIST）准教授。2008年東京工業大学大学院知能システム科学専攻博士課程修了。京都大学特定助教、東京工業大学大学院助教、IDIAP research institute 滞在研究員等を経て、2017年より現職。「社会的信号処理に基づく人間の行動やコミュニケーションの理解」を主要テーマに、AIの新たな領域の研究に取り組む。専門は、マルチモーダルインタラクション、データマイニング、機械学習、パターン認識ほか。

VRゴーグルや触覚センサー付きグローブを装着し、ロボットを自分の身体のように遠隔操作する。そんな未来がすでに現実のものとなっている。今回は、そんなロボティクスの世界をリードする、テレイグジスタンス社の共同創設者でありCEOの富岡 仁さんと、弊誌編集長・杉原行里の対談。同社は2020年9月14日から小売店舗の運営をスタートさせたというが、その真意とは？

テレイグジスタンスとは？

対談の前に、「テレイグジスタンス」について簡単に解説しておこう。「遠隔存在」「遠隔臨場」とも訳される「テレイグジスタンス」は、東京大学 名誉教授であり工学博士の舘 暲氏が1980年に提唱した概念。簡潔に言えば、人間がロボットの身体を操作し、自分の身体と同一のものとして行動できるようにする試みだ。館教授が考える最終ゴールはまだ先だが、約40年の研究成果により、かなりの進化と実現性を帯びてきている。そんななか、2017年に同研究の社会実装（商業化）を目的としたテレイグジスタンス社が設立された。富岡 仁さんは、その会社の共同創設者でありCEOである。

商社を辞め、
テレイグジスタンス社を
設立した理由

杉原　まずは、もともと三菱商事に勤めていた富岡さんが、一般的にはアバターと言われる、館先生の「テレイグジスタンス」の領域に興味を持った理由を教えてください。マーケティング的な側面なのか、何か思うところがあったのか。

富岡　それはよく聞かれるんですよ。でも、商社を辞めた時点では「テレイグジスタンス」をまったく知らなかった。商社は扱う金額が大きくて面白いんですけど、やっぱり線形でしか伸びないようなビジネスしか手掛けられない。大きなプロジェクトを2～3回やると、展開が読めてしまうというか。

杉原　パラダイムシフトが起きにくいということですね。

富岡　そうです。そこで、スタンフォード（大学経営大学院）を卒業し、ファンド組成と投資を経験した後、次に何をやろうかというときに、とりあえず複雑なことをしようと。技術的に複雑で難しいだけでなく、事業の仮説が4乗、5乗にも重なっていて、それを（事業としての）実態に変換する際には、複雑に利害が絡まった人たちを巻き込みながら、その煩雑さに糸を通していくような力量が要求されること。事業の経済計算も緻密さが要求され、モデル化が必要なこと。とにかく複雑系なことをやりたかったのです。

杉原　難攻不落かつ、ゼロイチ（世の中にないモノやサービス、価値を生み出すこと）のチャレンジングな仕事がしたかったんですね。

富岡　そうです。そして、いくつかの選択肢のなかで一番革新的で複雑そうなのが、館先生のロボティクスだった。難易度は異常に高いけれど、彼の技術をリサーチからエンジニアリングに引き上げ、ユニットエコノミクス（*1）を証明できれば、その後は事業が非線形で伸びるイメージが生まれました。

*1：SaaSやサブスクリプションサービスで扱われることの多い、ビジネスの最小単位1個あたりの収益性のこと

杉原　設立は2017年1月ですけど、当時はまだ遠隔操作はブルーオーシャンだったのでしょうか？

富岡　研究のひとつとしてはありましたけど、「ヒューマノイドロボット」を操作して云々というのはNASAの世界くらいでした。ですが、ロボットを遠隔操作する「マスター・スレイブ型」はごく一部の専門領域として昔からありました。

杉原　でも、「マスター・スレイブ（主人と奴隷）」ってすごい言葉ですよね。

富岡　あははは。ロボットの専門用語ですね。

2020年9月、遠隔操作ロボットが
コンビニの陳列を開始する

Model T

杉原　2018年に、テレイグジスタンスの技術、VR、通信、クラウド、触覚技術を盛り込んだ、プロトタイプの『Model H』という遠隔操作ロボットを開発されました。そしてついに、商業化に向けたサービスをローンチされるようですね。

富岡　そうなんです。まずは小売りの分野から始めていきます。今度、竹芝にソフトバンクの新本社ビルができるんですよ。AIやIoTを活用したスマートビルになっていて、その1Fに約50坪の、ロボットが導入されたローソンができる予定です。(*2)

*2 9月14日〜現在「ローソン Model T 東京ポートシティ竹芝店」にて導入

杉原　えっ！　それはどういうことですか？

富岡　弊社が運営する店舗では、遠隔操作ロボットが多様な商品の陳列業務をするんです。

杉原　その遠隔操作ロボットは、どういうことができるのでしょうか？

富岡　『Model T』という遠隔操作ロボットで、移動しながらいろいろな商品を陳列していきます。従来の産業用ロボットアームは、工場内の極めて静的な環境下で、形状パターンが限定された物体をピック＆ドロップすることがメインです。一方、工場の外で使おうとすると役に立たない。なぜなら、工場の外の世界は従来の産業用ロボットにとって環境設定がファジー過ぎるからです。小売りを例にすると、実店舗内でのライティング（照明）のパターンは無数にありますし、把持する商品が、食品と飲料だけでも約3500〜10,000種類以上あります。

杉原　それは画像認識がすごく大変になりますね。

富岡　まさに、すさまじいことになります。これを全て自律的におこなうには、まず画像認識で問題にぶつかります。商品の形状を認識し、さらに商品の傾きなどの姿勢推定、そして「ここを掴む」という把持点も認識しないといけない。現在のマシーンビジョン(*3)の技術レベルでは、実用レベルで解くにはかなり難しい問題設定になります。いわゆるフレーム問題というやつです。そんなとき、「テレイグジスタンス（遠隔存在）」が有効なアプローチになると思います。

*3：画像の取り込みと処理に基づいて機器を動作させるシステムのこと

杉原　インプットが膨大になりすぎて、時間もお金もかかりすぎることは人間がおこなうということですか？

富岡　人間ならば、あるモノを見たときにどう掴むべきかは5歳児でもわかる。それならば、人の目で掴むべき「把持点」を抽出したあとに、それを取ってA地点からB地点に持っていくのは従来のロボット工学の軌道計画でできる。そういう意味で人間が遠隔操作したほうが簡単だし安い。

杉原　遠隔操作する際、その『Model T』自体の距離感をディープラーニングしていくことも必要なのでしょうか？

富岡　現時点では、VRを使って人の目で合わせていきます。

個人がロボットを
所有して働かせる未来

杉原　こんなことを聞いていいのかわからないですが、『Model T』の時給はいくらになるのでしょうか？

富岡　そこがまさにビジネスモデルに関係していて、僕らは『Model T』を売らず、ロボットがおこなう役務提供（サービス提供）への対価を、雇い主からいただこうと考えています。わかりやすくいえば、人間が小売店舗で勤務するのと同等の価値と考えて、例えば陳列した分だけ対価を頂くという感じです。流行りの言葉で言えば「RaaS（robotics as a service）」ですね。 金額的には低賃金の小売業界でも、十分費用対効果が出るレベルにまで価格は抑えて導入可能です。

杉原　その計算でいけるとは、びっくりするくらい安いですね。これが5年前なら、ロボットの価格だけで3～4倍の値段になっていたはず。すごいイノベーションです。

富岡　TXはロボットのハードウェアを9割以上内製化して開発しています。また、ハードのみならず、ロボットの軌道計画、ロボット制御、遠隔制御、クラウド・通信、操作コクピットのUIなどもすべて内製化していて、高い柔軟性で製造コストをコントロールしています。ビジネスモデルの話に戻すと、東京の時給が約1200円。同じ仕事でも、賃金の低い県だと24時間365日勤務と考えた場合、年間200万円くらいの差がでるわけです。

杉原　そうですよね、遠隔操作であれば住んでいる場所は関係ない。しかも、いま話題の在宅勤務ができる。1時間だけスポットで入るとか、これまで通勤することができない事情を抱えた人でも働けるようになる。

富岡　まずは、小売り店舗の食べ物と飲料の陳列からスタートします。実は、それだけでも2200種類程度あるんですよ（笑）

杉原　そういう未来が来るとは思っていましたが、意外に早かったと感じます。ここから新しい職業が生まれ、さらにはこれまで仕事に就けなかった人たちの「選択肢」や「機会」が提示されることにもなる。ロボットが職場に進出することに関する、世間の誤解も解けそうな気がします。

富岡　そう思います。ロボットは今後、最も富を生み出す「資産」のひとつになりえる。でも、これまでのやり方のまま、『Model T』を大企業に売って彼らが使ってしまうと、ロボットから生み出される「富」が個人に「還元」されにくい。その意味でも、我々はロボットを「個人所有」させたい。個人が所有しているロボットが企業に役務提供することで、対価を得られる仕組みを構築したいんです。

杉原　企業からすると「投資」をする必要がない。また、労働者からすると自分がそこにいなくてもいい。さらには、ロボットをひとりで所有しなくてもいいわけですよね。

富岡　もちろん、何人かで所有していただいてもいいですし、それを使って誰が働くのかも問わない。

杉原　すごいビジネスが生まれそうですね。

富岡　5Gなどでインターネットのスピードが上がれば、日本で操作する必要すらないですよ。そうなると、時給差はもっと生まれると思います。逆に、海外の時給のいい仕事を日本でやることもできます。

富岡 仁
テレイグジスタンス株式会社 代表取締役CEO、CFO兼共同出資者。
スタンフォード大学経営大学院修士。2004年に三菱商事入社し、海外電力資産の買収などに従事した。2016年にジョン・ルース元駐日大使らとシリコンバレーのグロースキャピタルファンド「Geodesic Capital」を組成し、SnapchatやUberなどへの投資を実行。東京大学の舘名誉教授のテレイグジスタンス技術に魅了され、2017年1月にテレイグジスタンス株式会社を起業。