テクノロジー TECHNOLOGY

ほぼタイムラグなしで、話した言葉をテキスト化する『LiveTalk』【富士通株式会社:2020東京を支える企業】

宮本さおり

外観から分かりにくい障がいの一つ、聴覚障害。国内で聴覚障がい者として認定を受けている人は約34万人と言われている。聴力レベルが低いという人まで入れると、その数は膨れ上がり約2000万人が耳の聞こえの悪さで苦労していると推定されている。聴力が少しでも残っていれば、補聴器や人工内耳といった手だても考えられるが、費用もかかり、また、環境により音が聞き取れないこともある。耳の不自由な人たちは、こうした不便さにいわば“妥協”して生きてきた。この「不便さの妥協」を食い止めるようなものが今、富士通株式会社で開発されている。

2020東京オリパラの公式スポンサーとなった富士通では、「3Dレーザーセンサー」による採点支援など、競技に直接的に関わる分野の開発をはじめ、2020東京オリパラに向けた様々な取り組みが始まっている。聾唖者をまじえた会議などで活用が見込まれるツールとして、販売がはじまった「LiveTalk」に手軽さを加え、健常者とも気軽にコミュニケーションが可能になるというのだ。このツールを使えば、手話を知らないボランティアも、会場への交通案内をスムーズに行うことが可能となる。多言語にも対応、障がいだけでなく、言語の壁をも飛び越える画期的なツールが誕生しようとしている。

きっかけは内部からの声

開発のきっかけについて語る大谷さん

「社内には聴覚障がいを持つ社員もいます。『FUJITSU Software LiveTalk』は、社内の会議などで、円滑なコミュニケーションがとりたいという彼らの願いから生まれました。普通の会話と仕事についての会話は性質や内容が異なります。一方的に話す方もいるので、そのような状況でもコミュニケーションをとりたいとの思いから、もともと研究されていた技術を富士通で開発販売するようになりました。今、隣にいる渡邉さんも社内会議でLiveTalkを使っています」(東京オリンピック・パラリンピック推進本部/プロモーション企画・推進統括部 統括部長大谷真美さん)

実際に使い方をレクチャーしてくれる東京オリンピック・パラリンピック推進本部/ビジネス企画・推進統括部の渡邉儀一さん(左)と株式会社富士通ソーシアルサイエンスラボラトリ 公共ビジネス本部 第三システム部 尾崎 純子さん(右)

利用方法は簡単だ。ソフトウエアを購入し、パソコン端末に入れれば使えるようになる。マイクを通して発話された音声をクラウド上の音声認識エンジンが文字に変換、すばやくデータ化されてディスプレイされるという仕組みだ。話している途中でもどんどんテキスト化、しかも多言語化できるというのが富士通の技術だという。取材班も試させていただいたが、多少の誤変換はあるものの、確かに話すそばから文字化されていった。

「弊社のイベントで使った際は予め打ち込んだものが入っていると思われるほどでした。登壇者が言い間違えた時にはそれもそのまま表示されますので、その時になって、みなさん“えっ”と驚かれるくらい、そのくらいの速さで文字化されていきます」と話すのは、この開発に関わる 株式会社富士通ソーシアルサイエンスラボラトリ 公共ビジネス本部 第三システム部 尾崎 純子さん。キーボードを使った入力も可能で、コミュニケーションが取りやすいようにとスタンプも用意した。この「LiveTalk」は、富士ゼロックスサービスクリエイティブ株式会社ほか120社以上の会社や自治体ですでに利用がはじまっている。また、大学でも近年、導入する所が出てきている。

発話するとすぐさま文字化されたものがディスプレイされる
聴覚障がい者はキーボードを打つことで発言が可能に

別アプリで画像やデータを表示し、その上に字幕のように発話内容を表示することも可能

聴覚障がい者が大学に入学した場合、授業の履修で手助けとなるのがノートテイカーというボランティア。だが、ここにも“課題”があった。ノートテイカーは、聴覚障がい者の隣に座り、ノートなどに先生の話すことを書いていく人のことで、聴覚障がい者はこのノートを頼りに授業に参加する。しかし、相手が読むことができる文字を人間が手書きで書くのは1分間に70文字程度。つまり、先生の発言をそのまま文字化していくことは難しく、内容が要約されてしまうこともあるのだ。

「『LiveTalk』の場合、先生の話が瞬時にそのまま文字化されるので、“授業に参加している”という意識を強く持てると好評です。サポートの人が書くとタイムラグが生じますが、『LiveTalk』はタイムラグはほぼありません。また、発話が要約されることもないので、聴覚障がい者の方からは『情報量が広がった』との声が聞かれました。先生の話すテンポや冗談など、今まで感じ取れきれなかった場の雰囲気的な部分も含めて受け取ることができるようになります」(大谷さん)

多言語翻訳にも挑戦

聴覚障がい者のために開発された「LiveTalk」だが、富士通では今後、多言語への翻訳ツールとしての展開を考えている。
「多言語、英語や中国語など、最終的には19ヶ国語まで対応する予定です。2020東京オリパラなど、海外から沢山のお客様がいらっしゃった時に多言語でいろいろなことを表示できたり、とうぜん聴覚障がいをお持ちの方にもお使いいただけるように力を入れているところです。」(大谷さん)

これが可能となれば、世界中の人々から言語という壁が取り払われることになるだろう。また、会議の場やイベントだけではなく、病院の受付や病室での患者と看護師とのやりとりなど、さらに活用の場を広げられる様、開発に取り組んでいる。

 手軽さをプラスしたイベント型「LiveTalk」を発表

この11月にリリースになったのが「LiveTalk」をさらに手軽に使えるようにしたものだ。「これまではクライアント端末にソフトをインストールしていただく形だったので、イベントなどで使用する場合は、サブスクリーンなどに発話内容や翻訳を投影していました。しかし、この方法だと座席や対応できる言語数に制約があります。そこで、登壇者が発話に使う『LiveTalk』のクライアント端末のみを用意すれば、イベントの期間中に利用申し込みをした来場者は、QRコードから発話内容や翻訳を確認できるというサービスをはじめました。」(尾崎さん)

 「東京2020大会では、9万人のボランティア募集がかかると聞いています。そういう中で、会場では聴覚障がい者向けに手話通訳もあるとは思いますが、観光案内や会場へのルート案内など、会場以外の場面でもこうしたツールも活用すれば、より多くの人に東京2020大会を楽しんでいただけるようになると思っています」(大谷さん)

 聴覚障がいの壁だけでなく、言語の壁をも飛び越えようとする富士通の技術。“不便の妥協”を突破する技術革新を2020東京オリパラを通して私たちは目にしようとしている。

(text: 宮本さおり)

(photo: 壬生マリコ)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

テクノロジー TECHNOLOGY

眼の動きだけでデバイスをコントロールできる「JINS MEME BRIDGE」が可能にするものとは?【JINS:未来創造メーカー】

高橋亜矢子-TPDL

ファッション性の高いデザインやメガネの枠を超えた機能で、視力が悪い人はもちろん、視力が良い人にも人気のJINSのメガネ。今年2月、ハンディキャップを抱える人を含めたすべての人々に向け、メガネと連動した革新的なアプリ開発プラットフォーム『JINS MEME BRIDGE』を公開。開発を担当したJINS(株式会社ジンズ)の一戸晋さんにお話を伺いました。

メガネの常識を覆す、革新的なものづくり

−今年2月に公開されるや否や、早くも話題となっている『JINS MEME BRIDGE』について、詳しく教えてください。

『JINS MEME BRIDGE』(以下『BRIDGE』)は、JINSが独自開発した3点式眼電位センサー(特許取得済)を搭載した「JINS MEME(ジンズ・ミーム)」をかけることで眼の動きを検知し、それらを入力コマンドとして変換することが可能で、APIを通じてデバイス操作ができるアプリケーションです。眼の動き捕らえ、メガネをコントローラーとして使うことで、ハンディキャップをもつ人や高齢者の生活を支援するだけでなく、一般の人も含めたすべての人々の表現の自由を叶えるものだと考えています。

−『BRIDGE』はALS支援プロジェクトとしても注目されていますが、どのような経緯でこのような取り組みをすることになったのですか?

『JINS MEME』という、まばたきや視線の動き、体の動きを取得することで、専用のアプリケーションと連動し、自身のココロとカラダを可視化する、センシング・アイウエアを提供しているのですが、それを発表したときに「WITH ALS」代表で自身もALS患者である武藤将胤さんが真っ先に注目してくれたのです。このメガネがあれば、ALS患者の意思表示が簡単にできるのではないかと。眼の動きでデバイスを操作するというアイデアはすでにあったので、実際にやってみようということになったのです。

−今回のアプリもそうですが、JINSさんはメガネのイメージや価値の変革という点で先導して取り組んでいらっしゃいますよね。

当社は、ブランドビジョンに「Magnify Life(マグニファイ・ライフ)」を掲げ、メガネを通して人々の人生を豊かにするための商品やサービスを提供したいと考えています。例えば、JINSの人気商品でもある『JINS SCREEN(旧JINS PC)』は、メガネをかけることで眼の健康を守るという、メガネの新しい価値を生み出した成功例のひとつです。そういったものづくりをするなかで、メガネとアプリを連動させた『JINS MEME』が生まれました。

開発のきっかけは“頭のよくなるメガネ”

−『BRIDGE』のベースになっている『JINS MEME』の開発のきっかけは、何だったのですか?

約5年前ぐらいですかね。『脳トレ』で有名な東北大学の川島隆太教授にお会いする機会がありました。そのとき当社の代表である田中が「頭がよくなるメガネって作れないですか?」という話を持ちかけたのです。それから定期的に川島先生とお会いしてアイデア出しをすることになり、そのなかで私たちは“眼電位”という技術を知ることになりました。

−眼電位とは?

眼の表面には電位があります。角膜側がプラスで、網膜側がマイナスとなっていて、眼球が動いた時に眼の付近の皮膚表面に電位の変化が発生します。その変化を読み取って眼球の動きを判定するのが眼電位技術です。

眼電位そのものは実験や研究の領域で数十年前からあったのですが、カメラ技術の発達に伴い、電極を直接眼のまわりに貼って眼の動きを測定する眼電位は枯れた技術になっていました。しかし川島先生とお話しするなかで、当時4点で取得していた眼電位が現在は3点で取得できることがわかりました。3点ならメガネに搭載しても違和感がなく、何かできるかもしれないという気づきがそこであったのです。

−そうして、眼電位技術を使った『JINS MEME』が生まれるのですね!

眼電位の技術を形にしていくなかで、眠気というキーワードが上がっていました。眼電位で眠気を推定できるらしいけれど、じゃあどうしようという段階のときに、関越自動車道で高速路線バスの大事故がありました。ドライバーの眠気を事前に察知できれば、この事故は防げたかもしれない。メガネをかけることで眠気を検知して知らせてくれるものがあったら、すごく意味のあることではないかと考えました。それから商品の発売と同時に提供したアプリ『JINS MEME DRIVE』の開発が始まり、本格的に『JINS MEME』がスタートした感じです。

『JINS MEME』から『JINS MEME BRIDGE』へ

−『JINS MEME BRIDGE』の開発にあたり、いちばん苦労したのはどんなことでしたか?

『BRIDGE』は、眼の動きをコントローラーとして使いますが、眼の動き、特にまばたきはほぼ無意識に行っているものです。それを自分の意思で操ること自体大変ですが、ユーザーが強い意思をもたないと動かせないのでは製品として不完全です。誰でも自然と使うことができる仕様までもっていくことに苦労しましたね。あとは眼も体の一部なので、コンディションがあります。最初は調子よく動かせても、やり続けていると疲れて思うように動かせなくなるし、昨日と今日とではパフォーマンスも違います。デジタルデバイスとして、判定の精度をブラッシュアップしていくのも苦労しました。

−『BRIDGE』の今後の課題や展望を教えてください。

武藤さんの提案で我々がいちばん感銘を受けたのは、「大好きな音楽やDJをやめたくない。創造することやクリエイティブなことを続けることで、自分が生きている証明をしたい」というところです。生活をサポートするのは当然で、それとは違う“表現”という領域をもっと広げていきたいと考えています。そのなかで、ハンディキャップを持つ人と健常者がガチンコで勝負できるようなものを作っていきたいですね。互いがフラットに競って高め合えるもの。ゲームでもいいし、DJもそのひとつかもしれませんね。

−『BRIDGE』の発表会での武藤さんのVDJパフォーマンスを見て、どう感じましたか?

通常VDJというのは、DJとVJがふたりセットでパフォーマンスするのですけれど、武藤さんはそれをひとりで、しかも眼の動きだけでやっています。本気でかっこいいなって思いましたね。先日武藤さんにアメリカの会場でもパフォーマンスしてもらったのですが、やはりすごい反響がありました。いろんな人にいろんなことを言われたそうですが、武藤さんは「おまえクレイジーだな」って言われたのがいちばん嬉しかったそうです(笑)。

理想は時間や空間を飛び越えるプロダクト

−先ほどのガチンコ勝負もそうですが、垣根のない社会のために未来にどんなプロダクトがあったらいいと思いますか?

具体的にまだ思いついてはいないのですが、時間や空間を飛び越えられるものに興味があります。オンラインで開業するということもそのひとつですが、もう少し改良を加えれば、何かできそうだなとぼんやり考えています。ハンディキャップによって、体が動かせる・動かせないとか、忙しいから動けないということも含めて、時間や空間を飛び越えることは、動けないことへの解決策になるのではないかと。究極は『どこでもドア』の考えに行き着きますけどね(笑)。

−いま、一戸さんが注目している企業や人を教えてください。

先ほどの流れで行くと『ドラえもん』ですよね(笑)。それ以外でいうと、『JINS MEME』の開発をサポートしてくれたライゾマティクスさん。うちのプロジェクト以外のものもすべて刺激的で、既存のものに新しい概念を組み合わせてものづくりをされています。いちばん最初にドローンを使ってお茶の間に生ライブを届けたのはライゾマティクスさんです。ドローンの可能性を一般の人に示した功績は、やはりすごいと思います。それだけでなく、洗濯物をたたんでくれるロボットとか、心拍がある程度高まったときに外れるブラジャーのホックとか(笑)、そういう遊び心があるものを作っってしまうところも好きです。ライゾマティクスさんが発表しているものは常にチェックして参考にしていますね。

『JINS MEME BRIDGE』はまだまだ進化途中。これからどんな新しい試みが生まれてくるのでしょうか。メガネの常識をことごとく覆すJINSというブランドだからこそ、ちょっと目が離せないプロダクトです。

(text: 高橋亜矢子-TPDL)

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー