テクノロジー TECHNOLOGY

ほぼタイムラグなしで、話した言葉をテキスト化する『LiveTalk』【富士通株式会社:2020東京を支える企業】

宮本さおり

外観から分かりにくい障がいの一つ、聴覚障害。国内で聴覚障がい者として認定を受けている人は約34万人と言われている。聴力レベルが低いという人まで入れると、その数は膨れ上がり約2000万人が耳の聞こえの悪さで苦労していると推定されている。聴力が少しでも残っていれば、補聴器や人工内耳といった手だても考えられるが、費用もかかり、また、環境により音が聞き取れないこともある。耳の不自由な人たちは、こうした不便さにいわば“妥協”して生きてきた。この「不便さの妥協」を食い止めるようなものが今、富士通株式会社で開発されている。

2020東京オリパラの公式スポンサーとなった富士通では、「3Dレーザーセンサー」による採点支援など、競技に直接的に関わる分野の開発をはじめ、2020東京オリパラに向けた様々な取り組みが始まっている。聾唖者をまじえた会議などで活用が見込まれるツールとして、販売がはじまった「LiveTalk」に手軽さを加え、健常者とも気軽にコミュニケーションが可能になるというのだ。このツールを使えば、手話を知らないボランティアも、会場への交通案内をスムーズに行うことが可能となる。多言語にも対応、障がいだけでなく、言語の壁をも飛び越える画期的なツールが誕生しようとしている。

きっかけは内部からの声

開発のきっかけについて語る大谷さん

「社内には聴覚障がいを持つ社員もいます。『FUJITSU Software LiveTalk』は、社内の会議などで、円滑なコミュニケーションがとりたいという彼らの願いから生まれました。普通の会話と仕事についての会話は性質や内容が異なります。一方的に話す方もいるので、そのような状況でもコミュニケーションをとりたいとの思いから、もともと研究されていた技術を富士通で開発販売するようになりました。今、隣にいる渡邉さんも社内会議でLiveTalkを使っています」(東京オリンピック・パラリンピック推進本部/プロモーション企画・推進統括部 統括部長大谷真美さん)

実際に使い方をレクチャーしてくれる東京オリンピック・パラリンピック推進本部/ビジネス企画・推進統括部の渡邉儀一さん(左)と株式会社富士通ソーシアルサイエンスラボラトリ 公共ビジネス本部 第三システム部 尾崎 純子さん(右)

利用方法は簡単だ。ソフトウエアを購入し、パソコン端末に入れれば使えるようになる。マイクを通して発話された音声をクラウド上の音声認識エンジンが文字に変換、すばやくデータ化されてディスプレイされるという仕組みだ。話している途中でもどんどんテキスト化、しかも多言語化できるというのが富士通の技術だという。取材班も試させていただいたが、多少の誤変換はあるものの、確かに話すそばから文字化されていった。

「弊社のイベントで使った際は予め打ち込んだものが入っていると思われるほどでした。登壇者が言い間違えた時にはそれもそのまま表示されますので、その時になって、みなさん“えっ”と驚かれるくらい、そのくらいの速さで文字化されていきます」と話すのは、この開発に関わる 株式会社富士通ソーシアルサイエンスラボラトリ 公共ビジネス本部 第三システム部 尾崎 純子さん。キーボードを使った入力も可能で、コミュニケーションが取りやすいようにとスタンプも用意した。この「LiveTalk」は、富士ゼロックスサービスクリエイティブ株式会社ほか120社以上の会社や自治体ですでに利用がはじまっている。また、大学でも近年、導入する所が出てきている。

発話するとすぐさま文字化されたものがディスプレイされる
聴覚障がい者はキーボードを打つことで発言が可能に

別アプリで画像やデータを表示し、その上に字幕のように発話内容を表示することも可能

聴覚障がい者が大学に入学した場合、授業の履修で手助けとなるのがノートテイカーというボランティア。だが、ここにも“課題”があった。ノートテイカーは、聴覚障がい者の隣に座り、ノートなどに先生の話すことを書いていく人のことで、聴覚障がい者はこのノートを頼りに授業に参加する。しかし、相手が読むことができる文字を人間が手書きで書くのは1分間に70文字程度。つまり、先生の発言をそのまま文字化していくことは難しく、内容が要約されてしまうこともあるのだ。

「『LiveTalk』の場合、先生の話が瞬時にそのまま文字化されるので、“授業に参加している”という意識を強く持てると好評です。サポートの人が書くとタイムラグが生じますが、『LiveTalk』はタイムラグはほぼありません。また、発話が要約されることもないので、聴覚障がい者の方からは『情報量が広がった』との声が聞かれました。先生の話すテンポや冗談など、今まで感じ取れきれなかった場の雰囲気的な部分も含めて受け取ることができるようになります」(大谷さん)

多言語翻訳にも挑戦

聴覚障がい者のために開発された「LiveTalk」だが、富士通では今後、多言語への翻訳ツールとしての展開を考えている。
「多言語、英語や中国語など、最終的には19ヶ国語まで対応する予定です。2020東京オリパラなど、海外から沢山のお客様がいらっしゃった時に多言語でいろいろなことを表示できたり、とうぜん聴覚障がいをお持ちの方にもお使いいただけるように力を入れているところです。」(大谷さん)

これが可能となれば、世界中の人々から言語という壁が取り払われることになるだろう。また、会議の場やイベントだけではなく、病院の受付や病室での患者と看護師とのやりとりなど、さらに活用の場を広げられる様、開発に取り組んでいる。

 手軽さをプラスしたイベント型「LiveTalk」を発表

この11月にリリースになったのが「LiveTalk」をさらに手軽に使えるようにしたものだ。「これまではクライアント端末にソフトをインストールしていただく形だったので、イベントなどで使用する場合は、サブスクリーンなどに発話内容や翻訳を投影していました。しかし、この方法だと座席や対応できる言語数に制約があります。そこで、登壇者が発話に使う『LiveTalk』のクライアント端末のみを用意すれば、イベントの期間中に利用申し込みをした来場者は、QRコードから発話内容や翻訳を確認できるというサービスをはじめました。」(尾崎さん)

 「東京2020大会では、9万人のボランティア募集がかかると聞いています。そういう中で、会場では聴覚障がい者向けに手話通訳もあるとは思いますが、観光案内や会場へのルート案内など、会場以外の場面でもこうしたツールも活用すれば、より多くの人に東京2020大会を楽しんでいただけるようになると思っています」(大谷さん)

 聴覚障がいの壁だけでなく、言語の壁をも飛び越えようとする富士通の技術。“不便の妥協”を突破する技術革新を2020東京オリパラを通して私たちは目にしようとしている。

(text: 宮本さおり)

(photo: 壬生マリコ)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

テクノロジー TECHNOLOGY

音を髪で感じるデバイス!?“世界を変える若者”が想い描く未来とは【the innovator】

高橋亜矢子-TPDL

髪の毛で音を感じる全く新しいユーザインターフェイスが、世界中から注目を集めている。ヘアピンのように髪の毛につけて、振動と光で音の特徴を伝えるデバイスは、髪に音のアンテナを立てるという意味を込めて「Ontenna(オンテナ)」と名付けられた。その「Ontenna」を開発したのが、富士通UIデザイナーの本多達也さん。彼こそ、世界有数の経済誌『Forbes』が選んだ“世界を変える若者”のひとりだ。

最新のテクノロジーで、
ろう者に音を伝えたい

−日本のみならず、海外からも注目を集めている「Ontenna」について、詳しく教えてください。

Ontennaは、聴覚に障がいをもつろう者のために開発されたヘアピン型のデバイスで、髪の毛につけることで、生活の中のさまざまな音を振動と光によって伝えます。ろう者は、電話が鳴ってもわからない、車が近づいてもわからない、掃除機のコンセントが抜けてもわからないという中で生活しています。彼らに、テクノロジーやデザインを使って音を伝えたいという想いから生まれました。

−振動と光で音を伝えるということですが、具体的にどういう仕組みになっているのですか?

仕組みとしては、30dB〜90dBの音圧、つまり音の大きさを256段階の振動と光の強さにリアルタイムに変換してユーザに伝えます。どうぞ手に取ってみてください。「おーい」「あ、あ、あ」「あーーー!」(本多さんOntennaに向かって声を出す)。振動から音のリズムやパターンを感じられませんか?

−音が大きくなると振動が強くなって、離れると弱くなります。音に応じて震えるのですね。

Ontennaはろう者と協働して開発していますが、印象的だったフィードバックに「初めてセミの鳴き声を聞いた気がした」という声がありました。ろう学校でセミは「ミーンミンミン」と鳴くと教わったけれど、それがどういうリズムで鳴くのか今までわからなかったそうです。Ontennaは、ろう者の生活に寄り添うだけでなく、ろう者の感じる世界を一変させるプロダクトになると確信しました。

ろう者と健聴者の
ギャップを埋めるデザイン

−開発5年目に突入したOntennaですが、そもそものきっかけは何だったのですか?

大学1年生の学園祭でろう者と出会ったことがきっかけでした。それからろう者とのコミュニケーションに興味をもち、手話の勉強を始め、手話通訳のボランティアやNPOの立ち上げを行いました。大学では、「身体と感覚の拡張」をテーマに研究を重ね、Ontennaの開発を始めたのは4年生のときです。

−「髪の毛で音を感じる」というユニークなコンセプトは、最初からあったのですか?

当初は、音の大きさを光の強さに変換するプロダクトを作りました。大きな音がすると光が大きくなる、イコライザーみたいなもの。アルバイトで稼いだお金をつぎ込んでプロトタイプを作ったのですが、ろう者に「こんなのいらない」って言われてしまって……。あれはショックでしたね。それから触覚というものに注目してみたのですが、肌に直接付けると振動が気持ち悪い、服の上に付けると今度は振動が伝わりにくいとなり、いろいろな部位を試すなかで髪の毛という結論に辿り着いたのです。

−Ontennaの開発にあたり、いちばん苦労したのはどんなことでしたか?

付ける位置のほか、振動の強弱の調整にも苦労しました。ろう者は健聴者に比べて振動にとても敏感で、強すぎても不快だし、弱すぎても気づくことができません。あとは、形をどうするかも悩みました。どんなに優れたテクノロジーであっても、いかにも障がい者用とわかるような見た目では、ろう者と健聴者のギャップは埋まりません。振動が伝わりやすいように基盤を配置しつつ、アクセサリーのようなスタイリッシュなデザインに徹底的にこだわりました。

FEELからFUNへ。
Ontennaの描く未来とは?

−最近では、映画『Noise』とのコラボレーションも話題となりましたが、どのような経緯でこのような取り組みをすることになったのですか?

『Noise』は、日本を代表する DJのbanvoxさんが音楽プロデューサーとして参加していて、劇中の音楽、音声、音質、効果音、細かな音のニュアンスまでこだわった作品です。音と映像のシンクロにフォーカスした作品をろう者にも体験してほしい、今までにない新しい映画体験をたくさんの人に届けたいという想いで、Ontennaを用いた上映会を実施しました。

−上映会に参加した人の反応はいかがでしたか?

今回の上映会では、ろう者だけでなく健聴者にもOntennaを使ってもらい、同じ空間を共有してもらいました。映画は秋葉原無差別殺傷事件がモチーフになっていて、救急車のサイレンの音が特徴的に使われているのですが、そういった音が健聴者にも臨場感をもって体感できたようです。ろう者からは「信号機に音があることを初めて知った」という声があり、Ontennaを付けたことでより映画を楽しめ、新しい価値の創造につながったと思います。

−ますます広がりを見せているOntennaですが、今後の課題や展望を教えてください。

これからのOntennaは、ろう者がアラームを感じ取るデバイスではなく、楽しいを増幅させるデバイスになってくれたら嬉しいですね。Ontennaを付けることで、みんながより楽しくなり、ろう者と健聴者が同じ空間を共有できるものになることを願っています。とにかく早くみなさんに届けられるように、今ビジネスモデルを模索中です。当初の目標であった2020年には、多くの人が使えている状態までもっていきたいです。

障がいなんて、
テクノロジーの力でどうにでもなる

−先の上映会もそうですが、垣根のない社会のために未来にどんなプロダクトがあったらいいと思いますか?

僕はデジタルなことをやっていますが、アナログなことを後世に残したいと感じることがあります。2020年後半からシンギュラリティが始まり、2045年にはこれまでの世界とは全く異なる世界がやってくると言われています。今僕らが感じている、砂や泥の感触、土のにおい、心地よい空気、穏やかな波の音っていうのは、その世界にはないかもしれない。直感的、感覚的なものは、健常者も障がい者も平等にもっています。そういう価値観を残せるタイムカプセルを作りたいですね。

−今、本多さんが注目している企業や人、取り組みを教えてください。

僕も参画しているのですが、落合陽一さんが代表を務める「クロス・ダイバーシティ」というプロジェクトです。AIを脅威に感じる人は多いですが、そんなことはありません。AIがあることで、人間は拡張されてより働けるし、おもしろいこともたくさんできます。障がいがあるからできない、高齢になったからできない、そういったものは、テクノロジーの力でどうにかなると言いたい。AIで広がる世界というものを、僕たちが描いていけたらと思っています。

本多達也(Tatsuya Honda)
1990年 香川県生まれ。人間の身体や感覚の拡張をテーマに、ろう者と協働して新しい音知覚装置の研究を行う。2014年度未踏スーパークリエータ。第21回AMD Award 新人賞。2016年度グッドデザイン賞特別賞。Forbes 30 Under 30 Asia 2017。Design Intelligence Award 2017 Excellcence賞。現在は、富士通株式会社マーケティング戦略本部にてOntennaの開発に取り組む。

(text: 高橋亜矢子-TPDL)

(photo: 壬生マリコ)

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー