テクノロジー TECHNOLOGY

ほぼタイムラグなしで、話した言葉をテキスト化する『LiveTalk』【富士通株式会社:2020東京を支える企業】

宮本さおり

外観から分かりにくい障がいの一つ、聴覚障害。国内で聴覚障がい者として認定を受けている人は約34万人と言われている。聴力レベルが低いという人まで入れると、その数は膨れ上がり約2000万人が耳の聞こえの悪さで苦労していると推定されている。聴力が少しでも残っていれば、補聴器や人工内耳といった手だても考えられるが、費用もかかり、また、環境により音が聞き取れないこともある。耳の不自由な人たちは、こうした不便さにいわば“妥協”して生きてきた。この「不便さの妥協」を食い止めるようなものが今、富士通株式会社で開発されている。

2020東京オリパラの公式スポンサーとなった富士通では、「3Dレーザーセンサー」による採点支援など、競技に直接的に関わる分野の開発をはじめ、2020東京オリパラに向けた様々な取り組みが始まっている。聾唖者をまじえた会議などで活用が見込まれるツールとして、販売がはじまった「LiveTalk」に手軽さを加え、健常者とも気軽にコミュニケーションが可能になるというのだ。このツールを使えば、手話を知らないボランティアも、会場への交通案内をスムーズに行うことが可能となる。多言語にも対応、障がいだけでなく、言語の壁をも飛び越える画期的なツールが誕生しようとしている。

きっかけは内部からの声

開発のきっかけについて語る大谷さん

「社内には聴覚障がいを持つ社員もいます。『FUJITSU Software LiveTalk』は、社内の会議などで、円滑なコミュニケーションがとりたいという彼らの願いから生まれました。普通の会話と仕事についての会話は性質や内容が異なります。一方的に話す方もいるので、そのような状況でもコミュニケーションをとりたいとの思いから、もともと研究されていた技術を富士通で開発販売するようになりました。今、隣にいる渡邉さんも社内会議でLiveTalkを使っています」(東京オリンピック・パラリンピック推進本部/プロモーション企画・推進統括部 統括部長大谷真美さん)

実際に使い方をレクチャーしてくれる東京オリンピック・パラリンピック推進本部/ビジネス企画・推進統括部の渡邉儀一さん(左)と株式会社富士通ソーシアルサイエンスラボラトリ 公共ビジネス本部 第三システム部 尾崎 純子さん(右)

利用方法は簡単だ。ソフトウエアを購入し、パソコン端末に入れれば使えるようになる。マイクを通して発話された音声をクラウド上の音声認識エンジンが文字に変換、すばやくデータ化されてディスプレイされるという仕組みだ。話している途中でもどんどんテキスト化、しかも多言語化できるというのが富士通の技術だという。取材班も試させていただいたが、多少の誤変換はあるものの、確かに話すそばから文字化されていった。

「弊社のイベントで使った際は予め打ち込んだものが入っていると思われるほどでした。登壇者が言い間違えた時にはそれもそのまま表示されますので、その時になって、みなさん“えっ”と驚かれるくらい、そのくらいの速さで文字化されていきます」と話すのは、この開発に関わる 株式会社富士通ソーシアルサイエンスラボラトリ 公共ビジネス本部 第三システム部 尾崎 純子さん。キーボードを使った入力も可能で、コミュニケーションが取りやすいようにとスタンプも用意した。この「LiveTalk」は、富士ゼロックスサービスクリエイティブ株式会社ほか120社以上の会社や自治体ですでに利用がはじまっている。また、大学でも近年、導入する所が出てきている。

発話するとすぐさま文字化されたものがディスプレイされる
聴覚障がい者はキーボードを打つことで発言が可能に

別アプリで画像やデータを表示し、その上に字幕のように発話内容を表示することも可能

聴覚障がい者が大学に入学した場合、授業の履修で手助けとなるのがノートテイカーというボランティア。だが、ここにも“課題”があった。ノートテイカーは、聴覚障がい者の隣に座り、ノートなどに先生の話すことを書いていく人のことで、聴覚障がい者はこのノートを頼りに授業に参加する。しかし、相手が読むことができる文字を人間が手書きで書くのは1分間に70文字程度。つまり、先生の発言をそのまま文字化していくことは難しく、内容が要約されてしまうこともあるのだ。

「『LiveTalk』の場合、先生の話が瞬時にそのまま文字化されるので、“授業に参加している”という意識を強く持てると好評です。サポートの人が書くとタイムラグが生じますが、『LiveTalk』はタイムラグはほぼありません。また、発話が要約されることもないので、聴覚障がい者の方からは『情報量が広がった』との声が聞かれました。先生の話すテンポや冗談など、今まで感じ取れきれなかった場の雰囲気的な部分も含めて受け取ることができるようになります」(大谷さん)

多言語翻訳にも挑戦

聴覚障がい者のために開発された「LiveTalk」だが、富士通では今後、多言語への翻訳ツールとしての展開を考えている。
「多言語、英語や中国語など、最終的には19ヶ国語まで対応する予定です。2020東京オリパラなど、海外から沢山のお客様がいらっしゃった時に多言語でいろいろなことを表示できたり、とうぜん聴覚障がいをお持ちの方にもお使いいただけるように力を入れているところです。」(大谷さん)

これが可能となれば、世界中の人々から言語という壁が取り払われることになるだろう。また、会議の場やイベントだけではなく、病院の受付や病室での患者と看護師とのやりとりなど、さらに活用の場を広げられる様、開発に取り組んでいる。

 手軽さをプラスしたイベント型「LiveTalk」を発表

この11月にリリースになったのが「LiveTalk」をさらに手軽に使えるようにしたものだ。「これまではクライアント端末にソフトをインストールしていただく形だったので、イベントなどで使用する場合は、サブスクリーンなどに発話内容や翻訳を投影していました。しかし、この方法だと座席や対応できる言語数に制約があります。そこで、登壇者が発話に使う『LiveTalk』のクライアント端末のみを用意すれば、イベントの期間中に利用申し込みをした来場者は、QRコードから発話内容や翻訳を確認できるというサービスをはじめました。」(尾崎さん)

 「東京2020大会では、9万人のボランティア募集がかかると聞いています。そういう中で、会場では聴覚障がい者向けに手話通訳もあるとは思いますが、観光案内や会場へのルート案内など、会場以外の場面でもこうしたツールも活用すれば、より多くの人に東京2020大会を楽しんでいただけるようになると思っています」(大谷さん)

 聴覚障がいの壁だけでなく、言語の壁をも飛び越えようとする富士通の技術。“不便の妥協”を突破する技術革新を2020東京オリパラを通して私たちは目にしようとしている。

(text: 宮本さおり)

(photo: 壬生マリコ)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

テクノロジー TECHNOLOGY

ボーダレスな未来を描く3つの最先端プロジェクトをRDSが発表!

富山英三郎

F1チーム「レッドブル・トロロッソ・ホンダ」とスポンサー契約を結ぶなど、モータースポーツ・ロボットなどの先行開発や医療福祉機器まで、自社ファクトリーで先進のものづくりをおこなっているRDSの記者発表会が2019年9月18日におこなわれた。当日はあいにくの雨模様だったが、会場には60名近くのマスコミや関係者が駆けつけた。事前に配布された資料には、最新車いすレーサー『WF01TR』、シーティングポジションの最適化を測るシミュレーター『SS01』、進化を遂げた通信対戦型VRレーサー『CYBER WHEEL X』のお披露目とある。それらはどんなプロダクトなのか? 記者発表の模様とともにお伝えしていく。

かっこいい、かわいいといった
素直な感情を大切にしている

発表会のスタートと共に場内は暗転。期待感がいっきに高まるなか、未来的な光を放つモビリティ(車いす)『WF-01』に乗った、RDS代表取締役社長であり弊誌編集長の杉原行里が登場した。

「RDSは、かっこいい、かわいい、素敵だなと思うような、人間が普遍的に持つ感情を大切にしている企業です。また、日本では2025年に65歳以上の方々が人口の30%に達します。そんな時代が来る頃には、車いすのことをモビリティと呼んでいるかもしれない」と杉原は語り始めた。

そして、「今回紹介するプロジェクトは、1.身体データを可視化することで可能になるパーソナライズの量産化。2.デザインやテクノロジーによって付与される新たな価値観と選択肢。そのふたつが大きなポイントになる」と話し、一本の動画が流された。

最新の車いすレーサーでトラックを疾走する、車いす陸上アスリートの伊藤智也選手の映像。彼は2008年の北京パラリンピックの車いす競技で金メダルを2個、続くロンドンパラリンピックでも銀メダルを3個獲得したレジェンド。2012年に引退したが、RDSの車いすレーサー参入をサポートすべく、2017年より開発ドライバーに就任。当初は開発をサポートするために呼ばれたが、同プロジェクトを機に現役復帰を決意。2020年には58歳を迎えるが、大会でのメダル獲得をRDSと共に目指すことになった。

会場では、伊藤選手の応援ソング『ノンフィクション』を歌うHoney L Daysのライブもおこなわれた。 2020を目指す、最新の車いすレーサー『WF01TR』

伊藤選手が壇上にあがり、車いすレーサー『WF01TR』を前に開発秘話が明かされた。ことの発端は、2016年にスイスで伊藤選手と杉原が出会うことから始まったという。すぐに意気投合して開発がスタートするものの、当初は喧々諤々の状態だったとか。

「意見が合うことのほうが少なかったよね。俺は感覚で言ってるのに、エンジニアはすべてを数値化して話してくる。反論したいけど、そこには逆らえないし…(笑)」と伊藤選手。

「アスリートと対等な立ち位置で開発を進めるためには、共通のコミュニケーションツールが必要だったんです。そのために、モーションキャプチャーやハイスピードカメラ、フォースプレートなどを使って伊藤選手の体を隅々まで解析していきました。伊藤さんが語る、“硬い” や “痛い” といった抽象的な表現を、すべて数値化して可視化していったんです」と杉原。

そんな車いすレーサー『WF01TR』の開発をキッカケに、シーティングポジションの重要性にたどり着いた。座る位置や重心により、発揮できるパフォーマンスは大きく変化するのだ。それがわかるまでに、すでに2年の月日が経っていたという。

「先月、びっくるするほどのタイムが出たんです。しかも、通常は400mを全力疾走すると息も絶え絶え、なのに、そのときはゴール直後にスタッフと喋ることもできた。というのも、自分の感覚としては全然漕いでいなかったから。そんな風に、走りと感覚があまりにも一致しないから、軽く落ち込んだほどなんです。いまは、このマシーンをいかに早く走らせられるかだけを考えています。そして、最終的には皆さんが想像している通りの結果を出したい」と、伊藤選手は力強く語った。

ロボット技術を詰め込んだ、
車いすの最適化を測るシミュレーター『SS01』

伊藤選手との共同開発により判明したシーティングポジションの重要性は、感覚の数値化・可視化が生み出したもの。しかし、車いすレーサー『WF01TR』の開発に2年かかったことを考えると、多くの人にその方法論を転用することは難しかった。だが、RDSの基本精神は、最新の技術をいかに一般の生活に落とし込むかということ。そこで生まれたのが、競技用車いすや車いすにおけるシーティングポジションの最適解を探すシミュレーター『SS01』だ。

ここで『SS01』を共同開発した、千葉工業大学未来ロボットセンター(fuRo)の清水正晴氏が登壇。fuRoはこれまでにさまざまなロボットを開発しており、業界トップクラスの技術とアイデアを有していることで知られる。

「このシミュレーターは、背もたれや座面、ホイールのチャンバー角などが可変していきます。また、座面の下には触覚センサーがあってお尻の形も計測される。ありとあらゆる変数を手に入れることで計測し、解析し、最適なシーティングポジションを見つけていくものです」と杉原。

「『SS01』を開発するにあたっては、ロボットの技術が3つ投入されています。ひとつは、モーター制御による姿勢変更。このマシーンには15箇所の可動部分があり、ロボットで例えると15の関節を持ったものといえます。二つ目は計測技術。トルク制御の技術を使い、重心の位置、車輪のスピード、そこにどれくらいの力が加わっているのかなどを計測しています。最後にホイール負荷制御。こちらもモーターによってホイールの負荷を動的に制御しています。それらを駆使することで、リアルタイムにダイナミックな計測ができる。我々からすると、『SS01』はまさにロボットです」と清水氏。

今後は、倫理承認を得たのち、国立障害者リハビリテーションセンター研究所と共に車いすユーザーのパーソナルデータを計測&解析をおこなうプロジェクトがスタート。ここで多くのデータを取得し、アルゴリズム解析を進めていくという。
また、車椅子ユーザーに限らず、シッティングスポーツやオフィスワーカーなどのプロダクト開発も行なっていく予定だという。

進化した通信対戦型VRレーサー
『CYBER WHEEL X』

最後にエンターテイメントに通じるプロジェクトが発表された。それが、通信対戦型VRレーサー『CYBER WHEEL X』だ。

「車イスを “自分ごと化” するのは難しいかもしれない。そこを想起させるためには、単純に楽しい、童心に返ってやってみたいと思えるものではないといけないと思うのです」と語った杉原。

壇上にあがったのは、共同開発者であるワントゥーテンの澤邊芳明氏。なお、『CYBER WHEEL』のVer.1は同社が2017年に発表したものであり、これまでに1万人以上が体験するなど大きな成果を上げてきたVRレーサー。車いす部分も含め、すべてをよりリアルに進化させ、対戦までも可能にしたのが今回のモデルとなる。

「リアルという意味では、新宿・渋谷・東京駅・お台場レインボーブリッジで車を走らせデータを計測。仮想空間に本物の街を再現しています。高低差もついており、上り坂になればハンドルが重くなり、下りになれば軽くなる。そのためのトルクチェンジャーは、fuRoさんの協力のもと導入しています」と澤邊氏。

「これはゲーム機のようなハードウェアなので、コンテンツは自由自在」という杉原。

「今後は、ウィルチェアーラグビーや車いすバスケなどにも転用できる。腕を使うルームランナーだと思えば、パラスポーツにとどまらない展開も可能です。2020年を大きなきっかけとして、見るスポーツとやるスポーツの距離を縮めていきたい」と澤邊氏は語った。

最高峰のテクノロジーは生活の向上のためにある

「F1でもなんでも、最高峰のテクノロジーで培われたものが生活に落とし込まれ、QOLの向上に役立ってきました。私たちは、車いすレーサー『WF01TR』で培った技術を、どのように皆さんの生活に落とし込んでいくかを課題にしています。金メダルだけが目的ではないんです。さらには、多くの方が “自分ごと化” できるよう、『SS01』のようなパーソナライズの量産化を今後も進めていきます」と杉原が語り、発表会は終了となった。

(text: 富山英三郎)

(photo: 増元幸司)

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー