テクノロジー TECHNOLOGY

音を髪で感じるデバイス!?“世界を変える若者”が想い描く未来とは【the innovator】

高橋亜矢子-TPDL

髪の毛で音を感じる全く新しいユーザインターフェイスが、世界中から注目を集めている。ヘアピンのように髪の毛につけて、振動と光で音の特徴を伝えるデバイスは、髪に音のアンテナを立てるという意味を込めて「Ontenna(オンテナ)」と名付けられた。その「Ontenna」を開発したのが、富士通UIデザイナーの本多達也さん。彼こそ、世界有数の経済誌『Forbes』が選んだ“世界を変える若者”のひとりだ。

最新のテクノロジーで、
ろう者に音を伝えたい

−日本のみならず、海外からも注目を集めている「Ontenna」について、詳しく教えてください。

Ontennaは、聴覚に障がいをもつろう者のために開発されたヘアピン型のデバイスで、髪の毛につけることで、生活の中のさまざまな音を振動と光によって伝えます。ろう者は、電話が鳴ってもわからない、車が近づいてもわからない、掃除機のコンセントが抜けてもわからないという中で生活しています。彼らに、テクノロジーやデザインを使って音を伝えたいという想いから生まれました。

−振動と光で音を伝えるということですが、具体的にどういう仕組みになっているのですか?

仕組みとしては、30dB〜90dBの音圧、つまり音の大きさを256段階の振動と光の強さにリアルタイムに変換してユーザに伝えます。どうぞ手に取ってみてください。「おーい」「あ、あ、あ」「あーーー!」(本多さんOntennaに向かって声を出す)。振動から音のリズムやパターンを感じられませんか?

−音が大きくなると振動が強くなって、離れると弱くなります。音に応じて震えるのですね。

Ontennaはろう者と協働して開発していますが、印象的だったフィードバックに「初めてセミの鳴き声を聞いた気がした」という声がありました。ろう学校でセミは「ミーンミンミン」と鳴くと教わったけれど、それがどういうリズムで鳴くのか今までわからなかったそうです。Ontennaは、ろう者の生活に寄り添うだけでなく、ろう者の感じる世界を一変させるプロダクトになると確信しました。

ろう者と健聴者の
ギャップを埋めるデザイン

−開発5年目に突入したOntennaですが、そもそものきっかけは何だったのですか?

大学1年生の学園祭でろう者と出会ったことがきっかけでした。それからろう者とのコミュニケーションに興味をもち、手話の勉強を始め、手話通訳のボランティアやNPOの立ち上げを行いました。大学では、「身体と感覚の拡張」をテーマに研究を重ね、Ontennaの開発を始めたのは4年生のときです。

−「髪の毛で音を感じる」というユニークなコンセプトは、最初からあったのですか?

当初は、音の大きさを光の強さに変換するプロダクトを作りました。大きな音がすると光が大きくなる、イコライザーみたいなもの。アルバイトで稼いだお金をつぎ込んでプロトタイプを作ったのですが、ろう者に「こんなのいらない」って言われてしまって……。あれはショックでしたね。それから触覚というものに注目してみたのですが、肌に直接付けると振動が気持ち悪い、服の上に付けると今度は振動が伝わりにくいとなり、いろいろな部位を試すなかで髪の毛という結論に辿り着いたのです。

−Ontennaの開発にあたり、いちばん苦労したのはどんなことでしたか?

付ける位置のほか、振動の強弱の調整にも苦労しました。ろう者は健聴者に比べて振動にとても敏感で、強すぎても不快だし、弱すぎても気づくことができません。あとは、形をどうするかも悩みました。どんなに優れたテクノロジーであっても、いかにも障がい者用とわかるような見た目では、ろう者と健聴者のギャップは埋まりません。振動が伝わりやすいように基盤を配置しつつ、アクセサリーのようなスタイリッシュなデザインに徹底的にこだわりました。

FEELからFUNへ。
Ontennaの描く未来とは?

−最近では、映画『Noise』とのコラボレーションも話題となりましたが、どのような経緯でこのような取り組みをすることになったのですか?

『Noise』は、日本を代表する DJのbanvoxさんが音楽プロデューサーとして参加していて、劇中の音楽、音声、音質、効果音、細かな音のニュアンスまでこだわった作品です。音と映像のシンクロにフォーカスした作品をろう者にも体験してほしい、今までにない新しい映画体験をたくさんの人に届けたいという想いで、Ontennaを用いた上映会を実施しました。

−上映会に参加した人の反応はいかがでしたか?

今回の上映会では、ろう者だけでなく健聴者にもOntennaを使ってもらい、同じ空間を共有してもらいました。映画は秋葉原無差別殺傷事件がモチーフになっていて、救急車のサイレンの音が特徴的に使われているのですが、そういった音が健聴者にも臨場感をもって体感できたようです。ろう者からは「信号機に音があることを初めて知った」という声があり、Ontennaを付けたことでより映画を楽しめ、新しい価値の創造につながったと思います。

−ますます広がりを見せているOntennaですが、今後の課題や展望を教えてください。

これからのOntennaは、ろう者がアラームを感じ取るデバイスではなく、楽しいを増幅させるデバイスになってくれたら嬉しいですね。Ontennaを付けることで、みんながより楽しくなり、ろう者と健聴者が同じ空間を共有できるものになることを願っています。とにかく早くみなさんに届けられるように、今ビジネスモデルを模索中です。当初の目標であった2020年には、多くの人が使えている状態までもっていきたいです。

障がいなんて、
テクノロジーの力でどうにでもなる

−先の上映会もそうですが、垣根のない社会のために未来にどんなプロダクトがあったらいいと思いますか?

僕はデジタルなことをやっていますが、アナログなことを後世に残したいと感じることがあります。2020年後半からシンギュラリティが始まり、2045年にはこれまでの世界とは全く異なる世界がやってくると言われています。今僕らが感じている、砂や泥の感触、土のにおい、心地よい空気、穏やかな波の音っていうのは、その世界にはないかもしれない。直感的、感覚的なものは、健常者も障がい者も平等にもっています。そういう価値観を残せるタイムカプセルを作りたいですね。

−今、本多さんが注目している企業や人、取り組みを教えてください。

僕も参画しているのですが、落合陽一さんが代表を務める「クロス・ダイバーシティ」というプロジェクトです。AIを脅威に感じる人は多いですが、そんなことはありません。AIがあることで、人間は拡張されてより働けるし、おもしろいこともたくさんできます。障がいがあるからできない、高齢になったからできない、そういったものは、テクノロジーの力でどうにかなると言いたい。AIで広がる世界というものを、僕たちが描いていけたらと思っています。

本多達也(Tatsuya Honda)
1990年 香川県生まれ。人間の身体や感覚の拡張をテーマに、ろう者と協働して新しい音知覚装置の研究を行う。2014年度未踏スーパークリエータ。第21回AMD Award 新人賞。2016年度グッドデザイン賞特別賞。Forbes 30 Under 30 Asia 2017。Design Intelligence Award 2017 Excellcence賞。現在は、富士通株式会社マーケティング戦略本部にてOntennaの開発に取り組む。

(text: 高橋亜矢子-TPDL)

(photo: 壬生マリコ)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

テクノロジー TECHNOLOGY

アート×テクノロジーで可視化する未来【対談: 真鍋大度(ライゾマティクス)】

川瀬拓郎

パフューム、サカナクションといった日本の人気アーティストや、ビョーク、OK Go、ノサッジ・シングといった世界的に有名なアーティストとのコラボレーションや、リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーでのAR映像演出などを手がけたライゾマティクスの真鍋大度氏。ライゾマティクス創業から15周年となる今春は、東京都現代美術館で大回顧展を開催したばかり。エンタテイメントからアート、スポーツ、医療と幅広いフィールドを横断しながら積極的に活動する真鍋氏を迎えた対談を前後編にてお届けする。

ライゾマティクスの飛躍は
ソフトとハードの両面にあり

杉原:僕が最初に真鍋さんを知るきっかけとなったのが、顔がピクピクする動画(electric stimulus to face /2008)だったのです。その時「ヒューマノイドの世界がついに来たんだ」と思いました。顔面の動きをトレースしていけば、今後は相当リアルなヒューマノイドが出来上がるんじゃないかと。

真鍋:今でこそSNSは当たり前ですが、当時はまだSNSもそこまで影響力がなかったですよね。やはりあの動画は海外で活動する大きなきっかけになりました。以前から同じようなことをやっていたのですが、なぜかあの動画だけかなりバズったんです。海外の人が見つけて面白がってくれたことが話題になった要因になっていたと思います。

杉原:それから、プリンターを使ったOK Goのミュージックビデオも印象的で、何度も繰り返して再生しました。あの動画は編集なしの一発勝負ということを聞いて、さらに驚いたんです。

真鍋:他にも似たようなことをやっている会社はあるのですが、ライゾマを評価していただいていることの1つの要因として、ハードウェアのエンジニアが多いことが挙げられると思います。なので、OK GoのMVのように大量のプリンターをハッキングして操作することができました。ソフトとハードの両方から難易度の高いことにアプローチできるので、「どうにもならなくなったらあいつらを呼ぼう」という感じで海外からオファーを受けることが多いんです。例えば広告の現場でドローンを上手く制御できなくて、どうにもならなくなって僕らが呼ばれるという。

杉原:はじめからライゾマにオファーするのは、ハードルが高いということでしょうか?

真鍋:というより、やはり最初はどの会社やチームも自分たちでやってみたいものなんですよね。難易度の高い仕事のひとつとしては、フェンシングの太田(雄貴)選手の剣先をマーキング無しで視覚化することがありました。

フェンシング・ヴィジュアライズド・プロジェクトついて

杉原:太田さんは前衛的な考え方で様々なテクノロジーやアイデアを柔軟に取り入れている印象ですよね。だから太田さんの一挙手一投足が注目されていたと思うし、ライゾマが剣先の動きを視覚化したことで、フェンシング競技の面白さが一気に高まりましたよね。本当に素晴らしいプロジェクトでした。

真鍋:ありがとうございます。2013年に、太田選手と電通からこれからのスポーツ観戦をテクノロジーの力でフェンシングをよりわかりやすく、魅力的に見せることが出来ないかというお題をいただき、ライゾマティクスが剣先を可視化するアイディアを提案、そしてプロトタイプの実装を担いプロジェクトがスタートしました。

杉原:剣道もそうだと思うんですが、フェンシングの勝負はあまりに一瞬すぎて、どう勝負が決まったのかが分かりにくいですからね。あれってカメラで剣先をトラッキングしたのですか? それとも加速度センサーを使ったのでしょうか?

真鍋:最初は剣先に再帰性反射材を付けてマーキングして、赤外線カメラを64台設置し剣先をトラッキングしました。モーションキャプチャの技術を使えば、トラッキングは可能でした。デモンストレーションとしてはそれで充分でしたが、本番の試合ではマーキングはできません。国際試合でもこの技術を使えるようにするためには機械学習技術を用いる必要があり、2013年時点では長い道のりになることは明確でした。ただ、東京オリンピックまでにはできるはずだと話をしました。

エイブル presents 第73回全日本フェンシング選手権大会

杉原:本当にゼロからのスタートな訳ですよね。剣先の動きをありとあらゆる変数でアルゴリズム作ってディープラーニングさせていくということですよね。ちょっと吐き気がするほどの作業量ですね(笑)。

真鍋:システム開発もそうですが学習データを作る作業が大変でしたね。僕は途中からディレクションに回り、開発はライゾマの花井というシニアエンジニア主導で進めたのですが、まずは練習試合の動画データを取得し、そこからアルバイトの手によって20万枚の画像に手動で人の骨格と剣先をラベリングしました。最終的なハードウェア構成もソフトウェアの処理も本当に複雑で、かつ映像的にもきちんと見栄えが良いものを作らねばならず「良くぞこれを実装しきったな……」とエンジニアたちが開発したのを横目で見て感動していました。

杉原:技術を実用化するためには、システムのスリム化が必要ですよね。でも、ゼロから始めるときは、どうしてもマッチョなシステムから始めるしかない訳ですね。我々のプロジェクトにも同じことが言えるので非常に共感します。ふと思ったんですが、イーロン・マスクが開発しているニューラリンク(脳とコンピュータをつなぐ技術)が進み、集積したデータを自分の脳に移植すれば、ものすごいフェンシングが上達するわけですよね。

真鍋:まだまだ先の話になるでしょうが、そうした未来もあるでしょうね。僕個人としては、その技術ができたら真っ先に埋め込んでみたい(笑)。

杉原:30年後の未来を考えていくと、拡張型の技術はもはや避けては通れないですからね。だから僕は“アート×テクノロジー”というところで、真鍋さんの作品から1歩先の提案書をもらっている感じなんです。

真鍋:そう言っていただけるのは本当にありがたいです。医療の分野は倫理の問題などがあり、出来ないことも多々あるので難しいですけれど。おっしゃる通り、アートはちょっと先の未来を実験するにはちょうどいい分野でもありますね。

2015年の取り組みをアップデートさせた
ELEVENPLAY × Rhizomatiks “border 2021”

杉原:リオ2016大会閉会式、東京2020のフラッグハンドオーバーセレモニーのAR演出なども本当に素晴らしかったですね。さて、僕は結局観に行けず非常に悔しんですが、今年2月に行われた“border 2021”のコンセプトやバックグラウンドを改めて教えてください。

真鍋:ステージ上でパフォーマンスを体験しているお客さんもいるし、その様子を観客席の外から見ているお客さんもいる。そんな風にお客さんとパフォーマー、ステージと観客席、そういう境界線がない空間や入れ子構造になっている状態を作りたかったんですね。さらにリアルな現実とVRの世界をシームレスに行ったり来たりできるボーダレスな状態を作り出してみたいと思い、そこから“border”というプロジェクトが始まりました。たまたまパーソナルモビリティ・WHILL(ウィル:次世代型電動車椅子の名称であり、その開発会社)の人たちと仲良くなった時期ということもあり協力していただきました。最終的にはお客さんにMRゴーグルを装着してWHILLに乗ってもらった状態で、生のダンサーとVRのダンサーを体験する作品になりました。実際に開発して痛感したことなのですが、身体が車椅子で動かされることでさらに没入感が増すんです。

杉原:リアルと仮想のフュージョンみたいなところですね。没入感を高めるために身体の動きが重要だったというのは面白い発見ですね。

ELEVENPLAY x Rhizomatiks “border 2021” (2021) Photo by hiroko hirota(同、トップ画像)

真鍋:そのとき改めて分かったことは、大脳ではなく中脳に作用するということです。中脳は平衡感覚神経を司っている部位なで、普段やっているVRではそれほど意識しないのですが、WHILLによって身体を動かされることで、よりリアリティを感じやすくなるということが分かったのです。

杉原:僕もVRを利用した車いすレーサーCYBER WHEEL Xを作りました。自分の腕で漕いで、VR上で2100年の東京を走るという新感覚のゲームです。その時に仕掛けた技術は、加速度をきちんと理解してもらうためにトルクを入れたのです。それで一気に没入度が上がったんですよね。上り坂になると急に重くなる、下り坂やジャンプもリアルに感じる。ジェットコースターのようにお腹が浮く感じが苦手な人はちょっと酔ってしまう…(笑)。

真鍋:車酔いと一緒ですよね。これは当時FacebookにいたGoromanさんにアドバイスをいただいたのですが、自分の体は動いていないのに、例えばジェットコースターのようにVRの世界では視点がゴリゴリ動いているようなものは確実に酔ってしまうんですね。
実際に車椅子に乗って体験すること、身体を映像と合わせてきちんと動かすこと、それによって大脳だけでなく中脳がリアルと錯覚する。そこが没入感のポイントだったんです。脳科学者の方たちにも“border 2021”を体験していただきましたが、「本当にこれは初めての体験だ!」と感動してもらえたのが嬉しかったですね。

杉原:中脳が刺激されるとは驚きました。脳科学者の方々も非常に興味深いデータが取れたのでしょうね。アートを通じて、いろんな人たちとのネットワークに繋がったのですね。

真鍋大度(まなべ・だいと)
1976年、東京都生まれ。大学卒業後、大手電気メーカーに就職するが1年で退社。2002年 IAMAS(岐阜県立国際情報科学芸術アカデミー)に進学しプログラミングを学び、2006年Rhizomatiksを設立。以後、さまざまなアーティストのMVやライブ演出、スポーツイベントやファッションショーの演出を手がける。現在も東京を拠点に、アーティスト、インタラクションデザイナー、プログラマ、DJとして活動。

関連記事を読む

(text: 川瀬拓郎)

(photo: 増元幸司)

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー