プロダクト PRODUCT

ボーダレスな音楽体験を牽引するアート集団、英国ドレイク・ミュージックが初来日! 後編

朝倉奈緒

東京2020に向けて、地方自治体も様々な取り組みを行っている。今回ご紹介をする川崎市では、誰もが暮らしやすいまちづくりに向けて『かわさきパラムーブメント』と題し、様々な取り組みを行っている。本記事では「障がいのある人の音楽表現を支えるテクノロジーの可能性」についてトークセッションが開催された様子をレポート。 前編では、音楽×障がい×テクノロジーの分野を牽引してきた英国のアート集団『ドレイクミュージック』のプレゼンテーションをご紹介したが、後編では、楽器インタフェース研究者(産業技術大学院大学 助教/慶應義塾大学大学院メディアデザイン研究科附属メディアデザイン研究所 リサーチャー)の金箱淳一さん、楽器デザイナーの中西宣人さん、慶應義塾大学大学院メディアデザイン研究科 修士課程の畠山海人さんによる、国内での研究・開発者の活動が共有された。

「振動」を伝え合うことで一体感を得る

金箱:私は「楽器を通して人と人をつなげていく」研究をしています。こちらは、この活動の中で一番始めに作った『Mountain Guitar (マウンテンギター) 』という楽器です。

この楽器には弦がありません。光っている箇所を爪弾くように手を振り下ろすと音が鳴り、本体を傾けると音も傾き、本体を振ることでチョーキングやビブラートという奏法も可能です。コードチェンジを楽器の高さで行えます。

マウンテンギターは、どんな演奏方法をしても必ずかっこいい音が鳴ります。子どもが一番始めに触れる楽器を想像してデザインしました。これを手にすることで人前で楽器を弾くこと、音楽で表現することは楽しい、そんな気持ちを持ってほしいという思いから開発に至りました。

シンガポール、オーストリア、トルコなど、様々な国で展示し、様々な人に触れてもらうことで、非常に多くのフィードバックがあったという。そのなかで「この楽器、音はすごくかっこいいけれど、楽器を弾いている実感がない」というコメントにハッとさせられた、と金箱氏は話す。

金箱:楽器を弾く実感って、そもそもどこからくるのだろう?と、疑問が自分の中で沸き起こりました。そこで私が気づいたのは、楽器を演奏する「実感」には、振動がものすごく大きな影響を与えているのではないか、ということ。マウンテンギターは、内部に傾きのセンサ、明かりのセンサ、圧力センサなど、たくさんのセンサが入っています。そしてその情報がPCに送られて、PCのスピーカーから音が出ます。一方、アコースティックギターの内部には何も入っておらず、弦を爪弾いたときに本体自体が振動して、音が出るという仕組みになっています。マウンテンギターは弾いた時の振動フィードバックはありません。振動が演奏における自身の行為を認識する上で重要であるなら、自分が楽器を演奏したときの振動を他の人に伝えてあげると新しい演奏コミュニケーションに繋がるのではないかと思いました。そこで作ったのが『ビブラションカホン』です。「ビブラション」とはスペイン語で「バイブレーション」のことです。

これは、一人が楽器を叩いたときの音を振動に変換して別の人に伝える、つまり音だけでなく、お互いに振動を伝え合ってコミュニケートできる楽器です。叩くタイミングが合うと、振動が強くなり「リズムが合う」ことの楽しさを強調する機能もつけています。

修士研究のテーマが「一体感」だったのですが、一体感というのは、相手のことを意識しながら自分もそれに合わせたり、あえてそれを外したりする演奏コミュニケーションを指します。振動を伝えあったときと、そうでないときで一体感がどれだけ異なるか、30人程を対象に比較実験をしてみると、「振動を伝え合ったときの方が、そうでなかったときよりも相手を近くに感じる」というコメントを得ました。定量的な評価実験の結果からも、音だけでなく、お互いの演奏の「触り心地」を共有することによって、一緒に楽器を演奏している感覚がより強くなることが実証されました。

音楽を肌で感じることで、
新しい音の世界が現れる

重度の聴覚障がいをもった子どもが ビブラションカホンに触ったときに「あ、音が聞こえた!」と言ったんです。そんな体験もあり、音が聞こえるとはどういうことなのか、一度見直さなければいけない、と思い始めました。

みなさんもコンサートホールやライブハウスなどで音楽を体験されたことがあるかと思いますが、人間は、肌でも音を感じています。強い音圧でスピーカーが鳴ったときに、ビリビリと肌が音を感じます。そして会場には必ずプレイヤーがいて、音が鳴っている様子を目で見て知ることができます。つまり音楽とは、聴覚だけで受け取るエンターテイメントではなく、視覚や触覚、色々な感覚で楽しむ総合芸術である、と私はとらえています。このことから、普段音が聞こえにくい状況だったとしても、その音を視覚的な情報だったり、肌で感じる情報に変えることで、音楽鑑賞や楽器演奏の楽しめるアプローチができないかと考えたのです。

「音を見る」作品例をご紹介します。これを指にはめていただき、手を叩きます。そうすると、拍手のエネルギーで発電し、指先が光ります。この楽器は聴覚障がいの方と対話する中で、「音が見えたらおもしろい」とのコメントから生まれた楽器です。

実際にコンサートホールで使うと、人間は音楽のリズムに合わせながら手を叩く習性があるので、それを視覚に変換することで、音が聞こえにくい方でも、空間を漂っているリズムを目で見て知ることができるのです。

また、「楽器の音を利く」研究もしています。音をきくというと、一般的には「聞く(聴く)」を連想しますが、「利く」の意味は例えば利き酒。利き酒は味だけではなく、見た目、香りなど、五感を通して楽しむことを「利く」といいます。私が作ったものは「音を利く」楽器になります。

これは「タッチ・ザ・サウンド(=音に触る)・ピクニック」という作品で、みなさんが聞いている音の響きを物体の振動刺激に変換して、指先から振動によって音を感じることができる道具です。

これを美術館の音が鳴る作品をテーマとした企画展に展示して、来場した方に楽しんでいただきました。体験者は、イヤーマフをして音の振動に集中できるような環境を作ります。そして、音の鳴る作品を鑑賞するのに、作品の前で耳を傾けるのではなく、指先に意識を持っていき音を感じる体験をします。

印象的な出来事として、ワークショップの最後にイヤーマフを外した瞬間、「新しい音がした!」と言い出した子どもがいたんです。皆さんは普段「音をどこで感じますか?」と聞かれると「耳です」と答えがちですが、それは聴覚が優位になってしまうからであり、私たちは日常的に「肌」でも音を感じています。一度肌で音を感じるトレーニングをしたあとにイヤーマフを外すと、新しい音の世界が立ち現れてくるのです。

金箱淳一《タッチ・ザ・サウンド・ピクニック》2017年
撮影:木奥恵三
写真提供:NTTインターコミュニケーション・センター [ICC]

金箱氏が楽器づくりをするときに実践している考え方をご紹介したい。

You have your music. I have same.」=「あなたにはあなたの音楽がある。私もそうである。」

この言葉が示すのは、それぞれに合った楽器というのは、それぞれの楽しみ方を持っているということ。音楽にも多様性はあって、またそれと同じように楽器にも多様性があっていいという信念をもちながら、金箱氏は研究と制作を続けている。

技術や理論を飛び越え、
音楽表現を探索できる仕組みをつくる

次にプレゼンテーションを行ったのは、楽器デザイナーの中西宣人さん。「アクセシビリティと楽器」というテーマで話が進む。

中西:私は「誰もが音楽表現の探索を共有できるプラットフォーム」としての楽器ができないかなと思い、開発を始めました。

その考えに至ったのは、学生のころジャズやボサノヴァといったジャンルに多い、即興のセッションに魅力を感じて、サークルに参加していた経験に由来します。そこには重鎮の方々がたくさんいて、細かい形式が色々とあり、思ったより自由じゃないと感じてしまったんです。ルールや共通言語を指定されてしまうと、そこからあぶれてしまう人が出てきて、色々な人の表現を受け入れられなくなってしまう。そこで、技術や理論の壁がなければ、人はどんな音楽表現をすることができるのか、ということに興味を持つようになりました。

そのあと情報系の大学院に進み、プログラミングなども勉強していく中で、「音楽的に訓練されていない人であっても音楽を表現する能力をもっているのではないか」と述べられている文献を見つけ、技術や理論を飛び越えられる仕組みがあれば、音楽表現を探索できる仕組みがそのなかに生まれる、さらに音楽表現を共有できるプラットフォームができるのではと思いました。そこで着目したのが、様々なセンサです。

例えばピアノは鍵を押すと、内部で連動しているハンマーが弦を叩いて音が鳴る構造ですが、電子ピアノの場合、鍵を押すと中にボタンがあり、圧力を検出して音が出るという構造になっています。センサは電子楽器と大変密接な関わりを持っており、様々なセンサを楽器に用いることで多様な弾き方や表現が生まれるのではないかと考えました。

世の中には圧力を検出するもの、明るさを検出するもの、音響に使われているものなど様々なセンサがあります。それらをどんどん付け替えることで、その都度全く違う相好で演奏ができます。無線通信機能によって楽器がテンポや和音を合わせてくれるので、理論的な勉強が必要ありません。そういった小型の電子楽器を作り、次はもう少し多くの人が触れられるようなものをと、iPhoneの音楽アプリを開発しました。

中西氏はプレゼンテーションの最後に、こう締めくくった。

中西:万能なテクノロジーはありません。その都度開発していく必要があり、目的に合ったものなら最良の道具になるので、どんどん実践を積み重ねていき、共有していくことが重要だと考えています。

音楽×障がい×テクノロジーの分野の可能性を感じた、今回のトークセッション。最後に中西氏が締めくくった言葉のように、実践と共有の場が多くできることが、可能性の速度や精度を上げる鍵となっているように思った。

前編はこちら

金箱 淳一 (かねばこ じゅんいち)
1984年長野県 北佐久郡浅科村(現:佐久市)生まれの楽器インタフェース研究者 / Haptic Designer。博士(感性科学)。情報科学芸術大学院大学(IAMAS)修了後、玩具会社の企画、女子美術大学助手、慶應義塾大学大学院メディアデザイン研究科研究員を経て、産業技術大学院大学創造技術専攻助教、現在に至る。障がいの有無にかかわらず、共に音楽を楽しむための「共遊楽器(造語)」を研究している。
http://kanejun.com/

中西 宣人 (なかにし よしひと)
1987年生まれ。楽器デザイナー。博士(学際情報学)。日本大学芸術学部音楽学科情報音楽コースを卒業後、東京大学大学院学際情報学府に入学し、多様な奏法に対応する音楽インタフェースやデジタル楽器の開発と研究に従事。「The Cell Music Gear」、「B.O.M.B.」、「POWDER BOX」など開発したデジタル楽器が、 Asia Digital Art Award 優秀賞、 電子工作コンテスト優秀賞、Laval Virtual ReVolutionResidenceなどに選出されている。また、これらの楽器を用いた演奏活動を国内外で行っており、千代田芸術祭2014音部門 岸野雄一賞、Georgia Techs Margaret Guthman Musical Instrument Competition 2017 ファイナリストなど、入選歴がある。現在は、センサ開発企業や教育機関とのデジタル楽器の共同開発、開発した楽器を用いた演奏活動を国内外で行うなど、音と音楽を中心として多角的に活動している。日本大学 芸術学部 研究員/非常勤講師、東京工芸大学 芸術学部 非常勤講師。
http://yoshihito-nakanishi.com/

(text: 朝倉奈緒)

(photo: 増元幸司)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

プロダクト PRODUCT

電気刺激で「触感」を疑似体験! 最新のゲームコントローラーが熱い

富山英三郎

「Happy Hacking Life」を理念に掲げ、2012年に東大発ベンチャーとして誕生したH2L。2016年には、電気刺激を使うことで腕への触感を疑似体験できるゲームコントローラー「アンリミテッドハンド」、2018年にはVRゴーグルとセットにした「ファーストVR」を発売するなど、精力的に活動を続けている。ヴァーチャルの世界で「触覚」がキーワードになるなか、その独自のアプローチに迫った。

コロナ禍でバーチャルに対する
敷居が下がった

「当初は、いわゆるオーディオビジュアル(映像、音声)の次の技術を作っていこうと、共同創業者の玉城絵美と話していたんです。そこから考えたとき、着目したのが『触覚』でした。とくに、骨や筋肉の動きをともなう固有感覚。最終的には、究極の引きこもりシステムを作りたいと思っています。家から出なくても成立するような世の中です」

家から出なくても成立する究極の引きこもりシステム。それは、期せずしてwithコロナの時代とマッチした。

H2L株式会社代表の岩崎健一郎(いわさき・けんいちろう)氏に話を伺った。

「おかげさまで、私たちの技術や取り組みに注目していただくことが増えました。これまでは、チームのみんなに『世界を変えようぜ!』と発破をかけていましたが、世界のほうが先に変わってしまった感覚すらあります。いまでは、いろいろな会社さまから『早く御社の製品を使ってなんとかしたい』というお話をいただくようになりました」

そんなH2Lの原点といえる製品が、米タイム誌が選ぶ50の発明にも選ばれた『ポゼストハンド(PossessedHand)』(2013年)だ。これは、電極パッドの位置と電気刺激の大きさによって、前腕の筋肉を局所的に刺激し、望みの指を動かすというもの。一枚のベルトに14個、装置全体では28個の電極パッドを搭載している。最大の特徴は、これまでは筋肉の専門家でないと扱えなかった機器を、より幅広い層の人たちが活用できるようになったことだ。その大事な役割をしているのが、学習機能を持ったキャリブレーション(調整機能)にある。この製品は、現在も主に研究者や医療関係者向けに販売され好評を得ている。

「ポゼストハンドは、ボディシェアリングの中でも身体の動きをコントロールすることに特化しています。リハビリはもちろん、これを使うと電気信号で指が動き、楽器演奏の補助をするような研究開発も行なっています」

筋肉に直接アクセスする
触感型コントローラー

この技術を応用し、誰にでも使えるようにしたのが、2016年に発売された『アンリミテッドハンド(UnlimitedHand)』だ。

「ポゼストハンドを使って手を開かせようとすると、重みを感じることに気づきました。この動きをより簡単にしていったら、VRとの親和性が高いのではと思ったんです。そこで、まずはゲーム開発者向けの触感型コントローラーとして発売しました」

手を開くと重さの感覚が味わえ、手首を動かすと銃を撃ったりハンマーを叩いたりする際の反動に似た感覚を味わえる。このための電気刺激に特化したのがUnlimitedHandだ。それら、デジタル化した筋肉の動きを人間の身体で再現することが「アウトプット」だとすると、アンリミテッドハンドは人間の動きをデジタル化する「インプット」の表現も可能になっている。

「アンリミテッドハンドでは、インプットを可能にする8つの筋変位センサーと、6軸加速度ジャイロセンサーを装備しています」

とはいえ、腕の太さや筋肉量の多少など、人の身体はそれぞれ異なる。ゆえに、どこに電気を流すか、どの筋肉が動いたのかの計測はとてもデリケートなはず。しかしながら、アンリミテッドハンドは腕に巻くだけというシンプルな仕組みとなっていて驚いてしまう。

「弊社の強みは、それらをソフトウェアで検知するキャリブレーションの機能があることです。ポゼストハンドは精緻なので検出に5~10分程度かかりますが、アンリミテッドハンドでは主に筋肉量を計算するだけなので約30秒ほどで終わります。そこまで簡素化できた理由としては、ゲーム用ということで触感を3つに絞ったからです。重さ、銃を撃つような動き、手首を返すような動き。あとは、皮膚感覚。それを体験してもらうために、鳥が手に乗って突っつくようなデモンストレーションも用意しています」

電極や筋変位センサーを使う理由

VRの世界において、「触感」がいまもっとも注目されている分野のひとつ。しかし、一般的にはモーターを使いながら機械的に動かしたり、画像解析やモーションセンサーで身体の動きを探知することが多い。電極や筋変位センサーを使ってそれを表現しようとする会社はほぼ見当たらない。

「ハードウェアの知識だけでなく、キャリブレーションのノウハウ、人間科学といった広範囲な知見が必要になるのがハードルになっていると思います。つまり、科学と技術のバランスが難しいんです」

それを可能にしたのは、創業者ふたりの経歴が大きい。

「会長の玉城は2年先輩ですが、私たちは大学院のときに暦本研究室で『ヒューマン・コンピュータ・インタラクション』を学んでいたんです。簡単にいうと、人間とコンピューターの快適な関係の研究。その後、私はコンサルティング会社を経て『理化学研究所』で脳科学を研究していました。一方、玉城は大学院を経て『視覚心理学』を学んでいた。そういった経歴が生かされていることが大きいですね」

人間の目は、実のところ小さい領域しか見えていないと言われている。しかし、目を細かく動かしたり、過去の記憶で補完したりしながら、見えたように脳が錯覚する。そういったものも『視覚心理学』には含まれている。つまり、人間の錯覚を利用することの多いVRの世界とは相性がよいのだ。

「電気を流すだけでは、ビリビリと痛かったり、ビクッと動いて不気味だと感じますが、VRゴーグルを付けて体験すると、重みを感じたり反動を感じたりするんです。人間というのは視覚と触覚、視覚と味覚など、感覚同士が絡み合って認知を生成します。そういうところをうまく作り上げるデバイスを作っていきたいと思っています」

H2Lでは、2018年に筋変位センサー搭載のコントローラーと、HMD(ヘッドマウントディスプレイ)をセットにしたデバイス「ファーストVR(FirstVR)」を発売。このデバイスは、NTTドコモの5Gとの連携も活発に行われている。

銃でモンスターを仕留めるゲーム。電気刺激に関しては、低周波治療器のような感覚で筋肉が無意識に動くのが面白い。また、こちらの動きはそのままスムーズに画面上に伝わる。

「ファーストVRには、計14個の筋変位センサーが搭載されています。『触感』のジャンルではデータグローヴを使うことも多いですが、それだと手のひらの感覚を損なってしまいます。また、グローヴで感じられるのはツルツルやザラザラといった感覚のみ。しかし、弊社が開発している一連のアームバンド形式であれば、身体の奥の部分に直結することができます。そのほうが得られる感覚は多いですし、より高い没入感が得られます」

最後に、今後描いている未来について聞いてみた。

「3ステップで考えています。まずはゲーム。その次に、NTTドコモさんと共同開発した、水の抵抗や揺れを遠隔で体感できる『カヤックロボット』のようなもの。つまり、ロボットの遠隔操作です。その先に、人と人をつなげていきたい。プロ野球選手のバッドスウィングをダンロードして、自宅で体験できるような。そういう未来を作っていきたいです」

NTTドコモと共同開発した、水の抵抗感や揺れを遠隔で体感できる「カヤックロボット」。高速・低遅延な5G通信環境下でのロボット利用を想定し、観光産業、建設現場での遠隔重機操作、上半身のリモートワークの応用を想定して作られた。

■プロフィール/
岩崎健一郎(いわさき・けんいちろう)
2010年東京大学大学院(学際情報学府)修了。専門はヒューマンコンピュータインタラクションの研究。在学中、未踏ソフトウエア創造事業に採択され研究開発とプロジェクトマネジメントを学ぶ。卒業後はアクセンチュア、理化学研究所(脳科学総合研究センター)を経て、玉城博士、鎌田博士とともにH2Lを共同創業。2013年に代表取締役就任。研究とビジネスの両輪を駆動する研究者/起業家として、研究シーズの事業化による産業クラスター「シリコンリーフ」形成を目指している。
2015年、新製品UnlimitedHandの発表をTechCrunch Disrupt San Francisco内のStartup Battlefieldにて行う(日本拠点のベンチャー企業としては初出場)。現在はVRの聖杯を目指して、仲間とともに研究開発とビジネス開発に没頭している。

(text: 富山英三郎)

(photo: 増元幸司)

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー