プロダクト PRODUCT

演奏経験ナシでも奏でられるインクルーシブな楽器が音楽への取り組みを変える

HERO X 編集部

例えば盲目のピアニストやギタリストが活躍していたり、身体にハンディのある人がパワフルな楽器演奏をしたりする風景は、我々にもなじみの深いものだ。しかし、それらはすべて「ハンディのある人が既存の楽器を努力して使いこなしている姿」である。その概念をくつがえす試みが始まっている。インクルーシブな楽器の登場は、もしかすると「演奏」や「音楽」の概念すら、変えてしまうかもしれない。

AIでインクルーシブな楽器を実現!
視線やポーズで演奏する“ANDCHESTRA“

NECが取り組む “ANDCHESTRA” のプロジェクトは、AI楽器を使って誰もがミュージシャンになれる取り組み。インクルーシブなバイオリン「ANDCHESTRA VIOLIN」は、NECの独自技術”姿勢推定技術”を使用して、ある一定のポーズをとることでバイオリンを鳴らすことができる楽器。”姿勢推定技術”は、混雑環境下や、離れた場所から撮影した低解像度の映像でも、人の姿勢を推定できるAI技術だ。

例えば、車いすに座った人が、手を挙げたり、ひじを曲げたりするだけで、「ド」「レ」「ミ」などの音階を奏でることができる。身体にハンディのある人だけではなく、子どもや楽器に不慣れな大人なども楽器演奏を楽しめる。

また、「ANDCHESTRA TRUMPET」は、人の視線を捉えることでトランペットを演奏できる楽器。視線の角度による音階表現が可能で、管楽器を吹けるほどの肺活量のない人や、身体に麻痺のある人でも、トランペットを鳴らすことができるのだ。

“ANDCHESTRA”のプロジェクトには、インクルーシブアドバイザーとして、NEC 東京オリンピック・パラリンピック推進本部に所属し、パラアイスホッケー銀メダリストでもある上原大祐さんも参加している。今後、NECではリハビリでの活用や、イベントへの出展を検討している。

「姿勢」や「視線」をAIで感知して音を鳴らす取り組みは、楽器の概念を大きく変えていくだろう。例えば、健常者よりも、視線入力に慣れている人や、足にハンディがあり手だけでコミュニケーションをとっていた人のほうが、いい演奏ができるようになるかもしれない。そんな現象が様々な場所で起こったら、世界はますます楽しくなりそうだ。

将来は“義手バンド”も結成!?
自分の手が楽器になる義手ギター

元記事URL:http://hero-x.jp/article/3284/

慶應義塾大学大学院メディアデザイン研究所のEmbodied Media Project(身体性メディアプロジェクト)が開発したギターは、義手とギターを合体させたプロダクト。開発者の畠山海人氏は、義手の当事者や義手装具士ともディスカッションを繰り返して、このユニークな楽器を作りだした。

義手ギター「Musiarm」は、片手がギターになってしまう画期的なプロダクトだ。弦はオリジナルのゴムのような素材。ギターの金属の弦は通常、さびてしまうと交換しなければならない。片手ではその作業は困難なため、最初から交換しなくてもよい素材で作られている。また、ボタンひとつでチューニングができたり、装着したMusiarmを左右に動かすことでエフェクターをかけたりすることもできるので、ハンディのある人には難しい細かい作業が必要ない。

義手そのものを楽器にするという発想は、今までになかったもの。「義手の人でも演奏できる楽器」ではなく、「義手の人だからこそ演奏できる楽器」というチャレンジが面白い。将来は義手楽器だけのバンドを組んでみたいという畠山氏。ゆくゆくはスポーツ×義手、ファッション×義手といったプロダクトも開発していきたいと語る。

テクノロジーの進化でインクルーシブな楽器が生まれることで、身体とエンターテインメントの関係もまた変わってくる。義手バンドが新しい音楽を作り出す日も近い!?

(text: HERO X 編集部)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

プロダクト PRODUCT

アップルウォッチでも測定可能! 動きの「滑らかさ」を世界に先駆け数値化

富山英三郎

「脊髄性筋萎縮症(SMA)」の患者の動きを、モーションキャプチャやアップルウォッチを使い3次元解析するプログラムを開発した岐阜大大学院の研究チーム。本来は薬の効果を数値的に可視化するためのものだが、将来的にはスポーツ選手や舞踏家、職人技が魅せる「動きの美しさ」を数値化できるかもしれない。そんな3次元解析プログラムが生まれた背景や、今後の応用についてなどを同大学院連合創薬医療情報研究科の加藤善一郎教授に伺った。

ぎこちない動きと、
スムーズな動きの違いは何か?

加藤教授は創薬に関する研究を続ける傍ら、現在も臨床医として同大学の小児科でさまざまな患者を診察。医療の現場で得た知見を活用し、いくつもの研究を同時進行させている。そのひとつの成果が、モーションキャプチャやアップルウォッチを使った世界初の3次元解析プログラムだ。これは、全身の筋力が低下していく「脊髄性筋萎縮症(SMA)」患者の体の動きを解析するために生まれた。

「脊髄性筋萎縮症は、まだ研修医だった約30年前に担当していたことがあったんです。当時は薬もなく、視線を使っての会話術などQOL(クオリティ・オブ・ライフ)を改善する程度のことしかできなかった。それから約10年後、『TRH』という薬を、岐阜大学独自で脊髄性筋萎縮症の患者に向けて臨床応用し始めたのですが、その薬効を定量的に評価する方法がないということに改めて驚いたわけです」

脊髄性筋萎縮症の症状を評価する際、これまでは『腕が上がらない=0点』、『途中まで上がる=1点』、『耳まで上がる=2点』など大まかな評価方法が主体だった。

「でも、震えながら腕がぎこちなく上がるのと、スムーズに上がるのでは違いますよね? 『TRH』を投与すると、明らかに動きがスムーズになるわけです。これを臨床的には『滑らかになった』と表現します。しかし、その『滑らかさ』を評価する指標がなかった。これでは、薬を承認する機関に提出しても、どちらも手が上がっている状態と見なされ『治療効果ナシ』と判断されてしまう。そこで何かしらの指標が必要だと考えていました」

加藤教授は、遺伝子の変異によって生まれる病気の研究でも知られている。なかでも、免疫異常の原因物質(分子構造)を世界で初めて『立体的(3D)』に捉え、新薬開発へと導いた功績が大きい。『ハイテク技術を用いて立体構造を解明していく』ことは得意分野なのだ。

「体の動きを3Dで表現しようと考えたときに、スポーツの世界ではモーションキャプチャを使っているなと思ったんです。そこで、学内に眠っていた装置を引っ張り出して計測をしてみました。しかし、既存の方法論では臨床現場で必要とされる評価ができない。つまり、ぎこちなく上がる手と、滑らかに上がる手の違いを数値化できなかった」

モーションキャプチャとは、複数の赤外線カメラを並べた場所でマーカーと呼ばれる小さな球体を体に取り付ける。すると、カメラがマーカーの動きを捉え、軌道を計測していくというものだ。主に、正常な動きと比べてどれくらいズレているのかを計測するものであり、また正常値とされるものは健常者を対象としたものであった。

シンプルを極めたら、
アップルウォッチでも測定できることが判明

「臨床的な所見をどうすれば数学的に表現できるかを試行錯誤をしているとき、大学行きのバスの中で出会った方に話しかけてみたら、偶然にもコンピューターサイエンスを専門とする松丸先生だったわけです」

共同研究者である松丸直樹さんは、会津大学のコンピュータ理工学部、米国ウェイン州立大学コンピュータ研究科を経て、ドイツのフリードリッヒ・シラー大学コンピューターサイエンス研究科で理学博士となった人物。しかし、そんな専門家とタッグを組んでも『滑らかさ』の指標づくりには5年の歳月がかかった。

「できあがってみれば、1ヶ月もあればできたと思えるかもしれない(笑)。基本的な計算方法は、かなり早い段階でほぼ決まっていました。でも、患者さんにお願いするタスク(動き)と、我々が考えている解析手法がフィットするかなども含め、実証して検証して、最終的な計算まで詰めるのに時間がかかったんです」

一般的に、ぎこちない動きとスムーズな動きの違いは、モーションキャプチャを使いマーカーがブレる姿を表現すればいいと考える。そこで『ブレ』とは何かを考えたとき、加藤教授らは『空間精確性』(反復運動した際の、軌道の差を体積に似た数値として算出)と、『滑らかさ』(連続するベクトルの変化のズレから軌道の歪みを算出)というふたつの指標を取り入れた。

「一般的なモーションキャプチャは、20~30個のマーカーを取り付けるので、それもまたモーションキャプチャが臨床現場で敬遠される要因です。そこで、我々はできる限りシンプルなものを作ろうと思い研究開発した結果、マーカーが1つあれば解析できることがわかりました。その副産物としてアップルウォッチに内蔵されている加速度センサーなどを使っても、ほぼ同じ『空間精確性』『滑らかさ』という解析指標を使って評価できることがわかりました。実際の計算式はまったく別物なのですが(笑)」

モーションキャプチャを使う場合は、赤外線カメラなどの装置が必要になるが、アップルウォッチなら専用のアプリを使うだけ。これならば、町のクリニック、さらには在宅でも測定することができる。そうなると、遠隔医療の領域まで広がっていくことが予想される。また、動画に比べてモーションキャプチャやアップルウォッチからのデータは、せいぜい数十キロバイト。そのため、データのやり取りや保存も容易だ。今後、世界中からモーションキャプチャやアップルウォッチからのデータが集まれば、脊髄性筋萎縮症の子どもの標準値も決まってくる。すると、データ解析の手法にも広がりが生まれるかもしれない。

動きの滑らかさを追求すると、
「美」とは何か? にたどり着く

「運動機能を定量評価できるということは、薬の効果を可視化できるだけでなく、逆にどれくらいのペースで悪くなっていくのかもわかります。実は、そこもよくわかっていない部分なんです。また、神経疾患や筋肉疾患の患者さんだけでなく、発達障害の方へも応用できると思われます。さらには、スポーツや踊り、伝統芸能の世界で『キレ』や『美しさ』などと呼ばれる曖昧な表現も、数値で表現できるかもしれません」

私たちがプロのスポーツ選手やダンサーを見たとき、「動きに優雅さがある」「動きにキレがある」などと感心する場面は多い。しかし、なぜそう感じるのかを数学的に表現する術はこれまでになかった。しかし、『空間精確性』と『滑らか』さという指標を応用すれば、従来は曖昧だった『美』の領域へと踏み込むことができる。

「モーションキャプチャはスポーツの分野だけでなく、CGの世界でも使われていたりと、世界中にはさまざまなデータがあります。それらの過去データを使い、我々の解析プログラムで新しい評価軸を得ることができる。そうなると、医療とは違う業界でまったく新しい使われ方が生まれる可能性がある。そうなったら面白いですよね」

最後に、現在気になっている技術についてお話を伺った。

「アップルウォッチなど、ウェアラブルデバイスの進化に注目しています。今後さらに小さくなれば、指の繊細な表現も測定できるなど、ハード面の発達によって次なる展開が生まれる気がします」

加藤善一郎(Zenichiro Kato)
1990年 岐阜大学医学部医学科卒業、岐阜大学医学部小児科入局。
1997年 岐阜大学院医学研究科修了(医学博士)、奈良先端科学技術大学院大学バイオサイエンス研究科(国内留学・研究員)
1998年 岐阜大学医学部 助手(小児科)
2004年 岐阜大学医学部 講師(小児科)
2005年 ハーバード大学分子細胞生物学留学 客員研究員
2010年 岐阜大学医学部 准教授(小児科)
2011年 岐阜大学大学院医学系研究科 臨床教授(小児病態学)
2014年 岐阜大学大学院連合創薬医療情報研究科 教授(構造医学)、岐阜大学大学院医学系研究科 教授(小児病態学)

(text: 富山英三郎)

(photo: 岐阜大学)

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー