昨年も開催された『超福祉展」で、編集部が注目した義手楽器『Musiarm（ミュージアーム）」。慶應義塾大学大学院メディアデザイン研究所(以下KMD)のEmbodied Media Project(身体性メディアプロジェクト)が出展したプロダクトのひとつだ。義手業界のエンターテイメント性向上のため開発されたというMusiarmについて詳しく知るために、開発者の畠山海人さんを訪ねた。

渋谷の道元坂上付近にある、雑居ビルの3階。お台場の日本科学未来館、慶應日吉キャンパスと並ぶ、彼らの研究拠点のひとつだ。KMDにも様々なプロジェクトがあるが、Embodied Media Project(以下EM)とは、主にどんなことを研究しているのだろうか。

「身体性メディア」とは？

「『身体性メディア』とは自身の身体を通して得る様々な経験を、記録・共有・拡張・創造する未来のメディアテクノロジーのことで、人と人、人とモノとのインタラクションにおける身体性を理解し操ることで、楽しさ、驚き、心地よさにつながる新たな身体的経験を生み出すという様々なプロジェクトを行っています。僕らの活動内容は色々とありますが、身体の拡張、例えば触覚をデジタルとしてデバイスをもって再現するというプロジェクトもそのひとつです。最近だと、唐揚げを口に入れて噛んだときの食感を再現したデバイスなどがあります。また、企業と一緒に行う研究も多いですし、親子で楽しめるようなものを使ったワークショップを実施することもあります。

例えば電子書籍でいうと、iPadはフリックするだけで読めますが、「本」というモノである形と「めくる」という動作がデジタルにすることで簡略化されています。でも「本」ならば本来紙の匂いがして、「めくる」という手の質感や動作が大事だと思うんですね。そういったアナログな部分を失わずに活かしつつ、デジタルという技術とコラボレーションしたら、何か面白いことができるのでは、というのがEMの研究の基となる考え方です」

そう答えるのは、昨年の春、KMDに入学したばかりのルーキー、畠山海人さん。もともと高専でエンジニアリングやものづくりを学んでおり、KMDの中ではテクノロジーや身体の拡張、ものづくりに専念できる唯一のプロジェクト、EMに参加した。

「ユーザーがいることを想定してモノを作るわけですが、良いモノを作ったとしてもコネクションやコミュニティがないとメディアに出せなかったり、世に出るまでに時間がかかったり、最悪出せないこともある。KMDはメディアへの露出も積極的にしているので、それをうまく利用して、自分が作ったものをいち早くお披露目していきたいです」

そんな想いで世に放たれたMusiarm。超福祉展で出展されていた1作目はバイオリンやトロンボーン、トランペットをモチーフにしたクラシック寄りのもの。この日見せていただいたのは、つい1週間ほど前に完成したばかりというギターやベースなどの弦楽器をモチーフにした最新バージョンだ。

義手×エンターテイメントで価値を引き出す

「Musiarmは、義手と楽器を融合させたものです。僕はものづくりの研究をしていく中で、特に人の身体に興味があり、人間の機構でも色々なことができる手に着目しました。そこで義手を作ろうと思い、色々と調べたり、専門家に話を聞いたりしてわかったのですが、現在義手の技術はモノを掴んだり、離したりといった機能性や、腕の代わりとなるものばかりが追求されていて、例えば脳の筋肉のコントロールで思い通りにピアノが弾けたり、義手をつけて細かい作業ができたりといった研究は、様々な大学機関や企業でされているものの、完成するまでに何十年もかかると言われています。でもスポーツができる義手や、楽器として弾くことができる義手といった、エンターテイメント性の高い義手の開発はほぼされていない。僕はエンターテイメント性の拡張や繁栄を目指して音楽 × 義手 = Musiarmを作りましたが、ゆくゆくはスポーツ × 義手だったり、ライフスタイル × 義手、ファッション × 義手といったプロダクトを開発していきたいと思っています」

Musiarmはターゲットユーザーと一緒に開発された。畠山さんが義手の当事者とエンジニア、義肢装具士の三者が集まるコミュニティMisson ARM Japanに参加し、アイデア出しの時点からディスカッションしたり、当事者の身体の使い方をよく観察し、その人の身体の動きに合わせて設計したのだ。

「先天性（欠損障がい）の方だと、例えばプロのスポーツ選手になるとか、プロのミュージシャンになるといった選択肢が限られてしまい、仕事を見つけることすら困難な状況で、人を魅了するとか、何かパフォーマンスするということがとても難しい現状があります。それをMusiarmのようなプロダクトがあれば補える。目の見えない人だったら、その分他の聴覚だったり、点字を読む触覚だったり、その人だからこそ備わっている身体的特徴や価値があると思っていて、日々鍛えられるそういった才能を引き出し、前に押し出す手助けをしたいと思っています。今まで望んでいた人が、周りから望まれる体になる。僕らが見てかっこいいな、すごいな、そう感じるプロダクトを作りたいんです」

目指すは義手楽器のバンド結成！

Musiarmの弦は畠山さんが作ったオリジナルのゴムのような素材。弦は金属なので錆びてしまい、弦交換をしなければならないが、片手だとその作業は困難なので、交換の必要がない素材を採用している。通常ギターを弾く前に必要なチューニングも、テクノロジーとコラボレーションすることで、ソフトウェアひとつ、ボタンひとつで自動コントロールすることができる。またMusiarmを装着したまま左右に動かすという身体の動作で、エフェクトをかけることも可能だ。

「今はまだ数が少ないので普通の楽器とのセッションになりますが、できればバージョンを増やして義手楽器だけでバンドを組みたいです。最新バージョンがギターなのでメロディが弾けますし、次のバージョンでドラムを入れたら、リズムが刻めるんですよ。」

そう語る畠山さんが目指すのは、あくまでも「ドラムスティックを操り、既存のドラムセットを叩く義手の開発」という発想ではない。

「既存の楽器はギターだったらネックの先に大きくて重たいボディがついていて、それが邪魔で自由な動きができない。身体の一部を楽器にすることで、そういった制限や限界を取っ払った自由な動きができたり、踊り自体が演奏になったりと、従来のバンドとは違うユニークなパフォーマンスができるんです」

一般的な義手は高額な上、重く、見た目がメカメカしくて逆に目立ってしまうということもあり、義手をつけずに生活する人が多いという。しかしパフォーマンスするための義手として、Musiarmはある。

「なんでも簡単にプレイできるのものではなく、練習する過程だったり、人への見せ方だったり、自分自身を押し出していく、自分だからこそこの表現なんだ、というパフォーマンス力だったり、そういったやりがいや楽しさをきちんと補ったものを、体を活用してできる新しい体験として作っていきたい」

「今から生まれてくる先天性欠損障がいの子どもや、楽器を弾いていたけど手を失くして弾くことを諦めてしまった人たちが、ない部分、その余白部分にテクノロジーを入れることで、健常者よりも一歩先にいける可能性を秘めていると思う。彼らはギタリストやバイオリニストのような、義手楽器のプロになれるんです。いわばミュージアムニストに（笑）」

近い未来、ミュージアムニストで結成されたバンドや、オーケストラの演奏を観ることができる日を楽しみにしている。

慶應義塾大学大学院メディアデザイン研究所：KMD
https://www.kmd.keio.ac.jp/ja/

Embodied Media Project
http://embodiedmedia.org/

「脊髄性筋萎縮症（SMA）」の患者の動きを、モーションキャプチャやアップルウォッチを使い3次元解析するプログラムを開発した岐阜大大学院の研究チーム。本来は薬の効果を数値的に可視化するためのものだが、将来的にはスポーツ選手や舞踏家、職人技が魅せる「動きの美しさ」を数値化できるかもしれない。そんな3次元解析プログラムが生まれた背景や、今後の応用についてなどを同大学院連合創薬医療情報研究科の加藤善一郎教授に伺った。

ぎこちない動きと、
スムーズな動きの違いは何か？

加藤教授は創薬に関する研究を続ける傍ら、現在も臨床医として同大学の小児科でさまざまな患者を診察。医療の現場で得た知見を活用し、いくつもの研究を同時進行させている。そのひとつの成果が、モーションキャプチャやアップルウォッチを使った世界初の3次元解析プログラムだ。これは、全身の筋力が低下していく「脊髄性筋萎縮症（SMA）」患者の体の動きを解析するために生まれた。

「脊髄性筋萎縮症は、まだ研修医だった約30年前に担当していたことがあったんです。当時は薬もなく、視線を使っての会話術などQOL（クオリティ・オブ・ライフ）を改善する程度のことしかできなかった。それから約10年後、『TRH』という薬を、岐阜大学独自で脊髄性筋萎縮症の患者に向けて臨床応用し始めたのですが、その薬効を定量的に評価する方法がないということに改めて驚いたわけです」

脊髄性筋萎縮症の症状を評価する際、これまでは『腕が上がらない＝0点』、『途中まで上がる＝1点』、『耳まで上がる＝2点』など大まかな評価方法が主体だった。

「でも、震えながら腕がぎこちなく上がるのと、スムーズに上がるのでは違いますよね？　『TRH』を投与すると、明らかに動きがスムーズになるわけです。これを臨床的には『滑らかになった』と表現します。しかし、その『滑らかさ』を評価する指標がなかった。これでは、薬を承認する機関に提出しても、どちらも手が上がっている状態と見なされ『治療効果ナシ』と判断されてしまう。そこで何かしらの指標が必要だと考えていました」

加藤教授は、遺伝子の変異によって生まれる病気の研究でも知られている。なかでも、免疫異常の原因物質（分子構造）を世界で初めて『立体的（3D）』に捉え、新薬開発へと導いた功績が大きい。『ハイテク技術を用いて立体構造を解明していく』ことは得意分野なのだ。

「体の動きを3Dで表現しようと考えたときに、スポーツの世界ではモーションキャプチャを使っているなと思ったんです。そこで、学内に眠っていた装置を引っ張り出して計測をしてみました。しかし、既存の方法論では臨床現場で必要とされる評価ができない。つまり、ぎこちなく上がる手と、滑らかに上がる手の違いを数値化できなかった」

モーションキャプチャとは、複数の赤外線カメラを並べた場所でマーカーと呼ばれる小さな球体を体に取り付ける。すると、カメラがマーカーの動きを捉え、軌道を計測していくというものだ。主に、正常な動きと比べてどれくらいズレているのかを計測するものであり、また正常値とされるものは健常者を対象としたものであった。

シンプルを極めたら、
アップルウォッチでも測定できることが判明

「臨床的な所見をどうすれば数学的に表現できるかを試行錯誤をしているとき、大学行きのバスの中で出会った方に話しかけてみたら、偶然にもコンピューターサイエンスを専門とする松丸先生だったわけです」

共同研究者である松丸直樹さんは、会津大学のコンピュータ理工学部、米国ウェイン州立大学コンピュータ研究科を経て、ドイツのフリードリッヒ・シラー大学コンピューターサイエンス研究科で理学博士となった人物。しかし、そんな専門家とタッグを組んでも『滑らかさ』の指標づくりには5年の歳月がかかった。

「できあがってみれば、1ヶ月もあればできたと思えるかもしれない（笑）。基本的な計算方法は、かなり早い段階でほぼ決まっていました。でも、患者さんにお願いするタスク（動き）と、我々が考えている解析手法がフィットするかなども含め、実証して検証して、最終的な計算まで詰めるのに時間がかかったんです」

一般的に、ぎこちない動きとスムーズな動きの違いは、モーションキャプチャを使いマーカーがブレる姿を表現すればいいと考える。そこで『ブレ』とは何かを考えたとき、加藤教授らは『空間精確性』（反復運動した際の、軌道の差を体積に似た数値として算出）と、『滑らかさ』（連続するベクトルの変化のズレから軌道の歪みを算出）というふたつの指標を取り入れた。

「一般的なモーションキャプチャは、20～30個のマーカーを取り付けるので、それもまたモーションキャプチャが臨床現場で敬遠される要因です。そこで、我々はできる限りシンプルなものを作ろうと思い研究開発した結果、マーカーが1つあれば解析できることがわかりました。その副産物としてアップルウォッチに内蔵されている加速度センサーなどを使っても、ほぼ同じ『空間精確性』『滑らかさ』という解析指標を使って評価できることがわかりました。実際の計算式はまったく別物なのですが（笑）」

モーションキャプチャを使う場合は、赤外線カメラなどの装置が必要になるが、アップルウォッチなら専用のアプリを使うだけ。これならば、町のクリニック、さらには在宅でも測定することができる。そうなると、遠隔医療の領域まで広がっていくことが予想される。また、動画に比べてモーションキャプチャやアップルウォッチからのデータは、せいぜい数十キロバイト。そのため、データのやり取りや保存も容易だ。今後、世界中からモーションキャプチャやアップルウォッチからのデータが集まれば、脊髄性筋萎縮症の子どもの標準値も決まってくる。すると、データ解析の手法にも広がりが生まれるかもしれない。

動きの滑らかさを追求すると、
「美」とは何か？ にたどり着く

「運動機能を定量評価できるということは、薬の効果を可視化できるだけでなく、逆にどれくらいのペースで悪くなっていくのかもわかります。実は、そこもよくわかっていない部分なんです。また、神経疾患や筋肉疾患の患者さんだけでなく、発達障害の方へも応用できると思われます。さらには、スポーツや踊り、伝統芸能の世界で『キレ』や『美しさ』などと呼ばれる曖昧な表現も、数値で表現できるかもしれません」

私たちがプロのスポーツ選手やダンサーを見たとき、「動きに優雅さがある」「動きにキレがある」などと感心する場面は多い。しかし、なぜそう感じるのかを数学的に表現する術はこれまでになかった。しかし、『空間精確性』と『滑らか』さという指標を応用すれば、従来は曖昧だった『美』の領域へと踏み込むことができる。

「モーションキャプチャはスポーツの分野だけでなく、CGの世界でも使われていたりと、世界中にはさまざまなデータがあります。それらの過去データを使い、我々の解析プログラムで新しい評価軸を得ることができる。そうなると、医療とは違う業界でまったく新しい使われ方が生まれる可能性がある。そうなったら面白いですよね」

最後に、現在気になっている技術についてお話を伺った。

「アップルウォッチなど、ウェアラブルデバイスの進化に注目しています。今後さらに小さくなれば、指の繊細な表現も測定できるなど、ハード面の発達によって次なる展開が生まれる気がします」

加藤善一郎（Zenichiro Kato）
1990年　岐阜大学医学部医学科卒業、岐阜大学医学部小児科入局。
1997年　岐阜大学院医学研究科修了（医学博士）、奈良先端科学技術大学院大学バイオサイエンス研究科（国内留学・研究員）
1998年　岐阜大学医学部 助手（小児科）
2004年　岐阜大学医学部 講師（小児科）
2005年　ハーバード大学分子細胞生物学留学 客員研究員
2010年　岐阜大学医学部 准教授（小児科）
2011年　岐阜大学大学院医学系研究科 臨床教授（小児病態学）
2014年　岐阜大学大学院連合創薬医療情報研究科 教授（構造医学）、岐阜大学大学院医学系研究科 教授（小児病態学）