プロダクト PRODUCT

演奏経験ナシでも奏でられるインクルーシブな楽器が音楽への取り組みを変える

HERO X 編集部

例えば盲目のピアニストやギタリストが活躍していたり、身体にハンディのある人がパワフルな楽器演奏をしたりする風景は、我々にもなじみの深いものだ。しかし、それらはすべて「ハンディのある人が既存の楽器を努力して使いこなしている姿」である。その概念をくつがえす試みが始まっている。インクルーシブな楽器の登場は、もしかすると「演奏」や「音楽」の概念すら、変えてしまうかもしれない。

AIでインクルーシブな楽器を実現!
視線やポーズで演奏する“ANDCHESTRA“

NECが取り組む “ANDCHESTRA” のプロジェクトは、AI楽器を使って誰もがミュージシャンになれる取り組み。インクルーシブなバイオリン「ANDCHESTRA VIOLIN」は、NECの独自技術”姿勢推定技術”を使用して、ある一定のポーズをとることでバイオリンを鳴らすことができる楽器。”姿勢推定技術”は、混雑環境下や、離れた場所から撮影した低解像度の映像でも、人の姿勢を推定できるAI技術だ。

例えば、車いすに座った人が、手を挙げたり、ひじを曲げたりするだけで、「ド」「レ」「ミ」などの音階を奏でることができる。身体にハンディのある人だけではなく、子どもや楽器に不慣れな大人なども楽器演奏を楽しめる。

また、「ANDCHESTRA TRUMPET」は、人の視線を捉えることでトランペットを演奏できる楽器。視線の角度による音階表現が可能で、管楽器を吹けるほどの肺活量のない人や、身体に麻痺のある人でも、トランペットを鳴らすことができるのだ。

“ANDCHESTRA”のプロジェクトには、インクルーシブアドバイザーとして、NEC 東京オリンピック・パラリンピック推進本部に所属し、パラアイスホッケー銀メダリストでもある上原大祐さんも参加している。今後、NECではリハビリでの活用や、イベントへの出展を検討している。

「姿勢」や「視線」をAIで感知して音を鳴らす取り組みは、楽器の概念を大きく変えていくだろう。例えば、健常者よりも、視線入力に慣れている人や、足にハンディがあり手だけでコミュニケーションをとっていた人のほうが、いい演奏ができるようになるかもしれない。そんな現象が様々な場所で起こったら、世界はますます楽しくなりそうだ。

将来は“義手バンド”も結成!?
自分の手が楽器になる義手ギター

元記事URL:http://hero-x.jp/article/3284/

慶應義塾大学大学院メディアデザイン研究所のEmbodied Media Project(身体性メディアプロジェクト)が開発したギターは、義手とギターを合体させたプロダクト。開発者の畠山海人氏は、義手の当事者や義手装具士ともディスカッションを繰り返して、このユニークな楽器を作りだした。

義手ギター「Musiarm」は、片手がギターになってしまう画期的なプロダクトだ。弦はオリジナルのゴムのような素材。ギターの金属の弦は通常、さびてしまうと交換しなければならない。片手ではその作業は困難なため、最初から交換しなくてもよい素材で作られている。また、ボタンひとつでチューニングができたり、装着したMusiarmを左右に動かすことでエフェクターをかけたりすることもできるので、ハンディのある人には難しい細かい作業が必要ない。

義手そのものを楽器にするという発想は、今までになかったもの。「義手の人でも演奏できる楽器」ではなく、「義手の人だからこそ演奏できる楽器」というチャレンジが面白い。将来は義手楽器だけのバンドを組んでみたいという畠山氏。ゆくゆくはスポーツ×義手、ファッション×義手といったプロダクトも開発していきたいと語る。

テクノロジーの進化でインクルーシブな楽器が生まれることで、身体とエンターテインメントの関係もまた変わってくる。義手バンドが新しい音楽を作り出す日も近い!?

(text: HERO X 編集部)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

プロダクト PRODUCT

【HERO X × JETRO】大型ロボット操縦ももはやラジコン並みに!? AIとロボットが生み出す安全

宮本さおり

JETROが出展支援する、世界最大のテクノロジー見本市「CES」に参加した注目企業に本誌編集長・杉原行里が訪問。遠隔操作のできる災害対策用ロボットや、指を触れずに操作ができるタッチパネルを開発し、人々の安心と安全を守ろうとする会社、知能技術株式会社だ。最新のAI技術を駆使したプロダクトで、日本の社会をどう変えるのか挑戦をはじめている同社。社会課題に直接アプローチする同社の活動について、代表取締役の大津良司氏にお話をうかがった。

非接触でタッチパネル操作ができる
「UbiMouse」

杉原:御社はCES 2021の日本パビリオンに出展されましたが、いかがでしたか?

大津:今回、二つの製品を出展しました。1つは空中で指を動かすことによってタッチパネルに触れることができるもの、もう1つはロボットが自由に動き回れるものです。今回はオンライン開催でしたが、二製品とも実際の展示場で触れてもらうようなプロダクトなので、見せ方という意味では難しかったです。ただ、私も今まで海外のメディアには何度か露出をしてきたのですが、その中ではやはり非常に充実しているなと感じましたし、日本の企業さんからも問い合わせがありました。

杉原:タッチパネルのものは、「UbiMouse(ユビマウス)」ですか?

大津:そうです。「UbiMouse」が登録されている商標です。

杉原:簡潔に言うと、どういうものなのでしょうか?

大津:大きく分けると二つの仕組みがあって、1つは映像を見て、カメラがまさしく「指」を認識することです。例えばパソコンやタブレットやスマホであれば、すでにカメラが内蔵されているので、それを使ってAIが指の一番先の部分がどこにあるか、さらにモーションも認識します。カメラが付いていないものは、後付けのWEBカメラを付けていただければ、非接触が実現する仕組みです。

杉原:どのカメラでも稼働認識やモーション認識ができるアプリケーションを開発しているということですよね。

大津:はい。パソコンやタブレットは、それぞれ画面のサイズが違いますし、同じ15インチでも縦横比や解像度が違いますが、それも自動で認識して、デバイスに合った形のセットをして使えます。

杉原:よくSF映画であるフューチャービデオみたいな操作ができるということですね。まさに『アイアンマン』の世界観ですね!!笑。

タッチパネルに触れることなく空中で操作ができる「UbiMouse」。

大津:おっしゃるとおり、どこでも誰でも簡単に空中操作ができます。

杉原:カメラがあればできるとなると、導入障壁はかなり低いと思うのですが。

大津:カメラを使うシステムはサブスクモデルで月5000円くらいです。ただ、カメラに近づきすぎると上手くいかないなど、操作に慣れが必要という意味では、まだまだ普及のための努力がいるなと。もう1つの仕組みは、実際にハードウェアを付けるやり方で、スクリーンのような光センサーを装置に着けるタイプです。1台数万円なので、コストが障壁だと思います。

杉原:コロナ禍では非接触で衛生的という点にかなりフォーカスされると思うのですが、現状ではどのようなところに「UbiMouse」の技術が使用されているのですか?

大津:一番有名なところでは、くら寿司(回転寿司チェーン)です。まだ一部店舗しか入っていませんが、今年中には全店舗、2000台導入の予定で進めていただいています。くら寿司はカメラ型ではなく、スクリーン型ですね。そのほかには、スーパーマーケットのセルフレジや、まさしくコロナ患者を受け入れている病院の自動会計機などでも使われています。

杉原:銀行のATMにはすぐに活用されそうですね。セキュリティ的にも今はカバーで隠していますが、非接触であれば必要ないですし、僕としては、ATMで知らない人が触った後に触れるのがどうも苦手なので、そこもカバーできる。

大津:そう、そこです。我々が開発をはじめたきっかけもその点にありました。我々は2019年くらいから開発を始めたのですが、杉原さんと同じように、ATMや回転寿司のタッチパネルに不特定多数が触わるのがイヤだと思ったことがきっかけなんです。今はコロナですが、当時はインフルエンザも気になりました。そこで、空中でやればいいのではないかと考えたのです。ですが、銀行のタッチパネルについては、キャッシュレス化の流れの中で、銀行側がATMにはあまり新しいことを求めていない感触を受けます。

杉原:なるほど。今、コンペティターは多いんですか?

大津:カメラについてはもうすぐ特許になりますので、そこは抑えられているのではないかと思います。かたやスクリーンのものは、様々な所が出し始めています。

杉原:でも、デバイスを取り付けるとなると、みなさん障壁が高くなる。そうなると、やはりカメラ機能を最大限生かす前者のほうが可能性は高そうですね。

大津:我々もそう思っています。アプリケーションの広がりもあるので、そこに期待をしています。「UbiMouse」に対する我々の提案は二つあって、1つは非常に衛生的な世界を作ること。もう1つは、パソコンの世界に奥行きを作ることです。パソコンというのは、二十数年前にマッキントッシュがマウスとキーボードで操作できるようにした時代から、全く変わっていません。画面自体はガラス面でフラットで奥行きがないですよね? でも、「UbiMouse」は三次元で色々なことができて、中に突っ込むとか、速度を見るとか、モーションを作るとか、様々なことができるんです。

マスター/スレーブで現場のロボットを動かす

杉原:2007年に会社を創設された時は、まだAIはディープラーニングの域ではないですよね。どんなきっかけで会社を設立されたのですか?

大津:私はもともと富士通に勤めていて、その後、起業をしました。当時は災害対策向けに、建設機械をロボットにする仕事をずっとやっていましたが、大阪のロボット産業の活性化のために、経済産業省と大阪市から招聘を受けたのがきっかけです。

杉原:御社の消防用無人ロボットは、とても面白いですね。僕もシリコンバレーからエンタメ系のメガボッツというロボットを企業譲渡で持ってきているんです。無人化というのはロボットを遠隔操作できるということですよね。

ラジコンを操縦するように手元のコントローラーを動かすだけで重機を動かすことが可能に。操縦席の必要性もなくなるため、重機のデザインも変えられる可能性もある。

大津:ええ。よくご存じかと思いますが、オートノマスのロボットって全然賢くなくて、一回教えたらその通りに走るだけですよね。

杉原:SLAM (自己位置推定とマッピングの同時実行)の技術を使った位置情報だけですよね。

大津:おっしゃる通りです。そうすると周辺の状況が変わったら二度と走れませんとなります。我々もSLAM型自動清掃ロボットなども作ったのですが、このままでは先行きがないと思い、やり方を変えたんです。例えば天井にカメラが1つ付けて、そのカメラがフロア全体を見渡すと。その見渡した画像を見て、AIが「こう動かすのがベストなルート」というのを決めて、モノを運ぶというロボットを作ったんです。

杉原:マスター/スレーブ(*1)ということですよね。

(*1)複数の機器や装置、ソフトウェア、システムなどが連携して動作する際に、一つが管理・制御する側(マスター)、残りが制御される側(スレーブ)、という役割分担を行う方式

大津:そうです。マスターが本来人間だったところが、AIに代わったということです。

杉原:すごい。これ、導入はされているんですか?

大津:徐々に進んでいます。このシステムのいい点はいくつかあって、1つはご指摘の通りマスター/スレーブなので、スレーブ側が全く賢くなくてもいいんです。無線で操作できるものであれば、子どものラジコンカーでもいいんですよ。小さなおもちゃから建設機械まで全部動かせて、実際に建設機械がこれで動いています。

杉原:確かに。制御の部分をしっかりAIでコントロールすればいいんですよね。

大津:マスターがAIなので、人はそこに介在しなくていい。逆に色々なルートを作りたい時は、パソコンの画面を見ながらマウスでクリックしてルートを作ることもできます。それから、パソコンで操作できるということは、リモートで動かすことができるから、例えば物流や建設などの3Kと言われて人材が集まらない世界がどんどん変わってくると思っています。

杉原:あくまでも今プロダクトアウトしているのが建設機械ですが、何にでも応用できますよね?

大津:なんでもいいんです。例えば、今は物流倉庫の中で動くロボットについて、大手の物流企業さんと検討しています。

杉原:お話を聞くと、日本人の社会課題の一つである災害、被災した時にどう支援するかというのにも、すごく有効的だと思うのですが、例えば逃げる時とかもうまく遠隔でできそうですよね。

大津:そうですね。自治体への導入は現状ないのですが、今、多くのプラントが老朽化しているので、いつ災害が起こるかわからない。それで、ガス会社さんとやっているのは、1日三回、6時間かけて人が点検している所を、ロボットがグルグル回って点検をすると。スラムのようにただ動くだけではないので、止めて、特定の場所を見に行かせようと思ったら、マウスで操作するということも可能です。

社長業は毎日トライアルで楽しい!?

杉原:この対談で様々な方にインタビューさせていただいているのですが、これから社長になりたい、起業したいという方に一言あればお願いします。

大津:私もサラリーマンをやって、そのあと自分で会社を作りました。サラリーマンは、すごく狭い範囲のスペシャリストでいれば定年まで勤められますが、やはり社長はオールラウンドプレイヤーで様々なことを知らないといけないので、すごく人間が大きくなります。それと、自分でリスクを負うので、何をやってもいいんです。これまで自分では実現できないと思ったことを徐々に実現できるようになるのが社長業だと思います。あとは、すぐにポッと売れるわけではないので、毎日失敗しながら考えているのが楽しいです。

杉原:最後に、これから御社が向かう未来はどんな未来でしょうか?

大津:もともと我々は、ロボットやAIを使って社会課題の解決や、人の命を守ること、最近の言い方ですとSDGsの実現が目標でした。今後も同じように、社会のために役立っていければいいなと思います。

大津良司(おおつ・りょうじ)
博士(生命医科学)。富士通株式会社にて核融合システム開発等を経て1995年阪神淡路大震災を契機に「社会に直接貢献できるもの作り」をコンセプトに、災害対策ロボットなどを開発する株式会社新社会システム研究所を設立。2007年、経済産業省・大阪市からの招聘を受け、ロボットとAIを開発する知能技術株式会社を大阪市に設立。2008年、横浜国立大学の画像処理シーズを事業化するベンチャーである株式会社マシンインテリジェントを設立。

関連記事を読む

(text: 宮本さおり)

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー