プロダクト PRODUCT

アップルウォッチでも測定可能! 動きの「滑らかさ」を世界に先駆け数値化

富山英三郎

「脊髄性筋萎縮症(SMA)」の患者の動きを、モーションキャプチャやアップルウォッチを使い3次元解析するプログラムを開発した岐阜大大学院の研究チーム。本来は薬の効果を数値的に可視化するためのものだが、将来的にはスポーツ選手や舞踏家、職人技が魅せる「動きの美しさ」を数値化できるかもしれない。そんな3次元解析プログラムが生まれた背景や、今後の応用についてなどを同大学院連合創薬医療情報研究科の加藤善一郎教授に伺った。

ぎこちない動きと、
スムーズな動きの違いは何か?

加藤教授は創薬に関する研究を続ける傍ら、現在も臨床医として同大学の小児科でさまざまな患者を診察。医療の現場で得た知見を活用し、いくつもの研究を同時進行させている。そのひとつの成果が、モーションキャプチャやアップルウォッチを使った世界初の3次元解析プログラムだ。これは、全身の筋力が低下していく「脊髄性筋萎縮症(SMA)」患者の体の動きを解析するために生まれた。

「脊髄性筋萎縮症は、まだ研修医だった約30年前に担当していたことがあったんです。当時は薬もなく、視線を使っての会話術などQOL(クオリティ・オブ・ライフ)を改善する程度のことしかできなかった。それから約10年後、『TRH』という薬を、岐阜大学独自で脊髄性筋萎縮症の患者に向けて臨床応用し始めたのですが、その薬効を定量的に評価する方法がないということに改めて驚いたわけです」

脊髄性筋萎縮症の症状を評価する際、これまでは『腕が上がらない=0点』、『途中まで上がる=1点』、『耳まで上がる=2点』など大まかな評価方法が主体だった。

「でも、震えながら腕がぎこちなく上がるのと、スムーズに上がるのでは違いますよね? 『TRH』を投与すると、明らかに動きがスムーズになるわけです。これを臨床的には『滑らかになった』と表現します。しかし、その『滑らかさ』を評価する指標がなかった。これでは、薬を承認する機関に提出しても、どちらも手が上がっている状態と見なされ『治療効果ナシ』と判断されてしまう。そこで何かしらの指標が必要だと考えていました」

加藤教授は、遺伝子の変異によって生まれる病気の研究でも知られている。なかでも、免疫異常の原因物質(分子構造)を世界で初めて『立体的(3D)』に捉え、新薬開発へと導いた功績が大きい。『ハイテク技術を用いて立体構造を解明していく』ことは得意分野なのだ。

「体の動きを3Dで表現しようと考えたときに、スポーツの世界ではモーションキャプチャを使っているなと思ったんです。そこで、学内に眠っていた装置を引っ張り出して計測をしてみました。しかし、既存の方法論では臨床現場で必要とされる評価ができない。つまり、ぎこちなく上がる手と、滑らかに上がる手の違いを数値化できなかった」

モーションキャプチャとは、複数の赤外線カメラを並べた場所でマーカーと呼ばれる小さな球体を体に取り付ける。すると、カメラがマーカーの動きを捉え、軌道を計測していくというものだ。主に、正常な動きと比べてどれくらいズレているのかを計測するものであり、また正常値とされるものは健常者を対象としたものであった。

シンプルを極めたら、
アップルウォッチでも測定できることが判明

「臨床的な所見をどうすれば数学的に表現できるかを試行錯誤をしているとき、大学行きのバスの中で出会った方に話しかけてみたら、偶然にもコンピューターサイエンスを専門とする松丸先生だったわけです」

共同研究者である松丸直樹さんは、会津大学のコンピュータ理工学部、米国ウェイン州立大学コンピュータ研究科を経て、ドイツのフリードリッヒ・シラー大学コンピューターサイエンス研究科で理学博士となった人物。しかし、そんな専門家とタッグを組んでも『滑らかさ』の指標づくりには5年の歳月がかかった。

「できあがってみれば、1ヶ月もあればできたと思えるかもしれない(笑)。基本的な計算方法は、かなり早い段階でほぼ決まっていました。でも、患者さんにお願いするタスク(動き)と、我々が考えている解析手法がフィットするかなども含め、実証して検証して、最終的な計算まで詰めるのに時間がかかったんです」

一般的に、ぎこちない動きとスムーズな動きの違いは、モーションキャプチャを使いマーカーがブレる姿を表現すればいいと考える。そこで『ブレ』とは何かを考えたとき、加藤教授らは『空間精確性』(反復運動した際の、軌道の差を体積に似た数値として算出)と、『滑らかさ』(連続するベクトルの変化のズレから軌道の歪みを算出)というふたつの指標を取り入れた。

「一般的なモーションキャプチャは、20~30個のマーカーを取り付けるので、それもまたモーションキャプチャが臨床現場で敬遠される要因です。そこで、我々はできる限りシンプルなものを作ろうと思い研究開発した結果、マーカーが1つあれば解析できることがわかりました。その副産物としてアップルウォッチに内蔵されている加速度センサーなどを使っても、ほぼ同じ『空間精確性』『滑らかさ』という解析指標を使って評価できることがわかりました。実際の計算式はまったく別物なのですが(笑)」

モーションキャプチャを使う場合は、赤外線カメラなどの装置が必要になるが、アップルウォッチなら専用のアプリを使うだけ。これならば、町のクリニック、さらには在宅でも測定することができる。そうなると、遠隔医療の領域まで広がっていくことが予想される。また、動画に比べてモーションキャプチャやアップルウォッチからのデータは、せいぜい数十キロバイト。そのため、データのやり取りや保存も容易だ。今後、世界中からモーションキャプチャやアップルウォッチからのデータが集まれば、脊髄性筋萎縮症の子どもの標準値も決まってくる。すると、データ解析の手法にも広がりが生まれるかもしれない。

動きの滑らかさを追求すると、
「美」とは何か? にたどり着く

「運動機能を定量評価できるということは、薬の効果を可視化できるだけでなく、逆にどれくらいのペースで悪くなっていくのかもわかります。実は、そこもよくわかっていない部分なんです。また、神経疾患や筋肉疾患の患者さんだけでなく、発達障害の方へも応用できると思われます。さらには、スポーツや踊り、伝統芸能の世界で『キレ』や『美しさ』などと呼ばれる曖昧な表現も、数値で表現できるかもしれません」

私たちがプロのスポーツ選手やダンサーを見たとき、「動きに優雅さがある」「動きにキレがある」などと感心する場面は多い。しかし、なぜそう感じるのかを数学的に表現する術はこれまでになかった。しかし、『空間精確性』と『滑らか』さという指標を応用すれば、従来は曖昧だった『美』の領域へと踏み込むことができる。

「モーションキャプチャはスポーツの分野だけでなく、CGの世界でも使われていたりと、世界中にはさまざまなデータがあります。それらの過去データを使い、我々の解析プログラムで新しい評価軸を得ることができる。そうなると、医療とは違う業界でまったく新しい使われ方が生まれる可能性がある。そうなったら面白いですよね」

最後に、現在気になっている技術についてお話を伺った。

「アップルウォッチなど、ウェアラブルデバイスの進化に注目しています。今後さらに小さくなれば、指の繊細な表現も測定できるなど、ハード面の発達によって次なる展開が生まれる気がします」

加藤善一郎(Zenichiro Kato)
1990年 岐阜大学医学部医学科卒業、岐阜大学医学部小児科入局。
1997年 岐阜大学院医学研究科修了(医学博士)、奈良先端科学技術大学院大学バイオサイエンス研究科(国内留学・研究員)
1998年 岐阜大学医学部 助手(小児科)
2004年 岐阜大学医学部 講師(小児科)
2005年 ハーバード大学分子細胞生物学留学 客員研究員
2010年 岐阜大学医学部 准教授(小児科)
2011年 岐阜大学大学院医学系研究科 臨床教授(小児病態学)
2014年 岐阜大学大学院連合創薬医療情報研究科 教授(構造医学)、岐阜大学大学院医学系研究科 教授(小児病態学)

(text: 富山英三郎)

(photo: 岐阜大学)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

プロダクト PRODUCT

【HERO X × JETRO】大型ロボット操縦ももはやラジコン並みに!? AIとロボットが生み出す安全

宮本さおり

JETROが出展支援する、世界最大のテクノロジー見本市「CES」に参加した注目企業に本誌編集長・杉原行里が訪問。遠隔操作のできる災害対策用ロボットや、指を触れずに操作ができるタッチパネルを開発し、人々の安心と安全を守ろうとする会社、知能技術株式会社だ。最新のAI技術を駆使したプロダクトで、日本の社会をどう変えるのか挑戦をはじめている同社。社会課題に直接アプローチする同社の活動について、代表取締役の大津良司氏にお話をうかがった。

非接触でタッチパネル操作ができる
「UbiMouse」

杉原:御社はCES 2021の日本パビリオンに出展されましたが、いかがでしたか?

大津:今回、二つの製品を出展しました。1つは空中で指を動かすことによってタッチパネルに触れることができるもの、もう1つはロボットが自由に動き回れるものです。今回はオンライン開催でしたが、二製品とも実際の展示場で触れてもらうようなプロダクトなので、見せ方という意味では難しかったです。ただ、私も今まで海外のメディアには何度か露出をしてきたのですが、その中ではやはり非常に充実しているなと感じましたし、日本の企業さんからも問い合わせがありました。

杉原:タッチパネルのものは、「UbiMouse(ユビマウス)」ですか?

大津:そうです。「UbiMouse」が登録されている商標です。

杉原:簡潔に言うと、どういうものなのでしょうか?

大津:大きく分けると二つの仕組みがあって、1つは映像を見て、カメラがまさしく「指」を認識することです。例えばパソコンやタブレットやスマホであれば、すでにカメラが内蔵されているので、それを使ってAIが指の一番先の部分がどこにあるか、さらにモーションも認識します。カメラが付いていないものは、後付けのWEBカメラを付けていただければ、非接触が実現する仕組みです。

杉原:どのカメラでも稼働認識やモーション認識ができるアプリケーションを開発しているということですよね。

大津:はい。パソコンやタブレットは、それぞれ画面のサイズが違いますし、同じ15インチでも縦横比や解像度が違いますが、それも自動で認識して、デバイスに合った形のセットをして使えます。

杉原:よくSF映画であるフューチャービデオみたいな操作ができるということですね。まさに『アイアンマン』の世界観ですね!!笑。

タッチパネルに触れることなく空中で操作ができる「UbiMouse」。

大津:おっしゃるとおり、どこでも誰でも簡単に空中操作ができます。

杉原:カメラがあればできるとなると、導入障壁はかなり低いと思うのですが。

大津:カメラを使うシステムはサブスクモデルで月5000円くらいです。ただ、カメラに近づきすぎると上手くいかないなど、操作に慣れが必要という意味では、まだまだ普及のための努力がいるなと。もう1つの仕組みは、実際にハードウェアを付けるやり方で、スクリーンのような光センサーを装置に着けるタイプです。1台数万円なので、コストが障壁だと思います。

杉原:コロナ禍では非接触で衛生的という点にかなりフォーカスされると思うのですが、現状ではどのようなところに「UbiMouse」の技術が使用されているのですか?

大津:一番有名なところでは、くら寿司(回転寿司チェーン)です。まだ一部店舗しか入っていませんが、今年中には全店舗、2000台導入の予定で進めていただいています。くら寿司はカメラ型ではなく、スクリーン型ですね。そのほかには、スーパーマーケットのセルフレジや、まさしくコロナ患者を受け入れている病院の自動会計機などでも使われています。

杉原:銀行のATMにはすぐに活用されそうですね。セキュリティ的にも今はカバーで隠していますが、非接触であれば必要ないですし、僕としては、ATMで知らない人が触った後に触れるのがどうも苦手なので、そこもカバーできる。

大津:そう、そこです。我々が開発をはじめたきっかけもその点にありました。我々は2019年くらいから開発を始めたのですが、杉原さんと同じように、ATMや回転寿司のタッチパネルに不特定多数が触わるのがイヤだと思ったことがきっかけなんです。今はコロナですが、当時はインフルエンザも気になりました。そこで、空中でやればいいのではないかと考えたのです。ですが、銀行のタッチパネルについては、キャッシュレス化の流れの中で、銀行側がATMにはあまり新しいことを求めていない感触を受けます。

杉原:なるほど。今、コンペティターは多いんですか?

大津:カメラについてはもうすぐ特許になりますので、そこは抑えられているのではないかと思います。かたやスクリーンのものは、様々な所が出し始めています。

杉原:でも、デバイスを取り付けるとなると、みなさん障壁が高くなる。そうなると、やはりカメラ機能を最大限生かす前者のほうが可能性は高そうですね。

大津:我々もそう思っています。アプリケーションの広がりもあるので、そこに期待をしています。「UbiMouse」に対する我々の提案は二つあって、1つは非常に衛生的な世界を作ること。もう1つは、パソコンの世界に奥行きを作ることです。パソコンというのは、二十数年前にマッキントッシュがマウスとキーボードで操作できるようにした時代から、全く変わっていません。画面自体はガラス面でフラットで奥行きがないですよね? でも、「UbiMouse」は三次元で色々なことができて、中に突っ込むとか、速度を見るとか、モーションを作るとか、様々なことができるんです。

マスター/スレーブで現場のロボットを動かす

杉原:2007年に会社を創設された時は、まだAIはディープラーニングの域ではないですよね。どんなきっかけで会社を設立されたのですか?

大津:私はもともと富士通に勤めていて、その後、起業をしました。当時は災害対策向けに、建設機械をロボットにする仕事をずっとやっていましたが、大阪のロボット産業の活性化のために、経済産業省と大阪市から招聘を受けたのがきっかけです。

杉原:御社の消防用無人ロボットは、とても面白いですね。僕もシリコンバレーからエンタメ系のメガボッツというロボットを企業譲渡で持ってきているんです。無人化というのはロボットを遠隔操作できるということですよね。

ラジコンを操縦するように手元のコントローラーを動かすだけで重機を動かすことが可能に。操縦席の必要性もなくなるため、重機のデザインも変えられる可能性もある。

大津:ええ。よくご存じかと思いますが、オートノマスのロボットって全然賢くなくて、一回教えたらその通りに走るだけですよね。

杉原:SLAM (自己位置推定とマッピングの同時実行)の技術を使った位置情報だけですよね。

大津:おっしゃる通りです。そうすると周辺の状況が変わったら二度と走れませんとなります。我々もSLAM型自動清掃ロボットなども作ったのですが、このままでは先行きがないと思い、やり方を変えたんです。例えば天井にカメラが1つ付けて、そのカメラがフロア全体を見渡すと。その見渡した画像を見て、AIが「こう動かすのがベストなルート」というのを決めて、モノを運ぶというロボットを作ったんです。

杉原:マスター/スレーブ(*1)ということですよね。

(*1)複数の機器や装置、ソフトウェア、システムなどが連携して動作する際に、一つが管理・制御する側(マスター)、残りが制御される側(スレーブ)、という役割分担を行う方式

大津:そうです。マスターが本来人間だったところが、AIに代わったということです。

杉原:すごい。これ、導入はされているんですか?

大津:徐々に進んでいます。このシステムのいい点はいくつかあって、1つはご指摘の通りマスター/スレーブなので、スレーブ側が全く賢くなくてもいいんです。無線で操作できるものであれば、子どものラジコンカーでもいいんですよ。小さなおもちゃから建設機械まで全部動かせて、実際に建設機械がこれで動いています。

杉原:確かに。制御の部分をしっかりAIでコントロールすればいいんですよね。

大津:マスターがAIなので、人はそこに介在しなくていい。逆に色々なルートを作りたい時は、パソコンの画面を見ながらマウスでクリックしてルートを作ることもできます。それから、パソコンで操作できるということは、リモートで動かすことができるから、例えば物流や建設などの3Kと言われて人材が集まらない世界がどんどん変わってくると思っています。

杉原:あくまでも今プロダクトアウトしているのが建設機械ですが、何にでも応用できますよね?

大津:なんでもいいんです。例えば、今は物流倉庫の中で動くロボットについて、大手の物流企業さんと検討しています。

杉原:お話を聞くと、日本人の社会課題の一つである災害、被災した時にどう支援するかというのにも、すごく有効的だと思うのですが、例えば逃げる時とかもうまく遠隔でできそうですよね。

大津:そうですね。自治体への導入は現状ないのですが、今、多くのプラントが老朽化しているので、いつ災害が起こるかわからない。それで、ガス会社さんとやっているのは、1日三回、6時間かけて人が点検している所を、ロボットがグルグル回って点検をすると。スラムのようにただ動くだけではないので、止めて、特定の場所を見に行かせようと思ったら、マウスで操作するということも可能です。

社長業は毎日トライアルで楽しい!?

杉原:この対談で様々な方にインタビューさせていただいているのですが、これから社長になりたい、起業したいという方に一言あればお願いします。

大津:私もサラリーマンをやって、そのあと自分で会社を作りました。サラリーマンは、すごく狭い範囲のスペシャリストでいれば定年まで勤められますが、やはり社長はオールラウンドプレイヤーで様々なことを知らないといけないので、すごく人間が大きくなります。それと、自分でリスクを負うので、何をやってもいいんです。これまで自分では実現できないと思ったことを徐々に実現できるようになるのが社長業だと思います。あとは、すぐにポッと売れるわけではないので、毎日失敗しながら考えているのが楽しいです。

杉原:最後に、これから御社が向かう未来はどんな未来でしょうか?

大津:もともと我々は、ロボットやAIを使って社会課題の解決や、人の命を守ること、最近の言い方ですとSDGsの実現が目標でした。今後も同じように、社会のために役立っていければいいなと思います。

大津良司(おおつ・りょうじ)
博士(生命医科学)。富士通株式会社にて核融合システム開発等を経て1995年阪神淡路大震災を契機に「社会に直接貢献できるもの作り」をコンセプトに、災害対策ロボットなどを開発する株式会社新社会システム研究所を設立。2007年、経済産業省・大阪市からの招聘を受け、ロボットとAIを開発する知能技術株式会社を大阪市に設立。2008年、横浜国立大学の画像処理シーズを事業化するベンチャーである株式会社マシンインテリジェントを設立。

関連記事を読む

(text: 宮本さおり)

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー