カシャカシャ、とロボットの指がピアノの鍵盤に触れ、「ふるさと」のメロディを優しく奏でる。NHK連続テレビ小説「半分、青い。」で5月に放送された、印象的な1シーンだ。このロボットの手を製作した東京都立産業技術高等専門学校医療福祉工学コースの深谷直樹准教授は、独自の“からくり”による機構を使った高性能ロボットハンドの研究開発を行っている。ロボットハンドの現在地と未来予想図を、深谷氏に伺った。

人間の手や指の構造を模倣、
さまざまな形状の物を掴めるように

深谷氏が開発したロボットハンドの特徴は、とても単純な制御だけで、さまざまな形状の物を掴むことができる点にある。従来のロボットハンドには、果物や工具のように一つひとつの形や重さがバラバラなものを持つことが難しいという課題があった。指の一本一本、関節の一つひとつにセンサーやモーターを組み込み制御する方法では、多数の電子部品を制御する複雑なプログラムが必要となる。その分操作やメンテナンスの難易度が高く、電力の大量消費や耐久性といった点からも産業利用には壁があったのだ。

この課題を解決しようと深谷氏が考えたのが、独自の“からくり”だった。“からくり”とは、電子制御に頼らず望ましい動作を実現する機械装置の構造的な仕掛けを指す。

「人間の手や指の微妙な構造を模倣した独自の“からくり”を開発しました。すべての関節が機械リンクで結合していて、物体に馴染み、自動的にバランスを取るというもので、協調リンク機構と名付けています。センサーは使わず、基本的には1個のモーターのみで5本の指を動かします。

具体的にどう動かすかというと、つまみを引くだけ。私たちは普段、物を掴むときに“まず親指の関節を30度曲げて……”なんて思いませんよね。それと同じで、直感的に引くだけで勝手に手前にある物に巻き付くという構造なんです」

これまで、業界ではロボットの指は人間が設計した通り、1ミリ単位で精密に動くものという先入観があったと深谷氏は話す。それによって制御が複雑になっていった。しかし、過程はどうあれ、最終的に物を掴むことができればいいはず。こう考えて仕組みをシンプルにしたことで開発に成功した。

「人差し指と中指だけで、薬指と小指はねじれないんです。物を持つときに親指と人差し指・中指を使うことが多いから、ここだけ進化したのでしょうね。いままで見てきた解剖学の文献には載っていなかった発見でした」

解剖学や人間工学といった分野も横断しながら、深谷氏は少しずつロボットハンドを人の手に近づけている。

“からくり”を応用した3種類のロボットハンド

本研究の枠組みは、新エネルギー・産業技術総合開発機構（NEDO）の委託事業において、ダブル技研と共に行っている。3者は今年1月、“からくり”を応用したロボットハンドを3種類発表した。「F-hand」「New D-hand」「オリガミハンド」だ。

「F-hand」は、人間の手の構造や大きさを模倣した5本指のロボットハンド。前述した果物や工具のほか、ストローなどの細いもの、3kg程度の荷物も持つことができる。

用途として想定しているのは、農作物の収穫や食品工場での箱詰めなど。将来的には、インフラ関係の設備メンテナンス、建築現場での施工、災害現場など危険を伴う場所での作業、家事ロボットとしての食器洗いや掃除などを代替していくことを見込んでいるという。

「New D-hand」は、前述の“からくり”、協調リンク機構を持つ指を3本にすることで「F-hand」とは違った特徴を持たせた産業用ロボットハンド。より大きくて重い物を掴むことができるのが特徴だ。物流・製造業における搬送、組み立て、加工工程等に適していて、既にダブル技研を通じて自動車メーカーや研究所などで使用されている。

金属でできた上記2つのロボットハンドと違い、「オリガミハンド」はその名の通り一枚の紙でできたロボットハンドだ。レーザーカッターで切り出した紙を折り曲げてのり付けするだけの簡単な構造で、つまみを引くと指が曲がる。

鮭やコロッケなど傷つきやすいものを優しく掴める上、金属部品などの異物混入リスクがないため、弁当の具材詰めなどに向いている。縮小・拡大印刷するだけでさまざまなサイズになり、プラスチック段ボールに印刷し強度を増すことも可能。安価で使い捨てができるので、介護ロボや手術ロボなど衛生が求められる現場での活用も期待されている。

なお、「半分、青い。」に登場したピアノを弾くロボットハンドは、「F-hand」を応用し、見た目を昭和55年に開発されたロボットWABOT-2に似せて製作したもの。実際のWABOT-2は指先でタンタンタンと力強くピアノを弾くというが、番組制作スタッフからの「ヒロインの幼なじみが夢を見つけるシーンだから、ドラマチックにしたい」という要望を受け、ロボット的になりすぎないよう、柔らかく滑らかに演奏したという。F-handが人の手に近い構造を持っているからこそ可能になった演奏だ。

後編につづく

深谷 直樹
東京都立産業技術高等専門学校荒川キャンパスものづくり工学科医療福祉工学コース准教授。工学博士。ものづくりを中心とした医療福祉・ロボット関連の研究を行う。

日本における第5世代移動通信システム5Gのサービス開始がいよいよ目前に迫っている。高速大容量、低遅延、多端末接続の実現により、よりバラエティ豊かなサービスをより快適に楽しめるようになると推測されている。KDDIとKDDI総合研究所、株式会社アクロディアはスポーツ行動認識AIとセンサー内蔵型ボールからスマートフォンで取得したデータを活用し、選手の技術向上に役立てることができるアスリート育成支援システムを2019年10月に発表、スポーツテックサービス分野へ本格的に乗り出した。AI×IoTという最先端技術を駆使したサービス『アスリーティックラボ』の詳細や、提供するにあたっての課題点や今後の展望について、KDDI総合研究所にて話を伺った。

全身65か所の骨格点から身体の基本動作を認識して、
リアルタイムでアドバイスを返す

KDDIとKDDI総合研究所は2018年に、単眼カメラの映像からスクワットやランジなど31種類のトレーニング動作や姿勢を認識する「宅内行動認識AI」を開発。
コーチや指導者がつきっきりでなくても、深度センサーや専用デバイス、高度な技術を用いずとも、スマートフォンのカメラで撮影した映像から行動を認識し、各トレーニングのカウントや姿勢、テンポをリアルタイムでチェックできるようになった。

そこから発展したのが今回取材したアスリート育成支援システム『アスリーティックラボ』に使用されている「スポーツ行動認識AI」である。「スポーツ行動認識AI」では、同じくスマートフォンで撮影した競技者の映像から、全身65か所の骨格点を抽出して、指先を含む骨格などの動きや、ボールを捉えパスやキャッチなどを行う基本動作を認識、フォームから身体の使い方までをリアルタイムに解析することが可能となった。

このシステムは2019年8月に開催されたスピードクライミングの国際大会でも、出場選手の競技記録やリプレイ動画を世界記録と比較しながら会場のディスプレイに表示する “トライアル” で使用されており、競技者のみならず観戦者に向けた新しい体験を提供する施策として高く評価された。

KDDI総合研究所 スポーツ行動認識AI

このAIを用いたシステムに、アクロディアが開発した3次元モーションセンサーを搭載したボール型IoTデバイス「TECHNICAL PITCH (テクニカルピッチ）」を組み合わせたものが、今回の最先端技術を駆使したスポーツテックサービス『アスリーティックラボ』である。このボール型IoTデバイスとの掛け合わせをすることで、「スポーツ行動認識AI」の画像解析だけでは分からない部分までをも補うことができるとKDDI総合研究所 メディア認識グループの田坂和之氏は語る。

「スマートフォンのカメラではまだ、競技している様子をスローモーションで捉えることまではできません。そこでボールの中にセンサーを入れることで、ボールがどれくらい加速しているのか、回転しているかが分かり、競技者のフォームとボールの関係性を知ることができるようになりました。今回のサービスを用いれば、それらをおさえた上で選手に、それも即座にアドバイスすることが可能となったというわけです」

マイナースポーツや学生チームでも
スマートフォンさえあれば、
高度な指導を受けられるように

『アスリーティックラボ』

「TECHNICAL PITCH」は、野球ボールとスマホさえあれば手軽に投球の分析ができるというサービス。2017年に販売が開始してから登録ユーザー数はすでに2万件を超え、100万球の投球データをクラウド上に蓄積している。重さや硬さなど、硬式野球ボールの規格に準拠しているが、2019年12月には軟式野球ボールの販売もスタート。今後サッカーやバレーボール、ゴルフなど他の競技にも順次対応していく予定だという。

ボールとスマートフォンを Bluetooth でペアリングを行い、ボールに搭載したセンサーから送付されるデータが専用アプリで解析される。回転数、回転軸、球速、球種、変化量 、腕の振りの強さ、時間（構えてからリリースするまでの時間とリリースされてからキャッチャーが捕球するまでの時間）、動画（計測時にスマートフォンのカメラで動画を撮影し計測結果と同期）を記録することができるという。

「マイナースポーツや学生チームのように活動資金に余裕がなくても、スマートフォンさえあれば映像をチェックしながら戦略を立てていくことができますし、自宅でのトレーニング時や1人で練習する際にも指導が受けられます」（田坂氏）

近年、スポーツ指導におけるデータやエビデンスの重要性が叫ばれ始めるようになったものの、現場ではいまだにコーチの感覚や経験に左右されることも多い。そんななか、今回のサービスの検証に協力してくれる大学の運動部に対しては、AIを活用したコーチングと強調するのではなく、競技者の「今」の状態をチェックすることができるものとしてアプローチを進めていった。

「過去の映像と並べて比較すると、動きが少し固くなっているな、など自分自身で体の変化を確かめられるので、ケガの予兆検知などにも繋げていくことができます」と、自己研鑽も含めアスリートの全般的なサポートが実現しそうだ。

認識できる点数が増えれば必然的に処理が重くなる。
速さと精度を保つことが決め手

開発の肝となったのは、画像認識の速さと正確さであったと、田坂氏は語る。

「実際使ってみるとよく分かるのですが、自分の動きを撮影して、フィードバックが即時で表示されるか、1〜2分後に表示されるかでは前者の方がユーザーも理解しやすいし、実際に、上達のスピードもアップします。開発の初期は、体の大まかな骨格、目や鼻など、17か所のみでしたが、両手両足の指関節、かかとなど認識できる点を段階的に増やしていき、1年半ほどかけて65点まで到達したので、スピードクライミングのトライアルでもどのようにホールドをつかんでいるかまで、より正確に表示できるようになりました。
しかし点数が増えた分だけ当然処理は重くなり、速度と精度が落ちてしまいますから、いかに精度を保ったまま、速く認識できようにするかは技術面での苦労でもありました」

スポーツでの利用であれば現段階の65点で大体網羅できるが、顔のパーツひとつひとつや、体の輪郭まで認識できれば適用先が広がる余地は十分にある。
現状、技術的に不可能ではないものの、4G、LTEといった通信方式では高画質の画像やフレームレートの大きい動画をサーバーにアップするのに時間がかかってしまうが、5Gの実用化が始まればより解析がスムーズになり、たとえばゴルフクラブのヘッドなど細かい動きもぶれることなく表示できるなど、ユーザビリティの向上も見込めそうだ。

アスリートの支援だけではなく、
日常的なレクリエーションにも。
誰でも使えるエンジンに成長させたい

KDDI総合研究所 メディア認識グループ 田坂和之氏

今後、解消していきたい技術的な課題は、人の接触が多い部分の画像解析だという。

「1人でプレイする競技や団体でも離れているか、組まれていない場合なら問題ないのですが、人が密集するところ、柔道やレスリングのように組み合うことが多い競技だと、画像だけではどちらの手であるとか、どちらの顔であるかがまだ識別しきれていないところがあります。ラグビーのスクラムを想像すると分かりやすいと思いますが、肉眼で見ても分からないものは、やはり画像で見てもなかなか分かりづらい。少しずつ技術は改善されていっているので組み合うスポーツにもどんどん適用していけるのが理想ですね」

IoTボールの活用を組み合わせたサービスのため、アスリート育成に特化したスペシャルなプログラムという印象も受けるが、あくまでも目指すのは、誰でも手に取れるエンジンとしての成長だ。

「サッカーでも逆上がりでもいいんですけど親子で公園に行ったときに、親の主観でアドバイスするんじゃなくて、データで示してあげる方が子どもも主体的になるのではないかと思うんです。何で伝わらないんだ！って親がもどかしくなってしまうせいで、イヤになってしまうお子さんもいますから、人それぞれのアドバイスができる存在として、日常的なレクリエーションに取り入れてもらえると嬉しいですね」と田坂氏は笑顔で語る。

5G開始、そして東京オリパラ開催と、スポーツテックのメモリアルイヤーとなること間違いなしのこの1年、大きな発展に期待したい。