医療 MEDICAL

名医の手技とチームプレイをすべて再現!高精度360°VRで医療研修が進化する

浅羽 晃

医師不足が顕在化するなか、医療の技術向上には、名医から新人、若手への技術継承が不可欠だ。わけても外科手術においては研修の重要性が増しているが、従来型の研修では効果に限界がある。たとえば、大勢の研修医が同時に実践的な研修を受けることは手術室のスペースの都合上できない。そこで注目されているのがVRである。高精度の360°VRを用いれば、執刀医の視点で、手元ばかりでなく、手術室で起きていることを全体的に見渡すことができるのだ。医療研修VRの制作を手がける株式会社ジョリーグッドの上路健介代表取締役 CEOにお話をうかがった。

技術を後継者に伝えるためにも
名医による手技のVR化は必要

高精度360°VRのコンテンツ制作やVRを用いたソリューション・サービスを主要業務としているジョリーグッドは、2018年以降、2作の医療研修VRを制作している。1作目は不整脈の一種である心房細動の手技のVR化で、ヘルスケアにおけるリーディングカンパニーである、ジョンソン・エンド・ジョンソンと共同開発した。2作目は岩手医科大学とのコラボレーションによる、椎体置換術のVR化だ。これらはジョリーグッドが注力する人材育成ソリューション「Guru Job VR(グルジョブ・ブイアール)」の先進性と有効性を示すものとなっている。


JOLLYGOOD!:椎体置換術VRメイキングダイジェスト (岩手医科大学整形外科講座)

「VRを使った研修が世界的なブームになっているなか、Guru Job VRは、高精度なVRテクノロジーと独自に開発したVR内行動解析AIエンジンにより、安価で高機能なVR研修をワンストップで提供するサービスです」

VRについて、主にエンターテインメントの分野で活用される技術と認識している人は少なくないだろう。たしかに、VRという言葉が広く知られるようになったのはゲームやアトラクションで脚光を浴びたからだし、身近に体験できるVRはエンターテインメント関連のものが多い。しかし、VRはさまざまな分野に革新をもたらす技術だ。その好例が研修なのである。

「たとえば、高所からの転落といった重大事故の恐れもある造船工場の安全教育です。VRゴーグルをつけて現場を疑似体験することにより、安全を確保しながら、危険予知を身につけることができます。また、従来の研修は現場の作業を止めることや、講師役が現場での通常業務を離れることにより、生産性を低下させますが、VR研修にすればそうした問題も解消されるのです」

VR研修のメリットは、ゴーグルさえあれば、何人でも同時に研修を受けられる点にもある。VRと医療研修のマッチングの良さは、このメリットによるところも大きい。外科医を志す研修医にとって、優れた執刀医の手術を見学することは得難い体験となる。しかし、手術室に大勢で立ち入ることは不可能だ。

「VRにすれば、大勢が同時に、また、離れた場所にいても研修を受けることができます。不整脈手術も椎体置換術も、名医中の名医の手術をVR化することにメリットがあったと考えています。技術の継承は大事ですから、大教授、大先生が退官・退職される前に、手術をVR化して残す必要があり、そういう引き合いはけっこうあります」

助手や看護師の動きも知ることで
医師としての総合力が高まる

参加者デバイスの一斉操作や、プロジェクション機能など、研修をスムーズに進めるための機能が充実している。

HDVカメラによる俯瞰映像など、手術の動画を用いた医療研修はこれまでにも行われていた。Guru Job VRの医療研修が従来の医療研修と決定的に違うのは、執刀医の手元だけではなく、手術室で行われていることのほぼすべてを再現できるところにある。

「執刀医というのは、内視鏡の画面とかバイタルサインの画面とか、いろんな画面を見ながら手術を行っています。それらをどのタイミングでチェックしているか、あるいは第一助手がどのようにサポートして、執刀医に声をかけているか。そうしたことは俯瞰映像では押さえられないのです。必要な機器や機材を執刀医に手渡す看護師の動き、執刀医と看護師の連携も手術の質を左右します。手術はチームプレイですから、本当の意味での手術の記録は360°カメラでなければできないのです」

もちろん、手術においては、執刀医の技術が最も大きなウエイトを占める。しかし、このタイミングで第一助手とはどんなやり取りをしているか、看護師はどんな動きをしているか、そうしたことを知っておくことが、医師としての総合力を高めるのではないだろうか。

「名看護師というのは、器具の並べ方にしてもうまいんですよ。我々は名医と名看護師のセットで、ベストな手術を収録しています」

すなわち、Guru Job VRの医療研修VRは、研修医だけでなく、経験を積んだ医療従事者にとっても有用な動画ということになる。そのレベルにまで医療研修VRの質を向上させるために、ジョリーグッドも総力を結集した。

「360°カメラで撮るのは誰でもできますが、それを医師の視点で撮れるという手法にしているのは我々の技術です」

ジョリーグッドは撮影ツールの開発も手がけており、一例としては、ハンズフリー撮影が可能なウェアラブルマウントシステムだ。カメラを支えるアームが映らないマウントシステムを独自開発している。しかし、手術の撮影においては、執刀医がカメラを装着するわけにはいかないので、手術の妨げになることなく、手術室全体を撮影できるような位置にカメラを吊るすための装置をつくった。手術の手順の確認、撮影のシミュレーションも緻密に行っている。

「手術中、このタイミングで機材をどける、このタイミングで機材を入れるということが繰り返しありますから、分単位の非常に細かいタイムスケジュールを立て、撮影しました。」

5Gのサービス開始によって
VR研修が医療研修の標準に

医療サイドの評価も高いことで、上路氏は医療研修VRの将来に大きな手応えを感じている。

「いままでの研修は、整形外科であれば、2Dの映像を見せてパワーポイントで説明したり、模擬骨を使って実習をしたりというものでした。説明を受けただけで、いきなり実習に入っても、よくわからないということがあったでしょう。それをVRにすると、こういうふうに切開して、椎体を切除し、交換するということが名医の視点で体験できるのです。VRで研修してから実習すると結果は違うだろうと、先生も言ってくれています」

Guru Job VRにはAIエンジンも組み入れている。制作者が意図した視点と、ユーザーが見た視点の差異を分析することで、研修の質を高めることができるのだ。医療研修VRについても、利用者が増えることにより、研修の効果は上がっていくことになる。

「この6月に東北整形災害外科学会における椎体置換術のVRハンズオンセミナーで使われるなど、医療研修VRが利用される機会は増えていきますし、さまざまな手術のVR化を進めていく予定です」

今後は介護の分野でVRを活用することも視野に入れている。

「介護研修では、介護を受ける方の目線に慣れることが大事だと思います。介護士の方が、介護を受ける側の体験をしておくと、精神的なストレスも軽減されるのではないでしょうか。リハビリにおいては、しっかり歩けていたときの体験をしながら歩行訓練をすると、効果が違うとされますから、VRは役立つはずです」

ジョリーグッドは、ジョンソン・エンド・ジョンソン、NTTドコモと共同で、NTTドコモが提供する第5世代移動通信方式(5G)とジョリーグッドのVR技術を融合させた遠隔リアルタイム医療研修VRサービスの実証実験をスタートさせた。5Gのサービス開始は2020年。VR研修が医療研修のスタンダードになる時代は近い。

上路健介(Kensuke Joji)
1973年、岩手県生まれ。テレビ局、広告会社にて新規事業開発20年を経て、2014年、株式会社ジョリーグッド創業。2015年、プロフェッショナルVRラボ「GuruVR」を立ち上げ、メディア向けVR導入ソリューションはテレビ業界トップシェア。2017年、VR内の行動データを解析するAIエンジンを発表。2018年には、VR×AI人材育成ソリューション「Guru Job VR」 を発表し、造船や食品工場、医療の現場研修のVR化を、大手パートナー企業らと手がける。企業理念として、「テクノロジーは、それを必要としている人に使われて、初めて価値がある」を掲げている。

(text: 浅羽 晃)

(photo: 増元幸司)

  • Facebookでシェアする
  • LINEで送る

RECOMMEND あなたへのおすすめ

医療 MEDICAL

“目は口ほどに物を言う”心や身体の不調が瞳で分かる時代へ! 日本が誇る「瞳孔反応解析技術」

富山英三郎

コロナ禍によるテレワークや、先の見えない社会不安などで精神に不調をきたす人が増えている。そんな中、新たな角度でストレスをチェックする技術に注目が集まっている。それが「瞳孔反応解析技術」。自律神経によって動く「瞳孔」は意識的に操ることができず、その人の興味・関心、自律神経の乱れが如実に現れる。ストレスチェックのみならず、セキュリティ、マーケティング、体調管理、人材育成などさまざまに活用可能な「瞳孔反応解析技術」とは何なのか。

約30年試行錯誤が続く、
職場のストレス問題

2015年12月より、50人以上の労働者を抱える事業所で義務付けられた厚生労働省の「ストレスチェック制度」。これは質問表を労働者に配って記入してもらう方式で、年1回の実施が義務付けられている。目的としては、労働者のメンタルヘルス不調を未然に防止し、職場環境の改善を図るというものだ。現在、「ストレスチェック」で検索すると独自の分析を謳ったさまざまな会社のサイトが表示される。

義務化されるきっかけとなったのは、1984年2月に日本初の「過労死認定」を受けた男性会社員の自殺にある。

その後、1988年に政府は労働安全衛生法を改正し、事業者が講ずるよう努めるべき措置のひとつとして「労働者のメンタルヘルスケアに取り組むこと」が掲げられた。その後も検討会や指針の公示が何度もなされたものの、現場でのストレス拡大や自殺者の増大は収まらず、2008年になって「メンタルヘルス対策支援センター」(現:産業保健総合支援センター)が各都道府県に設置されることになる。

その後も常に話題には上がるものの効果は限定的で、ついに2015年に前述の「ストレスチェック制度」が義務化されたというわけだ。このように職場のストレス問題は、長い間試行錯誤され続けてきたのである。

コロナ禍で労働者の
ストレス問題は複雑化した

近年は少子高齢化による労働者不足や介護離職の問題など、事業者側にも目に見えるカタチで実害が出てきたことで、「働き方改革」の名の下、職場のメンタルヘルス改善に関しても意識は高まりを見せていた。それが、2020年からのコロナ禍で状況は一変する。

これまで厚生労働省が設けていたストレスチェック制度は、あくまでも「原因が職場にあるストレス」を軸として設計されていた。それが、テレワークなど働き方が多様になったことでこれまでのチェックでは見逃すケースが出てきたのだ。先行きが見えない社会不安や、家庭内トラブルなどストレスの要因はより複雑化され始めている。

瞳孔は、人種・性別・年齢によらず、嘘をつけない

そんななか、新たな角度でストレスをチェックする手法に注目が集まっている。それがアイトラッキング(視線計測)を含む「瞳孔反応解析技術」だ。今まで取得できなかった「人間の無意識の反応」を数値化して客観的データを解析するシステムだ。この分野は夏目綜合研究所がほぼ世界唯一。代表取締役社長の臼倉 正氏に話を訊いた。

「瞳孔というのは、交感神経が活発になると拡大し、副交感神経が活発になると縮小する、自律神経の出先機関みたいなものです。視覚、聴覚、触覚、味覚、嗅覚といった五感に反応するので、あらゆる分野に応用できます。ストレスチェックは、瞳孔反応解析で導き出されるひとつの事例に過ぎません」

同研究所のコア技術は、独自のアルゴリズムでノイズを除去し、被験者それぞれのキャリブレーションを短時間に正確におこなうことができる点。これにより「興味関心」や「注目」だけを抽出することが可能となる。

設備としては、まず近赤外線センサーとモニターがある。これで瞳孔の収縮・拡大、さらに視線を追尾。明暗反応による瞳孔の変化を除去するためには輝度カメラを用いている。それらのデータをコントロールボックスに集約し、分析はクラウド上でおこなう。

モニターの下にあるのが近赤外線センサー、その横にコントロールボックス。手前にあるのが輝度カメラ。

「アイトラッキングだけですと、視線が止まっていてもボーッと見つめているだけかもしれません。しかし、瞳孔の反応は1秒間に60フレームと素早く、興味関心注目が高まった瞬間を捉えることができます。そのため、意識的に視線を逸らしても時すでに遅しで、反応を測定することができます」

科学警察研究所に採用された実績

この技術が注目されることになったのは、2017年に警察庁の附属機関である「科学警察研究所」に採用されたことが大きい。一例として、封筒に入ったお金を盗んだ疑いのある人は、お財布に入ったお金の画像を見ても瞳孔は反応しないが、封筒に入ったお金の画像を見るとでは瞳孔が反応するという。

「3年ほど一緒に実験のお手伝いをして、彼らの求める精度まで達したことで採用いただくことになりました。」

エンタメやマーケティング
分野からも注目されている

上記のようなセキュリティ分野での活用以外には、エンターテイメントの領域でも多くの実験がなされている。松竹では、被験者に数本の映画の予告編を見てもらい、どの予告編のどの時間帯のどの部分に高い興味関心注目が集まったかを検証。予告編と興行収入の関連性の調査を行った。

赤系統のモザイクは、瞳孔が大きくなり注目している部分。青系統のモザイクは、視線を向けているが、瞳孔の反応は大きくなっていない部分。これにより、表示されるカットや構成要素ごとの注目度合いがわかり、演出意図が達成できたのか、メッセージは伝わっているのかが判明する。

「コロナ禍でエンタメ各社との取り組みが一時ストップしてしまったのですが、今後は絵コンテやキャスティングの段階から、弊社のシステムを取り入れることが可能だと考えています。商品のイメージキャラクター選定において、どの女優さんやタレントさんが商品イメージにマッチしているのかという組み合わせは、すぐにでも検証できると考えています」

「ストレスチェック」に関しても、基本的な方法論は同じだ。表示される設問と選択肢に対し、どこで反応したのかを見ていく。そのため、被験者はシートに記入することなく、瞳孔反応だけでストレス度合いをチェックされてしまうのだ。つまり、会社に忖度をすることができない。

空港での使用を想定した、据え置き型のシステム。被験者はCMを見たり設問を黙読するだけで、テストされている感覚もなく進んでいく。

回答だけでなく設問自体への
反応も考慮される

「大きな特徴は、回答だけでなく、どの設問がその人にとって重要事項なのかがわかる点です。例えば、『非常にたくさんの仕事をしなくてはならない』という設問に対して、『そうだ』というネガティブな回答をしているとします。その場合、何かしら対策が必要だということになる。しかし、この人はそもそも『非常にたくさんの仕事をしなくてはならない』という設問に反応していない。つまり、この問題を改善しても彼の満足度は得られないわけです。

一方、同じネガティブな回答ながら、『高度な知識や技術が必要な難しい仕事だ』『集中する必要がある』『勤務中は仕事のことばかり考えている』という設問に対して強く反応していたとする。そうなると、この人は今の部署が向いていないのでは? ということがわかります」

自律神経の乱れを測定して健康管理

「瞳孔反応解析技術」は医療分野への応用も可能だ。恥ずかしさゆえに問診で嘘の回答をしてしまう人や、クスリ欲しさに症状をでっちあげる人を防ぐ他、瞳孔の明暗反応を見ることで自律神経の乱れがわかる。

「自律神経が正常の場合は、明暗の反応がリズミカルな波形になる。しかし、自律神経が乱れているときは、その波形が崩れるんです。以前、精神科の先生がパーキンソン病の男性で測定をされたのですが、同じ刺激に対して波形がガタガタになっていました。

しかも、何かしらのデバイスを装着することなくモニターを見るだけでデータが取れますので、拘束されるのが苦手な方にも対応できます。この分野に関しては、医療関係者さまと一緒に治験や臨床試験を行っていく予定です」

自律神経の乱れはストレスや疲労のみならず、何かしら体調が崩れていることを察知する重要なメッセージ。今後、小型化できれば用途はさらに広がりそうだ。

「使用例として、ライドシェアなどを利用する際、運転手や車の評価以外に、ドライバーの今日の体調(自律神経の状態)という評価があればいいなと考えています。瞳孔を気軽に計測して体調を評価できたら、ドライバーにとっても利用者にとってもいい。事故を未然に防ぐという意味でも利用価値があると思います」

アイトラッキングの観点でいえば、VRゴーグルからスタートするのが現実的だろう。すでにHTC社のハイエンドモデル『VIVE PRO Eye』には搭載されている。また、将来的にスマートグラスの分野にも波及することが予想される。そこに夏目綜合研究所の「瞳孔反応解析技術」が加わることで、エンターテイメントから医療、ヘルスケア、セキュリティ、スポーツなどさまざまな分野での利用が期待される。

未来は瞳孔反応に応じて
周辺環境がカスタムされる!?

「目は心の窓」と言うが、瞳孔は「心」のみならず「体調の窓」にもなりうる。また、世界中どの人でも瞳孔は「黒色」であり、自律神経を意識的にコントロールできない。この普遍性は大きな可能性を秘めている。

「プロダクト側の人間なので、iPhoneが発売されたときに悔しくて。それに代わるものとして、同じくらい身近なものを考えると『鏡』だと思うんです。鏡に瞳孔を測れるものが装備されていたら、スマートハウスのコアな部分になるのかなと思っています。帰宅後に玄関で鏡を見たら、音楽か変わって、匂いが変わって、お風呂の温度が変わってと、そんな時代を夢見たりしています」

ストレスの多くが環境に起因するのだとしたら、それを取り除くさまざまな施策が瞳孔を測定することで生み出されていく。そんな未来には、ストレスチェックの質問表は消えていることだろう。

臼倉正(うすくら・ただし)
1990年國學院大学卒業後、外資系消費財メーカーで営業、マーケティング業務に従事。2005年に起業し、フリーペーパー事業に始まり、PPCやスマホアプリ事業などに拡大。2014年に会社を売却し、2016年、夏目綜合研究所の代表取締役に就任。

関連記事を読む

(text: 富山英三郎)

(photo: 増元幸司)

  • Facebookでシェアする
  • LINEで送る

PICK UP 注目記事

CATEGORY カテゴリー