ゲームをはじめエンターテインメントの分野で、あっという間に普及してきたVR（Virtual Reality＝仮想現実）の技術。いくら現実味があっても仮想の世界だし、やっぱり楽しむためのものよねぇ...と思いきや、その映像が現実空間へ鮮明に入り込んでくる、MR（Mixed Reality＝複合現実）の技術も進化し、娯楽にとどまらず医療への応用も試みられているのだとか。まさに近未来な展開！ そんなMR街道の最前線を爆走中、関西大学 システム理工学部 機械工学科の人間工学研究室へ。小谷賢太郎教授にお話を伺い、MRを活用した手術支援システムを体験してきました！

何かと制限の多い内視鏡手術は、情報伝達の難しさが長時間化の原因に

　紹介映像なら目にしたことがあるものの、正直、VRすら未体験。そんな筆者の脳にMRなんて理解が追いつかない...。一体、どういうものなんですか？

　「VRは見える世界のすべてがCGですが、MRは実際の物体が見えているなかで、空間上に情報を付加する技術です。つまり完全に周りの人と同じものが見ている状態で、新たな映像が重なってくる形ですね」

　なるほど、仮想現実とリアル現実（←ややこしい）が合わさって、複合現実となるわけですね。それを使った手術支援っていったい？

　「対象として想定しているのは、内視鏡手術です。身体に開けた小さな穴から器具を挿入して行う内視鏡手術は、開腹手術に比べ患者の負担が少なくて済む一方で、多くの制限があります。スコピストが操作する内視鏡の映像をモニタで見ながら、術者と助手が別の穴から挿入した器具を使って執刀するのが一般的な方法ですが、臓器を横に寄せるなど空間を確保しつつ行うので、両手は常に器具を持ったまま。指示を出そうにも言葉で説明するしかなく、細かな切除部位などを伝えるのに時間がかってしまいます。適切に伝わらなければ、術者の意図とは違う部位を切除してしまうような事故も発生しかねません」

　時間がかかれば、それだけ患者さんや執刀チームの負担も大きくなっちゃうし、うまく情報伝達ができなければ、医療ミスにつながる恐れだってあるわけですね...。

　「そんなコミュニケーションの課題をなんとかしたいという京大病院（京都大学医学部附属病院）のニーズを受け、開発を進めたのがこの手術支援システムです。以前に共同研究を行った宮崎県のモノづくり企業から2018年の春頃にご相談を受け、それならMRを使って解決できるのでは、と提案したのがはじまりでした」

　つまりは両手を使わず、モニタに表示されている患部の映像にマーキングできればいいわけですね。MRがその解決策になるということですか？

　「手術室のモニタ上に、視線と音声で自由に絵が描けるソフトを開発したんですよ。ゴーグルのように装着するHMD（ヘッドマウントディスプレイ）方式のMRデバイスを使って実現させました」 視線と音声でモニタ上に絵を描く？ 想像の範囲を超えた話です！ 実演を見せてください！

視線と音声で指示を視覚化して、手術中のコミュニケーションを支援

　教室へと移動すると、ソフトの開発を担当したという大学院生のお二人がスタンバイ。

　「プログラムを書いたのは彼らです。京大病院との打ち合わせにも参加してくれています。このプロジェクトには、この二人を中心に学部生たちも数名協力してくれているんですよ」

　学生さんが活躍しているなんて、かっこいい！ このゴーグル型の装置がMRデバイスですか。レンズ部分がディスプレイになっているわけですね。

　「こちらはマイクロソフト社の『HoloLens』という製品です。実は今回のプロジェクトのご相談をいただく1カ月ほど前に、日本で発売されたばかりだったんですよね。初めて使うシステムだったので、どう見えるのか、どんな調整ができるのかは未知数。ソフトを組みながら手探りで進めていきました。
　選んだ決め手は、数秒単位で空間の座標系をすべて検出し、合わせていくセンシングの機能。細かな位置を指示するのに、術者と助手で空間認識にズレが生じたら大変なことですからね」

　おっしゃるとおり。せっかく患部にマーキングできても、同じ映像が見えていなかったら意味がないですもんね。どのようにマークをつけるのか、早速見せてください！

　「では学生に装着してもらい、見ている風景をスクリーンに映してみますね。ここに出ている白いポインタが、彼の視線です」

　スクリーンに映し出されたのは、教室の風景。直接目にしているのと同じく、きちんとクリアに見えています。机の上には、「MEDI-COM」という文字とロゴが描かれた1枚の紙。白いポインタが、そちらに動きます。

　「『MEDI-COM』は、開発中のソフトの仮称です。ロゴの位置を起点にして、空間の座標...距離や角度といった情報を、常にセンシングできるようにしています。理解しやすいよう、ホワイトボードを手術室のモニタに見立てますね。そこに、内視鏡の映像が出ていると思ってください」

　ポインタがホワイトボードの上に移動すると、学生さんから「ラインスタート」と一声。彼が視線を動かしていくと...黄色いラインが描かれていく！ そして「ラインエンド」の一声で描画が終了。「視線と音声でモニタ上に絵を描く」、まさにそのとおりでした！

　「眼球の動きだと不安定なので、視線は現状、顔の向きで検知しています。空間上に描いたラインは、その場に定着させられるため、術者と助手、どちらからも同じ位置に見えています。削除をするには『ラインクリア』。色やサイズなども音声による操作が可能です。コマンドはいくらでもつくれますが、なるべく誤認を起こさせないよう、いまは必要な10数種類だけを用意。さまざまなジェスチャーでも入出力ができるようにしています」

患部の三次元画像を空間に表示し、手術方針の検討に役立てる

　ジェスチャーによる入出力？ と思っていると、何やら握った拳を開くような動作をする学生さん。するとスクリーンに映された教室の空間上に..."患者三郎"さんのカルテ情報と血管の立体画像が浮かび上がりました！

　「MRを使うと、たとえばCTで撮った三次元画像を現実の空間に投影させることも可能です。自分が動けばいろんな角度から見られますし、ジェスチャーで画像を回転させることもできます。実は、執刀時の支援システム以外に、カンファレンスで役立つシステムもリクエストされていたんですよ。映像・画像・患者情報を空間に提示させ、スタッフ間で情報共有できるようにしてほしいと。このシステムがあれば、360度どの方向からも見られるのでイメージもつきやすいですし、マークを打って切除箇所の指示を出すなど、お互いに理解を深めて効果的な手術の方針が立てられます」

　これはもはや、未来の医療現場じゃないですか！ 「体験してみますか？」の一言に二つ返事で、デバイスを装着。システムがすべて入っているとは思えないほど軽いし、さほど大きくもありません。ディスプレイからは現実の教室が透けて見えていますが、上部にはメニューバーらしきものが表示されています。なんだかパソコンのデスクトップがシースルーになったかのような？ スクリーンで見た以上のリアルさで、血管も空中に浮かんでいます...。

　「ラインスタート」「ラインエンド」「ラインクリア」を繰り返し、少し慣れてきたところで、「それでは血管にピンを打ってみてください」という新たなミッションが。指示のとおりメニューバーにあるピンのアイコンにポインタが重なるよう首を動かし、人差し指と親指でつまむようにしてクリック。そのままポインタを血管の上まで移動させ、「ここが患部だな」と勝手に決めつつ、再びクリックの動作をすれば...ピンが刺さりました！

　「世界的に見ても、このようなシステムは今のところありません。手前味噌にはなりますが、かなり画期的なものだと思いますよ」

医工連携は、現場とのコミュニケーションをどれだけとれるかが重要

　2018年秋頃、経済産業省の「戦略的基盤技術高度化支援事業」に選ばれ、研究が進められてきたこのプロジェクト。現在の進捗状況は？

　「医師の先生方に現場で評価していただきながら詰めている段階です。細かな描画をよりうまく描けるようにしたり、音声認識の精度をより高めたりと、できるだけスムーズに使えるよう、操作性を向上させることに注力しています。
　実は2020年の夏から学会でデモを行うつもりだったんですが、コロナ禍により実現できていなくて、スケジュールが遅れているんですよね。医療系のシステムは、医師の評価がポイントになる。実際に使ってもらい、良い評価を学会で話してもらって、初めて広告効果が出てきますから。実際の手術で使うには認証にまだ時間がかかるので、先行してカンファレンス用のシステムを上市する予定です。製品化を担うモノづくり企業と調整し、年内のリリースを目標に置いています」

　今回のように実社会での活用をめざす製品の開発は、「連携がなければ前に進まない」と小谷先生。そのため常に使い手の意見を聞き、細かくすり合わせながら、開発を進めるよう心がけているといいます。

　「エンジニアは必要のない部分にこだわってしまうことが多いですからね。いくら最先端の技術が入っていたって、使い勝手が悪ければ役に立ちません。いかに使いやすい商品にするかを最重視しています。『これこれ、こういうのがほしかった！』なんて言ってもらえると、やっていて良かったなと感じます。
　医工連携を含めた産学連携は、現場とのコミュニケーションをどれだけとれるかが重要です。京大病院の先生方は、新しいことに対してノリがいいというか（笑）、とても意欲的なのでやりやすくて助かっています。もともとは本学にある社会連携部の支援からつながった医療分野との関係ですが、ニーズを把握できていないだけで、知れば我々の技術で意外と簡単に解決できる課題が世の中にはたくさんあるはず。本学は総合大学だから、違う分野の研究室に振ることだってできますからね。さまざまな課題をキャッチして新たな開発につなげられるよう、これからも常にアンテナを張っておきたいです」

小谷 賢太郎／教授（関西大学 システム理工学部 機械工学科）

関西大学大学院 機械工学専攻 博士課程前期課程を修了後、米国ペンシルバニア州立大学大学院 産業工学科でPh.D.を取得。留学中、人間工学を用いた設計業務にも従事。1996年、関西大学に赴任し、2010年より現職に。専門分野は、ヒューマンインタフェース、生体情報処理。宮崎県のモノづくり企業と協働した、緑内障診療におけるHMD型視野計の開発を機に、2018年4月、学内イノベーション創生センターにベンチャー企業、株式会社ケーラボ（K-Lab）を設立。