対面協調作業を支援するテーブル型ディスプレイ

まず、研究の概要から説明してください。

ICT (Information Communication Technology) の高度化やネットワークの普及によって、情報処理システムの利用場面は格段に増加していますが、すべてのシステムが必ずしも使いやすいものになっていないのが現状です。それを少しでも解消するために、ユーザとシステムとの間のやりとり（インタラクション）に注目し、機能と使いやすさが両立するようなシステムを実現するための研究を進めています。①ユーザの振る舞いや要求の分析・モデル化、②新しいシステムのデザイン創出、③システムの実装と評価、を一つのサイクルとし、このサイクルを繰り返していくことで、使いやすいシステムはどのようにあるべきなのかを探求しています。

具体的にどのようなシステムなのか、例を挙げてください。

一つは、私がＮＴＴの研究所に勤務していたころから東京大学と共同で研究を続けている、対面協調作業を支援するインタラクティブシステムです。ルミサイト・テーブル（Lumisight Table）と名づけた、新しいタイプの机型のディスプレイで、4方向から違う映像を見ることができます。写真などの情報は、各方向に正対するように回転させて提示します。机の中に置いた4台のプロジェクターを同期させ、机の内部に設置した赤外線カメラで机上に置かれた物体や人の動作を認識し、それに応じて反応するディスプレイを実現しています。
　このディスプレイを使うことで、一つの机を囲んで数人がコラボレーションするためのシステムが実現できます。例えば、地図を見ながら多国語で議論するときに、それぞれの母国語で自分の方向に向かって表示された情報を眺めつつ、メンバー全体で同じ向きの地図を共有して議論することができます。地図の部分のみを同じ方向に表示できるので、地図上のある一点を指さして他人に伝えることもできます。もちろん、違う資料を出すことも、同じ資料を出すこともできます。
　インタラクションデザインは、人がコンピュータとのやりとりを円滑にすることによって、より使いやすいシステムを創出したり、コンピュータを介した人同士のコミュニケーションやコラボレーションを活性化したりすることを目指すものです。

言葉による問いかけに可視化表現で応答

先生の研究テーマの一つである「自然言語によるインタラクション」の例は？

自然言語と情報可視化の協調方式に関する研究です。ユーザが自然言語でシステムに質問し、システムが可視化表現（グラフ）でユーザに応答するインタラクティブシステムがその一例です。これは、ユーザが多量のデータから有益な情報を見いだすために行う探索的な分析行為を支援する技術の実現を目的としています。
　例えば、このパソコンの中には日本の各地で10年間に降った雨の量の毎日のデータが入っています。それに対して、「何年から何年までの関東地方の降水量が見たい」と入力すると、その言葉をコンピュータが解釈して自動的にグラフを描きます。さらに、関東地方と近畿地方を比較するために、近畿地方のデータを追加します。どれぐらいの割合になっているのか、「割合を見たい」と入力すると、割合の表示に変わり、変動の幅が見えてきます。降水量を年単位から月単位にして比べることも可能です。
　このシステムは、断片的な言葉で問いかけられた質問を、文脈を考慮して理解し、それまで描かれていた内容と新しい内容とをアニメーションでつないで見せることができます。システムの内部で日本語の解釈をしており、それに合わせて適切な表現を考えてどんどん書き換えていきます。自然言語の解釈などは容易に見えるかもしれませんが、欠けている言語表現を補う、文脈を保持しておく、前の質問に戻った場合の分岐を把握する、不要な文脈は削除して必要な文脈のみを残していくなど、複雑な処理をやっています。そうすることによって人間の思考を妨げることなしに発想を支援しつつ、最終的に自分のほしい結論にたどり着くことができるシステムが実現できます。人間の思考は、ある情報やグラフから一気に最終的な結論が見えてくるようなことはなくて、次から次へと新しい観点を見つけて、徐々に理解を深め新しいことに気づいていくので、システムもそれに応じた応答を返す必要があるのです。

バーチャル世界とリアル世界をつなぐ

「実世界指向インタフェース」とは？

キーボードやマウスを離れて、コンピュータを意識しないでシステムを利用できるインタフェースのことで、ルミサイト・テーブルもその一つです。また、子どもたちを対象とした新しいメディア表現として、影絵に注目し、影の世界とリアルの世界をつなげて、空想したものが映像になるような実世界指向インタフェースの研究もしています。例えば、棒の付いた円盤をかざすとその影が木になって、それを揺すると果物が落ちてきたり、引っこ抜くと根っこが生えていたり。子どもの頭の中にある空想を影の世界で映像として表したような、リアルとバーチャルの間にある遊びを実現しています。
　また、手袋の中にセンサを組み込み、狐の手を動かすことによって、画面のなかのキャラクターも右を向いたり左を向いたり、頭を傾けたりするようなシステムも作りました。これは、学生に電子工作の実習の一環として作成させたものです。バーチャルとリアルの世界をつないでいるので、バーチャル・リアル・パペットと名づけています。これらはエンターテインメント・コンピューティングと呼ばれる分野に属するものですが、この分野は、これから日本が主導権を握ってやっていける、新しい面白い分野だと思います。
　誰をターゲットに、どういう課題を解きたいのか、そこにフォーカスして最適なシステムを作っていくことが大切です。人間が得意な部分とコンピュータが得意な部分があります。コンピュータは、大量なデータを高速に計算することは得意ですが、新しいものを見つけたり、違う観点から見たりすることは苦手です。一方人間はグラフなどを眺めて、直感的に「ここに何か宝の山がある」と感じ、それを見つけることができます。だから、コンピュータの良いところと人間の強みをうまく生かせるようにすることが、私の研究の狙いです。

教育・指導面で重視していることは？

手を動かしてモノをつくることが大切です。そのアイデアが本当に使えるかどうかは、実際につくってみなければ分かりません。また、学会や研究会での発表、展示会への出展などを通じて、積極的に情報発信を行っています。卒業までに一度は学会発表してもらうことを目標にしています。内輪だけでしか通用しない研究の成果ではなく、学会で評価してもらえるようなレベルを目指して指導しています。