Research

Activity Understanding

研究テーマ

実世界AIサービスのための人物行動理解とロボティクス

チームミッション

 

Activity Understandingチームでは、実世界においてAIサービスを実現するための基盤研究に取り組んでいます。小売・医療など、実世界が現場となる領域でAIを活用するためには、複雑に変化する環境のなかで人々の多様な行動を計測・理解し、AIによって生成された情報を適切に伝達する技術が必要です。また、人々の日常生活と密接に関わる技術は、個人とそのプライバシーを尊重し、社会的に受け入れられる形であることが不可欠です。本チームは機械学習やコンピュータビジョン、ロボティクス、ユビキタスコンピューティング、データマイニングなど複数分野からの多角的なアプローチによって、このような技術の創出と実世界AIサービスへの還元を目指します。

 

 

プロジェクト

 

① IMUを用いた人物行動計測

スマートフォン等のモバイルデバイスに搭載されたIMU(慣性計測ユニット)を活用し、カメラシステムの導入が難しい環境において人物の移動や注視といった行動を計測する手法を研究しています。モダンなニューラルネットワークの学習に基づくニューラル慣性測位と、環境の物理的・意味的制約に基づく最適化によって、人物の移動を高精度に計測できる手法を開発しました。

 

 

 

 

② LLMを用いた多様なセンサデータのマルチモーダル学習

画像やテキストだけでなく、環境に配置された多様なセンサを用いて、マルチモーダルなデータから人物の行動を解析する手法を研究しています。新たに導入されるセンサのデータを既存のモダリティのデータと組み合わせて、プロンプトなどを介して簡単に扱えるようにするためのマルチモーダル学習技術を研究しています。

 

 

 

③ LLM、センシング技術を活用した自律移動広告ロボット

リテールテック(小売)でよい購買体験を提供するためのロボティクス技術の基盤研究に取り組んでいます。自律移動ロボットにおけるLLMを活用した情報提示・インタラクション技術、屋内センシングによる環境理解技術、公共スペースにおける環境・販促活動に適したナビゲーション技術を研究しています。

 

 

 

 

▼実環境を手軽にシミュレータ環境に持ってくるpointcloud2gazebo


 

研究領域

機械学習 / コンピュータビジョン / ロボティクス / ユビキタスコンピューティング

所属メンバー

米谷 竜

Ryo Yonetani

研究領域: 機械学習

吉村 康弘

Yasuhiro Yoshimura

研究領域: Computer Vision, Robotics

関井 大気

Taiki Sekii

研究領域: Computer Vision

大内 啓樹

Hiroki Ouchi

研究領域: 自然言語処理

江口 僚

Ryo Eguchi

研究領域: Ubiquitous Computing, Human Sensing, Haptics

石毛 真修

Mashu Ishige

研究領域: センシング

石田 岳志

Takeshi Ishita

研究領域: 自己位置推定