Research
Activity Understanding
研究テーマ
実世界AIサービスのための人物行動理解とロボティクス
チームミッション
Activity Understandingチームでは、実世界においてAIサービスを実現するための基盤研究に取り組んでいます。小売・医療など、実世界が現場となる領域でAIを活用するためには、複雑に変化する環境のなかで人々の多様な行動を計測・理解し、AIによって生成された情報を適切に伝達する技術が必要です。また、人々の日常生活と密接に関わる技術は、個人とそのプライバシーを尊重し、社会的に受け入れられる形であることが不可欠です。本チームは機械学習やコンピュータビジョン、ロボティクス、ユビキタスコンピューティング、データマイニングなど複数分野からの多角的なアプローチによって、このような技術の創出と実世界AIサービスへの還元を目指します。
プロジェクト
① IMUを用いた人物行動計測
スマートフォン等のモバイルデバイスに搭載されたIMU(慣性計測ユニット)を活用し、カメラシステムの導入が難しい環境において人物の移動や注視といった行動を計測する手法を研究しています。モダンなニューラルネットワークの学習に基づくニューラル慣性測位と、環境の物理的・意味的制約に基づく最適化によって、人物の移動を高精度に計測できる手法を開発しました。
② LLMを用いた多様なセンサデータのマルチモーダル学習
画像やテキストだけでなく、環境に配置された多様なセンサを用いて、マルチモーダルなデータから人物の行動を解析する手法を研究しています。新たに導入されるセンサのデータを既存のモダリティのデータと組み合わせて、プロンプトなどを介して簡単に扱えるようにするためのマルチモーダル学習技術を研究しています。
③ LLM、センシング技術を活用した自律移動広告ロボット
リテールテック(小売)でよい購買体験を提供するためのロボティクス技術の基盤研究に取り組んでいます。自律移動ロボットにおけるLLMを活用した情報提示・インタラクション技術、屋内センシングによる環境理解技術、公共スペースにおける環境・販促活動に適したナビゲーション技術を研究しています。
▼実環境を手軽にシミュレータ環境に持ってくるpointcloud2gazebo
研究領域
機械学習 / コンピュータビジョン / ロボティクス / ユビキタスコンピューティング
所属メンバー
論文一覧
-
SkeletonChain: 時系列骨格情報を通じたモダリティ共通文埋め込みのマルチモーダル学習
ヒューマンセンシング
MIRU 2024
-
オプトインカメラ:UWBデバイスを用いた位置推定に基づく映像中の人物同定とオプトインシステムへの応用
ヒューマンセンシング
MIRU 2024
-
Flashback機構を用いたTransformersとMambaのメモリ効率化と高速化
自然言語処理
MIRU 2024
-
Text2Traj2Text: Learning-by-Synthesis Framework for Contextual Captioning of Human Movement Trajectories
大規模言語モデル
INLG 2024
-
CXSimulator: A User Behavior Simulation using Large Language Models for Web-Marketing Campaign Assessment
大規模言語モデル
CIKM 2024
-
RetailOpt: Opt-In, Easy-to-Deploy Trajectory Estimation from Smartphone Motion Data and Retail Facility Information
ヒューマンセンシング
ISWC 2024
-
Path Planning using Language-Guided Probabilistic Roadmaps
ロボティクス
MIRU 2024
-
Text2Traj2Text: 大規模言語モデルを活用した段階的データ生成に基づく人物移動軌跡の言語化
自然言語処理
言語処理学会 第30回年次大会
-
フロアプラン情報を手掛かりとした最適化に基づくNeural Inertial Localization
ヒューマンセンシング
MIRU 2023