AI Lab

Research

  Interactive Agent

Interactive Agent

研究テーマ

対話エージェント 自動対話技術 HCI

チームミッション

HCI（ヒューマン・コンピュータ・インタラクション）の実応用を目指した研究開発に取り組んでいます。その中でも特に、デジタルマーケティングにおける次世代の広告媒体として、「ヒトが信頼したくなる対話エージェント」による接客対話技術に関する応用研究を中心に進めています。自律型・遠隔型の接客対話エージェントの研究、マルチモーダル対話基盤の開発、ユーザの状態推定、新しい広告・接客メディアの発明、AIと人間のインタラクションの理解・設計・評価、などの複合的な領域の研究に挑戦しています。実際の店舗などのフィールドでの実証実験を通して、人々のリアルな反応やフィードバックから、ヒトが心から信頼したくなる・ヒトが行動を変えてしまうインタラクションの本質的な要素について研究しています。
Interactive Agentでは、2017年4月に開設した大阪大学との先端知能システム共同研究講座を中心に、学術貢献を主の目的とするAgent Researchと、社会実装を主の目的とするAgent Developmentの2チームによって構成されています。2つのチームが密にコミュニケーションを取りながら研究開発を進めることで、社会に価値をもたらす研究成果を創出することを目指しています。

 

研究チームでは現在、大きく3つの方針に沿った研究開発を実施しています。
・自律対話エージェントを用いた社会実装のための技術発明
・新しい広告・接客メディアの発明
・AIと人間のインタラクションの理解・設計・評価

 

研究プロジェクト例

 

自律対話ロボット：EscortAI

企業が顧客との対話で使える顧客対話AIの研究開発を進めています。店舗やSNSなどサービス空間で顧客が従業員との対話を強く求めるのは「顧客が不安定な心理状況に置かれている時」です。どう進めればよいか分からない、自分で解決しようとするができない、よくわからないので利用しない、という状況こそ、「その人の事情の理解・配慮」と「その事情に適した手続きの提供」が必要です。そのために、映像や音声から様々な方々の事情を高速にセンシングする技術、不安でいっぱいの顧客を待たせないように高速に応答する技術、大量センシング情報から今行うべき行動の決定をする技術に取り組み、そうした技術を入れた「Escort AI」 プラットフォーム開発に取り組んでいます。
関連サイト：https://research.cyberagent.ai/escort-ai/

 

 

自律対話ロボット：声かけインタラクション

新しいサービスを提供する上で、人に話を聞いてもらうことは非常に重要ですが、通常の人の声かけでは数％程度しか立ち止まって話を聞いてもらえません。ロボットは人間と比べて受け入れられやすい特性を持つため、話しかけられる不快感などを軽減しながら、通行人に目的の行動を起こしてもらえる可能性があります。「通行人の行動の認識・予測」とそれに応じた「通行人の注意を惹き付けるインタラクション設計」技術を研究しています。

 

 

自律対話ロボット：ホテルロボット

ホテル業務では、宿泊者に対するおもてなし感の醸成がサービスを提供する上で主要な側面のひとつです。10時間以上の時間を過ごすホテルにおいて、ロボットが利用客と調和的に関わり合うことで、ロボットにしかできないおもてなし感とはどういうものか、人間社会におけるロボットの人間への関わり方とは何かを研究しています。本研究は、東急不動産グループ様のご協力のもと実施しています。

 

 

自律遠隔ハイブリッド型対話ロボット：Sota100

自律対話を社会実装するためには、それらを管理・制御・監視するオペレータが必要不可欠です。そこで、ムーンショット研究開発型事業における実社会実証実験グループの1プロジェクトとして、小型ロボット ”Sota” 100台を目標に、多数のロボットを実フィールドに設置し、遠隔からアバターとしてサービス提供を実施する探索型実証実験プロジェクトを進めています。商業施設や教育施設、公共交通機関等で実証実験を行い、自律遠隔ハイブリッド型アバターロボットによりどのようなサービスが提供可能かを模索しながら、実際のフィールドでどのような課題があるのかを調査しています。

 


 

 

遠隔操作ロボット：販売促進インタラクション

人とコミュニケーションができるソーシャルロボットの研究が進んでおり、ロボットの活用方法の1つとして実店舗での販売促進が期待されています。ロボットによる販売促進事例は増加している一方、ロボットを通じた売り上げの向上やリピーターの獲得を実現するには、解決しなければならない課題はまだたくさん存在します。そのため、我々はいろいろな実店舗に遠隔操作ロボットを設置し、通行人への声かけや店舗に来た顧客への商品推薦を行うことで、販売数への影響と、ロボットの発話内容や映像データから顧客の行動を分析しています。目標は、有効な販促インタラクションの設計に関して深く理解した上で、自律販促ロボットを設計することです。

 

 

 

遠隔操作ロボット：なりきり接客

接客業務に遠隔操作ロボットを活用する際、遠隔操作者はロボットになりきって発話することが求められますが、特別な訓練なしに行うことは容易ではありません。そこで、変換音声フィードバック（発話音声の音響的特徴を変換し、その変調音声をヘッドホンなどで発話者に聴かせてフィードバックする手法）によって遠隔操作者の「ロボットへのなりきり」を技術的に支援するアプローチを提案しました。約2ヶ月間のフィールド実験で、接客用ロボットの遠隔操作インタフェースにリアルタイム変換音声フィードバックを導入し、その有効性を検証しました。

 

 

自己推薦ロボット

自己推薦ロボットは、販売促進や商品認知に繋がる全く新しいプロモーション手法として開発されました。当社はこれまで、デジタルサイネージやアプリを活用したリテールメディアの構築をはじめ、小売企業のDXを支援し、デジタルマーケティングの知見を活かした店舗集客や販売促進施策に注力してまいりました。
実証実験では、スーパーマーケット、ドラッグストア、コンビニエンスストア、大型雑貨店など、さまざまな店舗で実施され、幅広い種類の商品を対象に行われました。その結果、来店客の立ち止まり率が2.14倍、販売率が6.67倍増加した事例や、棚前の滞在時間が1.22倍、商品の手に取り率が1.81倍増加し、販売率が2.37倍に増加した事例が確認され、効果と有効性が証明されています。

 

 

新しい広告・接客メディアの発明

広告メディアの課題を解決するためには、消費者の購買行動を理解し、それに基づいた最適なメディアを開発することが求められます。この課題に取り組むため、私たちは新しい広告メディアの研究を進めています。 これまでに、エージェントを搭載したショッピングカートや、文字やイラストが物理的に消滅・出現する「Popping Up Poster」といったシステムを提案し、実店舗での検証も行ってきました。また、2024年から商品棚の値札部分に設置するシェルフサイネージにエージェントを登場させ、様々な商品を推薦する「Tag Beans」の開発にも取り組んでいます。今後は、これらの消費者行動データの蓄積・分析を進めながら、さらに新しい広告メディアの可能性を探求していきます。

 


 

 

AIと人間のインタラクション理解・設計・評価

AIとユーザがインタラクションを行う状況の理解、設計、および評価の研究を行います。具体的には、AIが実社会において持続的に・人間中心的に活用されることに焦点を置き、そのための幅広い現象の理解・評価と、理解に基づく応用提案の研究に取り組んでいます。特に、対話エージェントや、LLMを含む生成AIを活用したUIなどのインタラクティブなシステムを対象とし、技術をより有用で・使いやすく・望ましいものにするためのユーザ中心設計の提案から、既存のインタラクティブシステムを対象としたユーザ体験の多角的な評価、インタラクションのコンテクストやユーザを理解することに主眼を置いた質的研究まで、幅広い対象・アプローチの研究に取り組んでいます。

研究領域

HCI / HRI / インタラクション / 対話システム / 機械学習 / 画像処理 / 自然言語処理

所属メンバー

馬場 惇

Jun Baba

研究領域: Human Computer Interaction

詳細を見る

岡藤 勇希

Yuki Okafuji

研究領域: Human Robot Interaction、ヒューマンモデリング

詳細を見る

岩本 拓也

Takuya Iwamoto

研究領域: Human Computer Interaction

詳細を見る

宋 思超

Song Sichao

研究領域: Human Computer Interaction、Human Robot Interaction

詳細を見る

小川 奈美

Nami Ogawa

研究領域: Virtual Reality, Human Computer Interaction

詳細を見る

三好 遼

Ryo Miyoshi

研究領域: Computer Vision、Human Sensing

詳細を見る

兵頭 亮哉

Hyodo Katsuya

研究領域: MLモデルチューニング、EdgeAI

詳細を見る

大平 義輝

Ohira Yoshiki

研究領域: Human Computer Interaction

詳細を見る

星牟禮 健也

Kenya Hoshimure

研究領域: Human Computer Interaction、Human Interface

詳細を見る

論文一覧

Contact