AI Lab

People

  Academic Relations Category 石黒 浩 教授

大阪大学

石黒 浩 教授

対話エージェント ロボット接客技術

【共同研究講座発足の目的】

大阪大学とサイバーエージェントの協力体制のもと、ロボット及びエージェントに関する技術に関して、先端研究の産業応用を展開することを目的として大阪大学基礎工学研究科教授 石黒浩氏と2017年4月に先端知能システム（サイバーエージェント）共同研究講座を発足しました。
近年、人と人の対話を自動化する手段として、ロボットやチャットボットなどの対話エージェントの活用が盛んになっており様々なサービスが増えています。その中で、当社では「人との対話を通じて調和的に接客・集客・推薦ができる対話エージェント」の活用が、企業のマーケティング活動の中で今後重要になると考えており、対話接客の研究を進めております。このような背景のもと、AI Lab  Interactive Agentチームでは、人と社会において調和的に関わることができる、ロボットなどの対話エージェントの実現に向けた基礎技術の確立および、人の持つ対話能力に関する科学的な知見の獲得を目指し研究を進めています。

【研究プロジェクト紹介】

① アバターロボットを用いた遠隔対話技術の研究開発
② 長時間の滞在を支援する自律対話技術の研究開発（東急不動産HDとの共同プロジェクト）
③ 声かけロボットにおける人の注意を惹きつけ対話を開始する技術の開発
④ 自己推薦エージェント
⑤エージェンシをもったショッピングカートシステム
⑥対話エージェントの対話相手や周辺環境の状況認識技術の開発
⑦リアルタイム音声変換
⑧完全選択式チャットボットによる商品推薦
⑨カスタマサポート支援のための「怒り感情」制御技術

＜研究プロジェクト詳細＞

① アバターロボットを用いた遠隔対話技術の研究開発
労働力人口の減少や都市への人口集中が問題になっている現代において、時間や場所の制約を受けずにサービス業務に従事できることが必要不可欠な社会になります。そこで私たちは、働きたい人が時間や場所に縛られずにどこからでも、インターネットにつながる自分のPCやタブレットを使って、ロボットを通して接客業務に従事することのできる遠隔対話ロボットシステムを開発しています。
操作者が簡単にロボットを操作できるだけではなく、操作者の能力を拡張して高い価値を発揮できる仕組みや、受け入れられやすいロボットの存在感・表現力を最大限活用し、誰でも遠隔から接客できるプラットフォームの研究を進めています。
また、2020年9月からは内閣府が主導するムーンショット研究開発型事業において、誰もが自在に活躍できるアバター共生社会の実現を目指し、石黒浩教授がプロジェクトマネージャーとして遠隔接客の研究開発を推進しています。私たちもそのプロジェクトに参画し、様々な企業・フィールド（小売店舗・アミューズメント施設・保育教育施設・公共交通機関 等）と連携し実証実験を実施しています。
これまでに実施した「遠隔対話ロボットで働く」をテーマにした3つの実証プロジェクトに関する研究結果は下記からご確認いただけます。

▼実証実験レポート
https://drive.google.com/file/d/1uy4-5dTDjcPcFc2zsxPYVFz0HEieUUU-/view


プレスリリース：
・AI Lab、コロナ禍におけるロボット接客の可能性を調査　ムーンショット型研究開発事業の一環である遠隔対話ロボットの調査結果を公開 ー大阪大学大学院基礎工学研究科 石黒浩教授とともにオンライン報告会を開催ー
・AI Lab、遠隔接客ロボットで「大型モニター付きDX自動販売機」の利用促進へ ー大阪大学大学院基礎工学研究科・株式会社PRENOとともに実証実験を実施ー
・AI Lab、ロボットによる次世代サービスの実現に向け3つのフィールドで実証プロジェクトを始動 ー自律と遠隔のハイブリットで1人5体のロボット接客を実施、人間の能力拡張の可能性を模索ー

② 長時間の滞在を支援する自律対話技術の研究開発（東急不動産HDとの共同プロジェクト）
ホテル業務では、宿泊者に対するおもてなし感の醸成がサービス提適切供の主要な側面のひとつです。10時間以上の時間を過ごすホテルにおいて、ロボットが利用客と調和的に関わり合うことで、ロボットにしかできないおもてなし感とはどういうものか、人間社会におけるロボットの人間への関わり方とは何かを研究しています。また、その長時間にわたる対話可能なシーンにおいて、破綻なく自律的に会話・サービス提供ができる対話システムの研究開発を進めています。本研究は、東急不動産グループ様のご協力のもと実施しています。


 


 


 

プレスリリース：

・人工知能技術の研究開発組織「AI Lab」、大阪大学 石黒教授との共同研究 講座にて、東急不動産ホールディングスとの実証実験を実施　～ 新しい「おもてなし」と新しい「広告媒体」の実現へ〜
・AI Lab、ロボティクス分野のトップカンファレンス「IROS」にて共著論文採択 ‐人型ロボット vs スマートスピーカー、ホテル居室でのおもてなし勝負を考察 ‐
・AI Lab 接客対話エージェントチームから共著論文を含む３件が「RO-MAN2021」に採択されました

発表論文：

  • Junya Nakanishi, Itaru Kuramoto, Jun Baba, Yuichiro Yoshikawa, Kohei Ogawa, Hiroshi Ishiguro, “Can a Humanoid Robot Engage in Heartwarming Interaction Service at a Hotel?”, International Conference on Human-Agent Interaction (HAI 2018), pp.45-53, 2018.[PAPER]
  • Junya Nakanishi, Jun Baba, Itaru Kuramoto, “How to Enhance Social Robots’ Heartwarming Interaction in Service Encounters”, 7th annual International Conference on Human-Agent Interaction (HAI 2019), Kyoto, Japan, October, 2019. Best Poster Award[PAPER]
  • Junya Nakanishi, Itaru Kuramoto, Jun Baba, Yuichiro Yoshikawa, Kohei Ogawa, Hiroshi Ishiguro, “Soliloquizing Social Robot in a Hotel Room”, 31st Australian Conference on Human-Computer-Interaction (ozCHI’19), Perth/Fremantle, Western Australia, Australia, December, 2019.[PAPER]
  • Junya Nakanishi, Jun Baba, Itaru Kuramoto, Kohei Ogawa, Yuichiro Yoshikawa, Hiroshi Ishiguro, “Smart Speaker vs. Social Robot in a Case of Hotel Room”, International Conference on Intelligent Robots and Systems (IROS’20), Las Vegas, USA, October 2020.[PAPER]
  • Junya Nakanishi, Itaru Kuramoto, Jun Baba, Kohei Ogawa, Yuichiro Yoshikawa, Hiroshi Ishiguro, “Continuous Hospitality with Social Robots at a Hotel”, SN Applied Sciences, Vol. 2, No. 3, pp. 1-13, 2020.[PAPER]
  • Junya Nakanishi, Tomohisa Hazama, Jun Baba, Sichao Song, Yuichiro Yoshikawa, Hiroshi Ishiguro, “Exploring Possibilities of Social Robot’s Interactive Services in the Case of a Hotel Room”, 30th IEEE International Conference on Robot & Human Interactive Communication (RO-MAN), Online, August 2021.[PAPER]


③ 声かけロボットにおける人の注意を惹きつけ対話を開始する技術の開発
新しいサービスを提供する上で、人を立ち止まらせて話を聞いてもらうことは非常に重要です。しかし、通常の人による声かけでは数％程度しか立ち止まってもらえないことが知られています。ロボットは人間と比べて受け入れられやすい特性を持つため、話しかけられる不快感などを軽減しながら、通行人に目的の行動を起こしてもらえる可能性があります。ロボットの前を通るより多くの通行人に立ち止まって話を聞いてもらうために、「通行人の行動の認識・予測」とそれに応じた「通行人の注意を惹き付ける行動生成・インタラクション設計」技術を研究しています。

 


プレスリリース：

・ロボットが案内すると商品の売上がアップ!?AI Lab、大阪南港の複合商業施設ATCで ロボットによる接客・広告の実証実験を実施　~大阪大学・立命館大学との共同研究グループにて7/16より実験開始~
・AI Lab、ロボット同士の会話が通行人の行動変化や購買促進につながるかを検証ーイオンモール草津にて、ロボットの協調対話に関する実証を実施ー

発表論文：

  • Yuki Okafuji, Jun Baba, Junya Nakanishi, “Face-to-Face contact method for humanoid robots using face position prediction” ACM/IEEE International Conference on Human-Robot Interaction (HRI2019), Daegu, Korea, March, 2019.[PAPER]
  • Yuki Okafuji, Yasunori Ozaki, Jun Baba, Asano Kitahara, Junya Nakanishi, Kohei Ogawa, Yuichiro Yoshikawa, Hiroshi Ishiguro, “Please Listen to Me: How to Make Passersby Stop by a Humanoid Robot in a Shopping Mall,” HRI (LBR), 2020[PAPER]
  • Yuki Okafuji, Yasunori Ozaki, Jun Baba, Junya Nakanishi, Kohei Ogawa, Yuichiro Yoshikawa, Hiroshi Ishiguro, “Behavioral assessment of a humanoid robot when attracting pedestrians in a mall,” arXiv, 2021[PAPER]
  • Yuki Tamaru, Yasunori Ozaki, Yuki Okafuji, Jun Baba, Junya Nakanishi, Yuichiro Yoshikawa, “3D Head-Position Prediction in First-Person View by Considering Head Pose for Human-Robot Eye Contact,” arXiv, 2021[PAPER]


④ 自己推薦エージェント
これまでの商品推薦とは異なる新しい推薦手法として、商品がエージェントとなり、商品自身が自らを推薦する「自己推薦」技術の研究を進めています。通常の他者（販売員・対話エージェント）による商品推薦は、推薦者・商品・利用客、の3者で構成されますが、「自己推薦」は商品が推薦者となることで、推薦者（商品）・利用客、の2者構造になることで、利用客の注意を商品に惹きつけ続けられる効果が期待できます。実際の商業フィールドにおける実証実験に重点を置き、実用化を目指した研究開発を推進しています。

発表論文：

  • 原拓也, 馬場惇, 岩本拓也「商品主体推薦：客が選んだ商品による他商品の推薦システム」JSAI2021[PAPER]
  • Takuya Iwamoto, Jun Baba, Junya Nakanish, Daisuke Endo,Taishi Unokuchi,Kohtaro Nishi,Yuichiro Yoshikawa, and Hiroshi Ishiguro, ”The Effectiveness of Self-Recommending Agents in Advancing Purchase Behavior Steps in Retail Marketing” HAI2021, Outstanding Award受賞[PAPER]


⑤ エージェンシをもったショッピングカートシステム
スーパーマーケットなどで使用されているショッピングカートにエージェンシを付与することで、ユーザの買い物のサポートを行うシステムです。エージェンシを持ったカートからの推薦は、持たない条件よりも、人は推薦を受け入れる傾向がありました。また買い物をしている間にそばにいることができるため、これまでのエージェントに比べ、長いインタラクションを実施することが可能です。

発表論文：

  • Ryosuke Takada, Kenya Hoshimure, Takuya Iwamoto and Jun Baba, “POP Cart: Product Recommendation System by an Agent on a Shopping Cart” RO-MAN 2021[PAPER]


⑥対話エージェントの対話相手や周辺環境の状況認識技術の開発
対話エージェントが実環境において人と対話するためには、対話相手や環境の状況を認識し、その情報を元に対話を構成する必要があります。そのために、私たちは対話相手の行動や属性、環境内で起きたイベントを認識するための状況認識技術の開発を進めています。対話エージェントの振る舞いを状況によって変えるために、様々なカメラやセンサの入力から人の三次元位置情報や性別・年代などの属性を認識する技術、人をリアルタイムにトラッキングしそれぞれの行動・対話履歴を把握する技術の研究を行っています。

⑦リアルタイム音声変換
対話エージェントを利用した遠隔接客のパフォーマンスにおいて、話者の声質は重要な要素です。遠隔にいる接客者の音声をリアルタイムに変換し、対話エージェントの表現力を向上させる感情音声変換の研究を行っています。マイクからの音声入力を低遅延・高品質に変換しリアルタイムに出力する技術の実現を目指しています。



 

発表論文：

  • Zhaojie Luo, Rui Liu, Shuyun Tang, Jun Baba, Yuichiro Yoshikawa, Hiroshi Ishiguro,
    “CONTINUOUS WAVELET TRANSFORM BASED HYBRID FILTERING FOR REAL-TIME EMOTIONAL VOICE CONVERSION’’ [PROJECT PAGE]
  • High tension emotional voice data for sale conversation. [PROJECT PAGE]


⑧完全選択式チャットボットによる商品推薦
どの商品を買うべきか迷った際に、相談できる相手がいると安心したり買うモチベーションにつながることがあります。そうした相談ができる相手としてチャットボットは信頼してもらえるか、それを明らかにするために、4℃ブランドを展開するFDCプロダクツ様にご協力いただき、4℃オンラインショップにてチャットボットがジュエリープレゼントとしてのを推薦する実証実験を行いました。

 

書籍：

  • ゼロからわかる人工知能 仕事編 (ニュートン別冊)「AIと小売業」「接客AI」, 2018/12/17
  • ニュートン式 超図解 最強に面白い!! 人工知能 仕事編 (ニュートン式超図解 最強に面白い!!) （監修：松原仁）「お店ではたらく三つのAI（p.90）」「気配りのできるAIの開発が進む（p.94）」, 2020/7/31
  • ゼロからわかる人工知能 仕事編 増補第2版 (ニュートン別冊)「AIと小売業」「接客AI」, 2020/11/17

⑨カスタマサポート支援のための「怒り感情」制御技術
カスタマーサポートなどの感情労働での利用は、テキストチャットの広がりに比べ進んでいるとは言えません。特に技術の低い人が感情労働に携わると、強い心的プレッシャーを受けるなどの問題が起こりやすいことが推察されます。そこで、テキストチャットにおける対話時の「怒り感情」を制御するために、エージェントを対話へ介入させる手法を提案しました。

プレスリリース：

人工知能技術の研究開発組織「AI Lab」、大阪大学 石黒教授との共同研究講座にて、「チャットボットによる話者感情制御」に関する特許を共同出願　~チャットボットがクレーム対応をサポートする時代へ~


発表論文：
Itaru Kuramoto, Jun Baba, Kohei Ogawa, Yuichiro Yoshikawa, Takayuki Kawabata, Hiroshi Ishiguro
“Conversational Agents to Suppress Customer Anger in Text-based Customer-support Conversations”
International Conference on Human-Agent Interaction (HAI 2018), pp.114-121, 2018.[PAPER]

【研究実績】

＜査読付き国際会議 Conference papers＞

  • Yuki Okafuji, Jun Baba, Junya Nakanishi, Joichiro Amada, Yuichiro Yoshikawa, Hiroshi Ishiguro,
    “Persuasion Strategies for Social Robot to Keep Humans Accepting Daily Different Recommendations,”
    IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Online, September 2021.
  • Ryosuke Takada, Kenya Hoshimure, Takuya Iwamoto, Jun Baba,
    “POP Cart: Product Recommendation System by an Agent on a Shopping Cart”
    30th IEEE International Conference on Robot & Human Interactive Communication (RO-MAN), Online, August 2021.
  • Joichiro Amada, Yuki Okafuji, Takahiro Wada, Jun Baba, Junya Nakanishi, Yuichiro Yoshikawa,
    “Behavioral Changes in Passersby by Expanding Embodiment of a Calling Robot,”
    IEEE International Conference on Robot & Human Interactive Communication (RO-MAN), Online, August 2021.
  • Junya Nakanishi, Tomohisa Hazama, Jun Baba, Sichao Song, Yuichiro Yoshikawa, Hiroshi Ishiguro
    “Exploring Possibilities of Social Robot’s Interactive Services in the Case of a Hotel Room”
    30th IEEE International Conference on Robot & Human Interactive Communication (RO-MAN), Online, August 2021.
  • Shoufeng Lin, Zhaojie Luo
    “Far-field Speaker Localization and Adaptive GLMB Tracking”
    INTERSPEECH 2021: preprint, Brno, Czechia, September 2021.
  • Junya Nakanishi, Jun Baba, Itaru Kuramoto, Kohei Ogawa, Yuichiro Yoshikawa, Hiroshi Ishiguro
    “Smart Speaker vs. Social Robot in a Case of Hotel Room”
    International Conference on Intelligent Robots and Systems (IROS’20), Las Vegas, USA, October 2020.
  • Zexu Pan, Zhaojie Luo, Jichen Yang, Haizhou Li
    Multi-Modal Attention for Speech Emotion Recognition.
    INTERSPEECH 2020: 364-368, Shanghai, China, October, 2020.
  • Jun Baba, Song Sichao, Junya Nakanishi, Itaru Kuramoto, Kohei Ogawa, Yuichiro Yoshikawa, and Hiroshi Ishiguro
    Teleoperated Robot Acting Autonomous for Better Customer Satisfaction.
    In Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems Extended Abstracts (CHI ’20). New York, USA, 2020.
  • Junya Nakanishi, Itaru Kuramoto, Jun Baba, Yuichiro Yoshikawa, Kohei Ogawa, Hiroshi Ishiguro
    “Soliloquizing Social Robot in a Hotel Room”
    31st Australian Conference on Human-Computer-Interaction (ozCHI’19), Perth/Fremantle, Western Australia, Australia, December, 2019.
  • Itaru Kuramoto, Jun Baba, Kohei Ogawa, Yuichiro Yoshikawa, Takayuki Kawabata, Hiroshi Ishiguro
    “Conversational Agents to Suppress Customer Anger in Text-based Customer-support Conversations”
    International Conference on Human-Agent Interaction (HAI 2018), pp.114-121, 2018.
  • Junya Nakanishi, Itaru Kuramoto, Jun Baba, Yuichiro Yoshikawa, Kohei Ogawa, Hiroshi Ishiguro
    “Can a Humanoid Robot Engage in Heartwarming Interaction Service at a Hotel?”
    International Conference on Human-Agent Interaction (HAI 2018), pp.45-53, 2018.

＜国内会議・研究会論文＞

  • “テキストチャットによるクレーム対応における話者の怒り感情を抑制する対話エージェント”
    倉本 到，馬場 惇，小川 浩平，吉川 雄一郎，川端 貴幸，石黒 浩 (2018)．
    研究報告ヒューマンコンピュータインタラクション（HCI），情報処理学会，Vol. 2018-HCI-176, No. 6, pp.1-8. 2018/1/22, 沖縄大学．
  • “意思決定時の自己決定感を維持向上させるためのエージェント間対話の周辺提示による情報推薦”
    前田 健太郎，中西 惇也，馬場 惇，倉本 到，小川 浩平，吉川 雄一郎，石黒 浩(2018)．
    ロボティクス・メカトロニクス講演会2018，日本機械学会 ロボティクス・メカトロニクス部門，2A1-C14. 2018/6/5, 北九州市．
  • “意思決定時の自己決定感向上のためのエージェント間対話による推薦情報の周辺提示”
    前田 健太郎，中西 惇也，馬場 惇，倉本 到，小川 浩平，吉川 雄一郎，石黒 浩(2018)．
    研究報告ヒューマンコンピュータインタラクション（HCI），情報処理学会，Vol. 2019-HCI-181, No.11, pp.1-8. 2019/1/21, 石垣市．
  • “ヒューマノイドロボットのための顔位置予測を用いた人の顔追従制御”
    岡藤勇希，​馬場惇，中西惇也，倉本到(2019)．
    HAIシンポジウム2018，発表予定，2019/3/8, 専修大学．（発表賞）
  • “いじめ仲裁を促進する発話者を装うチャットボット”
    植田智之，中西惇也，倉本到，馬場惇，吉川雄一郎，小川浩平，石黒浩，
    研究報告ヒューマンコンピュータインタラクション（HCI），Vol. 2019-HCI-184，No.16，pp.1-8，2019/7/22，北海道大学.

＜Journals＞

＜特許＞

  • ［取得済］チャットシステム、サーバ、チャット方法、端末装置およびコンピュータプログラム、特許6563466、2017/11/30 出願、2019/8/2 登録
  • ［取得済］自己推薦、制御システム、制御装置、制御方法及びコンピュータプログラム、特許2020-030607、2020/02/26 出願、2021/06/16登録
  • ［出願中］情報送信システム、情報送信装置、情報送信方法及びコンピュータプログラム．特願2018-105581，2018/5/31 出願．
  • ［出願中］制御システム、端末装置、制御方法及びコンピュータプログラム．特願2019-189797，2019/10/16 出願．
  • ［出願中］制御システム、制御装置、制御方法、情報生成方法及びコンピュータプログラム．特願2019-217244，2019/11/29 出願．
  • ［出願中］制御システム、制御装置、制御方法及びコンピュータプログラム（Ｊ３５６７９Ａ１）、特願2021-047331、2020/07/01 出願
  • ［出願中］制御システム、制御方法及びプログラム、特願2021-165790、2021/10/11 出願

【関連リンク】

先端知能システム共同研究講座(大阪大学 大学院基礎工学研究科＋サイバーエージェント)

http://www.frontier.sangaku.es.osaka-u.ac.jp/

Contact