Sleepless Nights, Sugary Days: Creating Synthetic Users with Health Conditions for Realistic Coaching Agent Interactions

生成日: 2026-05-24 02:20

# Sleepless Nights, Sugary Days: Creating Synthetic Users with Health Conditions for Realistic Coaching Agent Interactions

- 健康・生活習慣コーチング用の対話エージェントを評価するため、実データに根ざした synthetic user を作る枠組みを示す。
- 睡眠と糖尿病管理を題材に、人口統計だけでなく、健康状態、行動特性、心理特性、生活上の障壁を vignette として組み込む。
- 専門家評価では、人口統計だけから作る利用者像よりも、実際のユーザーらしい困りごとを一貫して会話に表すことが確認された。

## Abstract（日本語訳）

本論文は、健康・生活習慣コーチングなど、望ましい行動変容を促す対話型エージェントを評価するための synthetic user を生成する end-to-end の枠組みを提示する。本研究では、健康コーチングエージェントとのやり取りを現実に近づけるため、synthetic user を健康および生活習慣上の状態、具体的には睡眠と糖尿病管理に基づかせる。synthetic user は二段階で作成される。第一に、基本的な人口統計情報と行動属性に加えて、現実世界の健康・生活習慣要因に基づく構造化データを生成する。第二に、その構造化データを条件として、synthetic user の完全なプロフィールを作成する。synthetic user とコーチングエージェントのやり取りは、Concordia のような生成的エージェントベースモデルを用いるか、あるいは言語モデルへ直接プロンプトを与えることでシミュレートされる。睡眠コーチングと糖尿病コーチングのために独立に開発された二つのエージェントを事例として用い、コーチングエージェントが synthetic user のニーズと課題をどのように理解するかを分析することで、この枠組みの妥当性を示す。最後に、ユーザーとコーチのやり取りに対する人間の専門家による複数のブラインド評価を通じて、健康および行動属性を持つ本研究の synthetic user は、そのような属性に基づかない一般的な synthetic user と比べ、同じ属性を持つ実際の人間ユーザーをより正確に表現することを示す。提案する枠組みは、大規模で現実的かつ根拠づけられたシミュレーション対話を通じて、対話エージェントを効率よく開発するための基盤を与える。

## 論文の面白いところ

この論文の主眼は、LLM に「患者らしく振る舞って」と頼むだけでは、健康コーチングの評価には足りないという点にある。健康相談や生活習慣支援では、同じ年齢や性別の人でも、仕事、家族、睡眠のばらつき、自己効力感、費用、周囲の支援の有無によって会話の中身が変わる。著者らは、その差を synthetic user のプロフィールに明示的に入れ、会話の評価対象にする。対象も診断そのものではなく、睡眠改善や糖尿病管理のような日常的な行動変容であるため、エージェント開発の現場に近い。既存の synthetic persona 研究は人口統計や性格特性に寄ることが多いが、この研究は健康データと行動科学の分類を合わせている。とくに糖尿病の実験では、COM-B model に基づく障壁を使い、利用者が自分では専門用語を使わなくても、会話の中でその障壁が表れるかを見ている。ここが実用上重要である。実際の利用者は「反省的動機づけが低い」とは言わず、「忙しくて昼食を用意できない」「始め方が分からない」と話すからである。エージェントがこのような発話から利用者の課題を読めるかを、実ユーザーを大量に集めずに試せる点に意義がある。

## 問題設定

健康・生活習慣コーチングの対話エージェントは、利用者ごとの事情を聞き取り、実行できる目標を一緒に作る必要がある。ところが、その評価を実ユーザーとの長期対話だけに頼ると、費用、時間、倫理面の負担が大きい。一般的な LLM ベースの synthetic user は便利だが、学習データや instruction tuning の影響で、現実の利用者より協力的で、説明が整いすぎるおそれがある。また、人口統計だけを与えると、健康状態や生活上の障壁の分布が不明なまま生成される。睡眠の問題なら、睡眠時間の平均だけでなく、睡眠時間のばらつきや寝室環境、仕事上の制約が会話に出る。糖尿病管理なら、食事、費用、家族、職場、体力、気分、知識不足などが行動を左右する。本論文は、こうした要因を実データから synthetic user に持たせ、コーチングエージェントとの対話でそれが一貫して表れるかを評価する問題を扱う。目的は、医学的診断の代替ではなく、対話エージェントを開発・検査するための現実的な相手役を作ることである。

## 提案手法

提案手法は、実ユーザー由来の属性から自然言語の vignette を作り、それを synthetic user の背景として対話シミュレーションに使う枠組みである。vignette とは、年齢や性別のような基本情報に加え、健康状態、生活習慣、行動特性、心理特性、目標、障壁を短い人物像としてまとめたものである。睡眠の実験では LifeSnaps データセットを用い、年齢、性別、Body Mass Index（BMI）、睡眠時間、睡眠効率、睡眠時間のばらつき、Big Five の性格指標から 68 人分の synthetic user を作った。さらに「主な睡眠の悩み」「睡眠目標」「目標の理由」「障壁」を生成し、Concordia 上の SimpleLLMAgent として会話させた。睡眠コーチングエージェントは Talker と Reasoner からなる構成で、Reasoner が内部のユーザーモデルを更新し、Talker が応答を作る。糖尿病の実験では Project Baseline Health Study（PBHS）から 2 型糖尿病の 345 人を抽出し、人口統計、社会環境、臨床測定、自己申告された困難を利用した。行動変容を説明する COM-B model に沿って 21 種類の障壁を用意し、各 synthetic user がその障壁を自然な会話で示すように backstory と発話スタイルを生成した。糖尿病の vignette では、障壁の専門用語を直接入れないようにしている。これは、実際の利用者が自分の状態を分類名で語るとは限らないためである。

## 結果

睡眠コーチングでは、68 人の synthetic user がコーチングエージェントと 10 ターン対話した。エージェントの内部ユーザーモデルと、あらかじめ割り当てた真の sleep profile を比べると、主な睡眠の悩みは 89.7% の精度で一致した。複数項目からなる障壁については平均 recall が 71.4%、平均 precision が 72.5% であった。睡眠目標では平均 recall が 66.4%、平均 precision が 84.2% であった。別の backend として Gemma 2 IT 27B を用いた場合は、Gemini 1.5 Pro より全体に低い値となり、synthetic user 側の生成モデルも評価品質に影響することが示された。睡眠領域の専門家評価では、健康・行動・心理属性を含む full synthetic user が、人口統計だけの synthetic user より強く選好された。糖尿病コーチングでは、専門家 3 名が 25 件の対話を確認し、synthetic user が指定された障壁を示しているという評価は 100% に達した。会話が vignette と整合しているか、コーチの障壁診断が妥当かについても高い評価が得られた。人口統計だけの baseline と比べると、full synthetic user は元の障壁を正しく示す点で 70% 対 13% と大きく上回った。一方で、情報量そのものについては baseline がやや選ばれる場面もあり、現実らしさと情報の多さは同じではないことも示している。

## 具体例

たとえば、2 型糖尿病を持つ 31 歳の利用者がいるとする。この人は仕事と育児で忙しく、HbA1c と血糖値を気にしており、昼食を健康的にしたいと思っている。しかし前夜に買い物や弁当の準備をする時間がなく、結局、昼にファストフードを選んでしまう。提案手法では、このような背景を PBHS の属性と COM-B の障壁に基づく vignette として作る。synthetic user は、対話の中で「何を食べればよいかは分かるが、朝は子どもの支度で余裕がない」「職場の近くでは安くて早い選択肢が限られる」といった発話をする。コーチングエージェントは、その発話から、単なる知識不足ではなく、準備時間や環境上の制約、優先順位の衝突が問題であると推定することが期待される。望ましい出力は、一般的な食事指導ではなく、前日に一品だけ準備する、買いやすい昼食候補を決めておく、家族の予定に合わせて実行しやすい目標を立てる、といった具体的な支援である。間違えやすいのは、利用者が「やる気がない」と短絡する場合である。この論文の枠組みは、そのような誤りを、実ユーザーを大量に集める前にシミュレーションで見つけるための道具として使える。

Sleepless Nights, Sugary Days: Creating Synthetic Users with Health Conditions for Realistic Coaching Agent Interactions

健康・生活習慣コーチング用の対話エージェントを評価するため、実データに根ざした synthetic user を作る枠組みを示す。
睡眠と糖尿病管理を題材に、人口統計だけでなく、健康状態、行動特性、心理特性、生活上の障壁を vignette として組み込む。
専門家評価では、人口統計だけから作る利用者像よりも、実際のユーザーらしい困りごとを一貫して会話に表すことが確認された。

Abstract（日本語訳）

本論文は、健康・生活習慣コーチングなど、望ましい行動変容を促す対話型エージェントを評価するための synthetic user を生成する end-to-end の枠組みを提示する。本研究では、健康コーチングエージェントとのやり取りを現実に近づけるため、synthetic user を健康および生活習慣上の状態、具体的には睡眠と糖尿病管理に基づかせる。synthetic user は二段階で作成される。第一に、基本的な人口統計情報と行動属性に加えて、現実世界の健康・生活習慣要因に基づく構造化データを生成する。第二に、その構造化データを条件として、synthetic user の完全なプロフィールを作成する。synthetic user とコーチングエージェントのやり取りは、Concordia のような生成的エージェントベースモデルを用いるか、あるいは言語モデルへ直接プロンプトを与えることでシミュレートされる。睡眠コーチングと糖尿病コーチングのために独立に開発された二つのエージェントを事例として用い、コーチングエージェントが synthetic user のニーズと課題をどのように理解するかを分析することで、この枠組みの妥当性を示す。最後に、ユーザーとコーチのやり取りに対する人間の専門家による複数のブラインド評価を通じて、健康および行動属性を持つ本研究の synthetic user は、そのような属性に基づかない一般的な synthetic user と比べ、同じ属性を持つ実際の人間ユーザーをより正確に表現することを示す。提案する枠組みは、大規模で現実的かつ根拠づけられたシミュレーション対話を通じて、対話エージェントを効率よく開発するための基盤を与える。

論文の面白いところ

この論文の主眼は、LLM に「患者らしく振る舞って」と頼むだけでは、健康コーチングの評価には足りないという点にある。健康相談や生活習慣支援では、同じ年齢や性別の人でも、仕事、家族、睡眠のばらつき、自己効力感、費用、周囲の支援の有無によって会話の中身が変わる。著者らは、その差を synthetic user のプロフィールに明示的に入れ、会話の評価対象にする。対象も診断そのものではなく、睡眠改善や糖尿病管理のような日常的な行動変容であるため、エージェント開発の現場に近い。既存の synthetic persona 研究は人口統計や性格特性に寄ることが多いが、この研究は健康データと行動科学の分類を合わせている。とくに糖尿病の実験では、COM-B model に基づく障壁を使い、利用者が自分では専門用語を使わなくても、会話の中でその障壁が表れるかを見ている。ここが実用上重要である。実際の利用者は「反省的動機づけが低い」とは言わず、「忙しくて昼食を用意できない」「始め方が分からない」と話すからである。エージェントがこのような発話から利用者の課題を読めるかを、実ユーザーを大量に集めずに試せる点に意義がある。

問題設定

健康・生活習慣コーチングの対話エージェントは、利用者ごとの事情を聞き取り、実行できる目標を一緒に作る必要がある。ところが、その評価を実ユーザーとの長期対話だけに頼ると、費用、時間、倫理面の負担が大きい。一般的な LLM ベースの synthetic user は便利だが、学習データや instruction tuning の影響で、現実の利用者より協力的で、説明が整いすぎるおそれがある。また、人口統計だけを与えると、健康状態や生活上の障壁の分布が不明なまま生成される。睡眠の問題なら、睡眠時間の平均だけでなく、睡眠時間のばらつきや寝室環境、仕事上の制約が会話に出る。糖尿病管理なら、食事、費用、家族、職場、体力、気分、知識不足などが行動を左右する。本論文は、こうした要因を実データから synthetic user に持たせ、コーチングエージェントとの対話でそれが一貫して表れるかを評価する問題を扱う。目的は、医学的診断の代替ではなく、対話エージェントを開発・検査するための現実的な相手役を作ることである。

提案手法

提案手法は、実ユーザー由来の属性から自然言語の vignette を作り、それを synthetic user の背景として対話シミュレーションに使う枠組みである。vignette とは、年齢や性別のような基本情報に加え、健康状態、生活習慣、行動特性、心理特性、目標、障壁を短い人物像としてまとめたものである。睡眠の実験では LifeSnaps データセットを用い、年齢、性別、Body Mass Index（BMI）、睡眠時間、睡眠効率、睡眠時間のばらつき、Big Five の性格指標から 68 人分の synthetic user を作った。さらに「主な睡眠の悩み」「睡眠目標」「目標の理由」「障壁」を生成し、Concordia 上の SimpleLLMAgent として会話させた。睡眠コーチングエージェントは Talker と Reasoner からなる構成で、Reasoner が内部のユーザーモデルを更新し、Talker が応答を作る。糖尿病の実験では Project Baseline Health Study（PBHS）から 2 型糖尿病の 345 人を抽出し、人口統計、社会環境、臨床測定、自己申告された困難を利用した。行動変容を説明する COM-B model に沿って 21 種類の障壁を用意し、各 synthetic user がその障壁を自然な会話で示すように backstory と発話スタイルを生成した。糖尿病の vignette では、障壁の専門用語を直接入れないようにしている。これは、実際の利用者が自分の状態を分類名で語るとは限らないためである。

結果

睡眠コーチングでは、68 人の synthetic user がコーチングエージェントと 10 ターン対話した。エージェントの内部ユーザーモデルと、あらかじめ割り当てた真の sleep profile を比べると、主な睡眠の悩みは 89.7% の精度で一致した。複数項目からなる障壁については平均 recall が 71.4%、平均 precision が 72.5% であった。睡眠目標では平均 recall が 66.4%、平均 precision が 84.2% であった。別の backend として Gemma 2 IT 27B を用いた場合は、Gemini 1.5 Pro より全体に低い値となり、synthetic user 側の生成モデルも評価品質に影響することが示された。睡眠領域の専門家評価では、健康・行動・心理属性を含む full synthetic user が、人口統計だけの synthetic user より強く選好された。糖尿病コーチングでは、専門家 3 名が 25 件の対話を確認し、synthetic user が指定された障壁を示しているという評価は 100% に達した。会話が vignette と整合しているか、コーチの障壁診断が妥当かについても高い評価が得られた。人口統計だけの baseline と比べると、full synthetic user は元の障壁を正しく示す点で 70% 対 13% と大きく上回った。一方で、情報量そのものについては baseline がやや選ばれる場面もあり、現実らしさと情報の多さは同じではないことも示している。

具体例

たとえば、2 型糖尿病を持つ 31 歳の利用者がいるとする。この人は仕事と育児で忙しく、HbA1c と血糖値を気にしており、昼食を健康的にしたいと思っている。しかし前夜に買い物や弁当の準備をする時間がなく、結局、昼にファストフードを選んでしまう。提案手法では、このような背景を PBHS の属性と COM-B の障壁に基づく vignette として作る。synthetic user は、対話の中で「何を食べればよいかは分かるが、朝は子どもの支度で余裕がない」「職場の近くでは安くて早い選択肢が限られる」といった発話をする。コーチングエージェントは、その発話から、単なる知識不足ではなく、準備時間や環境上の制約、優先順位の衝突が問題であると推定することが期待される。望ましい出力は、一般的な食事指導ではなく、前日に一品だけ準備する、買いやすい昼食候補を決めておく、家族の予定に合わせて実行しやすい目標を立てる、といった具体的な支援である。間違えやすいのは、利用者が「やる気がない」と短絡する場合である。この論文の枠組みは、そのような誤りを、実ユーザーを大量に集める前にシミュレーションで見つけるための道具として使える。