Untitled

生成日: 2026-05-24 02:20

# Untitled
Show or Tell? Modeling the evolution of request-making in Human-LLM conversations
著者: Shengqi Zhu, Jeffrey M. Rzeszotarski, David Mimno
会議: Findings of the Association for Computational Linguistics: EACL 2026
URL: https://aclanthology.org/2026.findings-eacl.265/

どんな論文か

LLMチャットで「人が何を頼んでいるか」ではなく、「どう頼んでいるか」を見る論文です。多くの利用ログ分析は、翻訳、要約、コード生成といったタスクの中身に寄りがちですが、この論文はその手前の言い方に注目します。たとえば「この記事を要約して」とだけ言うのか、長い背景を貼ってから条件を足すのか、「専門家として」と役割を指定するのか、という違いです。

提案している ReCCRE は、ユーザー入力を Request Content、Context、Role、Expression の4つに分ける枠組みです。Request Content は実際にやってほしいこと、Context は処理対象の文章や背景情報、Role はLLMに任せる役割、Expression はそれ以外の言い回しです。この分解によって、タスク内容に引っ張られずに、依頼文そのものの癖を分析できます。

狙いはわりと実務的です。LLMを使い慣れるにつれて、人はプロンプトの書き方を変えるのか。人間同士の依頼文と、LLMへの依頼文はどれくらい違うのか。そうした問いを、WildChat由来の実利用ログで追っています。

何を調べたか

- WildChat から初回ユーザー入力 317,373 件を集め、スパムやリクエストでない入力を除いた 211,414 件の依頼文を ReCCRE として分析した。
- 対象ユーザーは 18,964 人。期間は 2023年4月から2024年5月で、gpt-3.5-turbo と gpt-4 系の計6バージョンにまたがる。
- 長期的な変化を見るため、14日以上の利用期間があり、少なくとも10個の対話を開始した 2,092 人、59,175 件を「long-term users」として別に分析した。
- アノテーションは、人手、gpt-4o-2024-08-06、Qwen2.5-14B-Instruct を使った review-and-revise パイプラインで作成した。3回のループで大きいモデルと小さいモデルの一致率は 57%、79%、87% まで上がり、最終的な不正フォーマット出力は 0.5% 未満だった。
- 表現タイプは 11 種類に整理した。単純な [R]、[R] と [C] の組み合わせ、Role 指定、会話的な “Can you help me...” 型などを分けている。
- 比較対象として Stanford Politeness Datasets の Wikipedia 編集者会話と StackExchange 会話を使い、人間同士の依頼文とLLMへの依頼文を比べた。
- 表現の埋め込みには gte-large-en-v1.5、2次元可視化には PaCMAP を使った。語彙の多様性は Moving-Average Type-Token Ratio や MTLD で見ている。
- ユーザー内の時系列変化は、各入力と直近 k 件の入力との埋め込み距離で測り、同じユーザーの対話順をシャッフルした 50 回のランダム試行と比較した。

主な結果

まず、人間がLLMに頼む言い方は、人間同士の依頼文とはかなり違っていました。ReCCRE の入力は、依頼を包むためのタスク非依存な表現が少なく、語彙の多様性も低い。これは単に「Write an article about jogging.」のような命令形が多いから、というだけではありません。会話的な入力だけに絞っても差が残るため、LLM相手には別の依頼スタイルが育っている、と見るのが自然です。

長期ユーザーの変化もはっきり出ています。最初の依頼では、1つの Request だけ、または短い Request の連結が多い。一方で20回目あたりになると、Context を一緒に入れる依頼が増えます。つまり、使い始めは「言って頼む」寄りで、慣れてくると資料や条件を「見せて頼む」方向に寄っていく、というのがこの論文タイトルの “Show or Tell?” です。

個人内でも、依頼の書き方はだんだん収束します。各入力と直近の入力を比べると、実際の時系列では距離が継続的に下がり、シャッフルしたベースラインとは違う動きになります。特に k=1、つまり直前の依頼との比較で差が大きく、ユーザーは最近うまく使った書き方をかなり参照しているようです。

ポイント

面白いのは、プロンプトを「タスク」ではなく「社会的な言語行動」として見ているところです。LLM利用ログを見るとき、つい「何をやらせたか」に目が行きます。でも実際には、「どれくらい説明するか」「役割を与えるか」「会話っぽく頼むか」「ただ命令を書くか」も、システムの見え方やユーザーの慣れをかなり反映しています。

実務上は、プロンプト支援やUI設計に効きそうです。初心者が短い依頼だけ投げて失敗しがちなら、システム側が自然にContext追加を促す余地があります。逆に、熟練ユーザーが自分なりの型に収束するなら、その型を壊さずに補助する設計のほうがよさそうです。アラインメントや学習データ作成でも、Request、Context、Role、Expression を分けて扱えるのは便利です。

注意点もあります。データは WildChat に基づいていて、主に英語ログで、収集UIやユーザー層の偏りも受けます。分析も gte 埋め込みや語彙多様性のような比較的シンプルな指標が中心です。だから「すべてのLLM利用者がこうなる」と言うにはまだ早い。ただ、LLMへの頼み方が時間とともに変わる、という現象を大規模ログでかなりきれいに切り出した点は強いです。

一言でいうと、LLM利用者は慣れるほど、ただ命令するよりも文脈を渡して頼むようになり、しかも自分なりの頼み方に落ち着いていく、という論文です。

Untitled

Show or Tell? Modeling the evolution of request-making in Human-LLM conversations 著者: Shengqi Zhu, Jeffrey M. Rzeszotarski, David Mimno 会議: Findings of the Association for Computational Linguistics: EACL 2026 URL: https://aclanthology.org/2026.findings-eacl.265/

どんな論文か

LLMチャットで「人が何を頼んでいるか」ではなく、「どう頼んでいるか」を見る論文です。多くの利用ログ分析は、翻訳、要約、コード生成といったタスクの中身に寄りがちですが、この論文はその手前の言い方に注目します。たとえば「この記事を要約して」とだけ言うのか、長い背景を貼ってから条件を足すのか、「専門家として」と役割を指定するのか、という違いです。

提案している ReCCRE は、ユーザー入力を Request Content、Context、Role、Expression の4つに分ける枠組みです。Request Content は実際にやってほしいこと、Context は処理対象の文章や背景情報、Role はLLMに任せる役割、Expression はそれ以外の言い回しです。この分解によって、タスク内容に引っ張られずに、依頼文そのものの癖を分析できます。

狙いはわりと実務的です。LLMを使い慣れるにつれて、人はプロンプトの書き方を変えるのか。人間同士の依頼文と、LLMへの依頼文はどれくらい違うのか。そうした問いを、WildChat由来の実利用ログで追っています。

何を調べたか

WildChat から初回ユーザー入力 317,373 件を集め、スパムやリクエストでない入力を除いた 211,414 件の依頼文を ReCCRE として分析した。
対象ユーザーは 18,964 人。期間は 2023年4月から2024年5月で、gpt-3.5-turbo と gpt-4 系の計6バージョンにまたがる。
長期的な変化を見るため、14日以上の利用期間があり、少なくとも10個の対話を開始した 2,092 人、59,175 件を「long-term users」として別に分析した。
アノテーションは、人手、gpt-4o-2024-08-06、Qwen2.5-14B-Instruct を使った review-and-revise パイプラインで作成した。3回のループで大きいモデルと小さいモデルの一致率は 57%、79%、87% まで上がり、最終的な不正フォーマット出力は 0.5% 未満だった。
表現タイプは 11 種類に整理した。単純な [R]、[R] と [C] の組み合わせ、Role 指定、会話的な “Can you help me...” 型などを分けている。
比較対象として Stanford Politeness Datasets の Wikipedia 編集者会話と StackExchange 会話を使い、人間同士の依頼文とLLMへの依頼文を比べた。
表現の埋め込みには gte-large-en-v1.5、2次元可視化には PaCMAP を使った。語彙の多様性は Moving-Average Type-Token Ratio や MTLD で見ている。
ユーザー内の時系列変化は、各入力と直近 k 件の入力との埋め込み距離で測り、同じユーザーの対話順をシャッフルした 50 回のランダム試行と比較した。

主な結果

まず、人間がLLMに頼む言い方は、人間同士の依頼文とはかなり違っていました。ReCCRE の入力は、依頼を包むためのタスク非依存な表現が少なく、語彙の多様性も低い。これは単に「Write an article about jogging.」のような命令形が多いから、というだけではありません。会話的な入力だけに絞っても差が残るため、LLM相手には別の依頼スタイルが育っている、と見るのが自然です。

長期ユーザーの変化もはっきり出ています。最初の依頼では、1つの Request だけ、または短い Request の連結が多い。一方で20回目あたりになると、Context を一緒に入れる依頼が増えます。つまり、使い始めは「言って頼む」寄りで、慣れてくると資料や条件を「見せて頼む」方向に寄っていく、というのがこの論文タイトルの “Show or Tell?” です。

個人内でも、依頼の書き方はだんだん収束します。各入力と直近の入力を比べると、実際の時系列では距離が継続的に下がり、シャッフルしたベースラインとは違う動きになります。特に k=1、つまり直前の依頼との比較で差が大きく、ユーザーは最近うまく使った書き方をかなり参照しているようです。

ポイント

面白いのは、プロンプトを「タスク」ではなく「社会的な言語行動」として見ているところです。LLM利用ログを見るとき、つい「何をやらせたか」に目が行きます。でも実際には、「どれくらい説明するか」「役割を与えるか」「会話っぽく頼むか」「ただ命令を書くか」も、システムの見え方やユーザーの慣れをかなり反映しています。

実務上は、プロンプト支援やUI設計に効きそうです。初心者が短い依頼だけ投げて失敗しがちなら、システム側が自然にContext追加を促す余地があります。逆に、熟練ユーザーが自分なりの型に収束するなら、その型を壊さずに補助する設計のほうがよさそうです。アラインメントや学習データ作成でも、Request、Context、Role、Expression を分けて扱えるのは便利です。

注意点もあります。データは WildChat に基づいていて、主に英語ログで、収集UIやユーザー層の偏りも受けます。分析も gte 埋め込みや語彙多様性のような比較的シンプルな指標が中心です。だから「すべてのLLM利用者がこうなる」と言うにはまだ早い。ただ、LLMへの頼み方が時間とともに変わる、という現象を大規模ログでかなりきれいに切り出した点は強いです。

一言でいうと、LLM利用者は慣れるほど、ただ命令するよりも文脈を渡して頼むようになり、しかも自分なりの頼み方に落ち着いていく、という論文です。