MiniELM: A Lightweight and Adaptive Query Rewriting Framework for E-Commerce Search Optimization

生成日: 2026-05-24 02:20

# MiniELM: A Lightweight and Adaptive Query Rewriting Framework for E-Commerce Search Optimization

- EC サイトの検索では、利用者の短い、曖昧な、または表記ゆれを含むクエリを、商品カタログに合う検索語へ書き換える必要がある。
- MiniELM は、大きな LLM から小さなモデルへ知識蒸留し、その後に LLM による模擬ユーザーフィードバックで online Direct Policy Optimization（DPO）を行う query rewriting 手法である。
- Amazon ESCI データセットで、関連性、多様性、クリック・カート追加・購入の模擬指標が改善し、Product Coverage でも既存手法を上回った。

## Abstract（日本語訳）

Query rewriting（QR）は、EC 検索において重要な技術であり、利用者のクエリと商品説明のあいだの語彙のずれを扱うことで検索性能を高める。既存の QR 手法は、典型的には識別モデルと、大規模言語モデル（LLM）を用いる生成手法の二つに分かれる。識別モデルは自然言語理解に弱く、書き換えの柔軟性も限られることが多い。一方、生成型 LLM は高品質な書き換えを生成できるものの、オンライン環境では推論レイテンシとコストが高い。この制約により、生成型 LLM はオフラインでの運用を余儀なくされ、情報の陳腐化や意味のずれといった問題に弱くなる。これらの課題を克服するため、本論文は、効率と有効性の均衡をとる新しい QR のハイブリッドパイプラインを提案する。提案手法は、オフラインの知識蒸留によって軽量だが効率のよい student model を作り、オンラインの強化学習（RL）によってリアルタイムのフィードバックを用いて query rewriting を動的に改善する。主要な工夫は、LLM を模擬的な人間フィードバックとして用いる点にあり、手作業のアノテーションなしに、スケール可能な報酬信号と低コストな評価を可能にする。Amazon ESCI データセットでの実験結果は、クエリ関連性、多様性、適応性における有意な改善と、LLM シミュレーションからの肯定的なフィードバックを示した。本研究は、ドメイン固有の応用における LLM の能力を前進させるものであり、動的で複雑な EC 検索環境に対する堅牢な解法を提供する。

## 論文の面白いところ

この論文の要点は、LLM を直接検索の本番経路に置かず、LLM の言語能力を小さな query rewriting model に移す点にある。EC 検索ではレイテンシが実用上の制約になりやすく、巨大なモデルを毎回呼び出す設計は扱いにくい。そこで著者らは、まずオフラインで teacher model から student model へ知識蒸留し、低コストに動く MiniELM を得る。さらに、商品カタログや利用者の嗜好が変わるという EC 特有の事情に対し、オンライン段階で DPO により書き換え方を更新する。評価にも工夫があり、正解の書き換えを一つに固定せず、書き換え後のクエリで返る商品リストを見て関連性や多様性を測る。クリック、カート追加、購入のような行動は、Llama-3.1-8B-Instruct を judge model として使い、模擬ユーザーのプロフィールと商品リストから推定する。人手評価を完全に置き換えられるというより、人手を大量に必要とする状況を避けるための近似として位置づけられる。検索ログ、商品情報、LLM judge を組み合わせた実務寄りの設計であり、研究用の query rewriting を本番システムに近づけようとしている点が読みどころである。

## 問題設定

EC 検索の query rewriting は、利用者が入力したクエリを、同じ意図を保ったまま検索しやすい別表現へ変換する課題である。たとえば "dress" は広すぎる一方、"boho maxi dress" や "red evening gown" は利用者の意図をより強く含む。商品カタログ側の記述は販売者やカテゴリによって揺れるため、検索語と商品説明がそのまま一致するとは限らない。従来の識別的な手法は、あらかじめ用意された書き換え候補や類義語、検索ログに頼るため、ロングテールのクエリや新しい商品トレンドに弱い。生成型 LLM は文脈に応じて柔軟な書き換えを作れるが、推論コストと応答時間の点でオンライン検索に載せにくい。人気クエリだけを事前に書き換えてキャッシュする方法もあるが、カタログや利用者行動が変わると古くなる。さらに、query rewriting には唯一の正解が存在しないため、通常の教師あり学習だけでは評価しにくい。著者らは、元のクエリと書き換え後のクエリが返す商品リストを比較し、関連性、多様性、模擬的な利用者反応を使って良さを測る設定を採る。

## 提案手法

MiniELM は、オフライン学習とオンライン学習の二段階からなる。オフライン段階では、Amazon ESCI データセットの query-product-relevance 三つ組から query-to-query（Q2Q）データセットを作る。具体的には、同じ関連商品に結びつくクエリ同士を候補ペアとし、Llama 3.3 70B で意味的な同等性を確認してから学習データに入れる。この Q2Q データで teacher model と student model を supervised fine-tuning し、その後に reverse Kullback-Leibler divergence を用いる知識蒸留で teacher の分布を student に移す。これにより、大きな LLM が持つ言語能力を保ちつつ、検索経路で使いやすい軽量な model を得る。オンライン段階では、MiniELM が生成した書き換え候補に対し、検索エンジンが返す商品リストを用いて報酬を計算する。関連性は BERT 系の判定モデルで query-product 関係を評価し、多様性は元のクエリで返った商品リストとの差分から測る。クリック、カート追加、購入は、模擬ユーザープロフィールと商品リストを LLM judge に与えて推定する。これらの信号から選好ペアを作り、online DPO によって、より良い書き換えを選びやすい方へ MiniELM を更新する。

## 結果

実験は Amazon ESCI の英語データを中心に行われた。オフライン段階では、GPT-2 系と Llama 系の両方で、supervised fine-tuning により過度に長い書き換えが短くなり、参照クエリとの一致や ROUGE-L が改善した。知識蒸留は student model と teacher model の差を縮め、軽量モデルでも query rewriting の性質を保てることを示した。オンライン段階では、1,000 iteration の DPO 更新を行い、50 step ごとに評価している。Llama 系 MiniELM では、関連性が 0.663 から 0.707、多様性が 0.769 から 0.810 に上がった。GPT-2 系でも、関連性が 0.569 から 0.654、多様性が 0.693 から 0.753 に改善した。模擬クリック、カート追加、購入の各スコアも、両系統で一貫して上昇している。既存手法との比較では、Product Coverage が supervised baseline の 111、RLQR の 145 に対し、MiniELM は 171 であり、baseline 比で 54.1% の gain と報告されている。ただし、オンライン反応の多くは LLM による模擬評価であり、実ユーザー行動を用いた検証は今後の課題として残る。

## 具体例

利用者が "red necklace" と入力した場合を考える。このクエリは短く、色と商品種別は分かるが、検索システムが返す商品は広くなりやすい。MiniELM はまず "red necklaces" や "necklaces in red" のように、元の意図を保った表現へ書き換える。オンライン学習が進むと、論文中の例では "red necklace for women" や "affordable red necklaces for women" のように、一般的だが検索結果を絞りやすい語を加える方向へ変化する。検索エンジンは書き換え後のクエリで商品リストを返し、MiniELM 側では、そのリストが元の "red necklace" という意図から外れていないか、また元の検索より多様な関連商品を出しているかを測る。模擬ユーザーが価格に敏感でカジュアルなアクセサリを好むプロフィールなら、LLM judge は低価格帯の赤いネックレスをクリックまたはカート追加しやすいと評価する。期待される出力は、赤いネックレスを中心に、女性向けや手頃な価格帯などの補助的な条件を含む検索語である。間違えやすい点は、補助語を加えすぎて "red jewelry gift for women luxury set" のように、利用者が求めていないカテゴリや価格帯へ寄せてしまうことである。このため MiniELM は、多様性だけでなく、元クエリとの関連性も報酬に含めている。

MiniELM: A Lightweight and Adaptive Query Rewriting Framework for E-Commerce Search Optimization

EC サイトの検索では、利用者の短い、曖昧な、または表記ゆれを含むクエリを、商品カタログに合う検索語へ書き換える必要がある。
MiniELM は、大きな LLM から小さなモデルへ知識蒸留し、その後に LLM による模擬ユーザーフィードバックで online Direct Policy Optimization（DPO）を行う query rewriting 手法である。
Amazon ESCI データセットで、関連性、多様性、クリック・カート追加・購入の模擬指標が改善し、Product Coverage でも既存手法を上回った。

Abstract（日本語訳）

Query rewriting（QR）は、EC 検索において重要な技術であり、利用者のクエリと商品説明のあいだの語彙のずれを扱うことで検索性能を高める。既存の QR 手法は、典型的には識別モデルと、大規模言語モデル（LLM）を用いる生成手法の二つに分かれる。識別モデルは自然言語理解に弱く、書き換えの柔軟性も限られることが多い。一方、生成型 LLM は高品質な書き換えを生成できるものの、オンライン環境では推論レイテンシとコストが高い。この制約により、生成型 LLM はオフラインでの運用を余儀なくされ、情報の陳腐化や意味のずれといった問題に弱くなる。これらの課題を克服するため、本論文は、効率と有効性の均衡をとる新しい QR のハイブリッドパイプラインを提案する。提案手法は、オフラインの知識蒸留によって軽量だが効率のよい student model を作り、オンラインの強化学習（RL）によってリアルタイムのフィードバックを用いて query rewriting を動的に改善する。主要な工夫は、LLM を模擬的な人間フィードバックとして用いる点にあり、手作業のアノテーションなしに、スケール可能な報酬信号と低コストな評価を可能にする。Amazon ESCI データセットでの実験結果は、クエリ関連性、多様性、適応性における有意な改善と、LLM シミュレーションからの肯定的なフィードバックを示した。本研究は、ドメイン固有の応用における LLM の能力を前進させるものであり、動的で複雑な EC 検索環境に対する堅牢な解法を提供する。

論文の面白いところ

この論文の要点は、LLM を直接検索の本番経路に置かず、LLM の言語能力を小さな query rewriting model に移す点にある。EC 検索ではレイテンシが実用上の制約になりやすく、巨大なモデルを毎回呼び出す設計は扱いにくい。そこで著者らは、まずオフラインで teacher model から student model へ知識蒸留し、低コストに動く MiniELM を得る。さらに、商品カタログや利用者の嗜好が変わるという EC 特有の事情に対し、オンライン段階で DPO により書き換え方を更新する。評価にも工夫があり、正解の書き換えを一つに固定せず、書き換え後のクエリで返る商品リストを見て関連性や多様性を測る。クリック、カート追加、購入のような行動は、Llama-3.1-8B-Instruct を judge model として使い、模擬ユーザーのプロフィールと商品リストから推定する。人手評価を完全に置き換えられるというより、人手を大量に必要とする状況を避けるための近似として位置づけられる。検索ログ、商品情報、LLM judge を組み合わせた実務寄りの設計であり、研究用の query rewriting を本番システムに近づけようとしている点が読みどころである。

問題設定

EC 検索の query rewriting は、利用者が入力したクエリを、同じ意図を保ったまま検索しやすい別表現へ変換する課題である。たとえば "dress" は広すぎる一方、"boho maxi dress" や "red evening gown" は利用者の意図をより強く含む。商品カタログ側の記述は販売者やカテゴリによって揺れるため、検索語と商品説明がそのまま一致するとは限らない。従来の識別的な手法は、あらかじめ用意された書き換え候補や類義語、検索ログに頼るため、ロングテールのクエリや新しい商品トレンドに弱い。生成型 LLM は文脈に応じて柔軟な書き換えを作れるが、推論コストと応答時間の点でオンライン検索に載せにくい。人気クエリだけを事前に書き換えてキャッシュする方法もあるが、カタログや利用者行動が変わると古くなる。さらに、query rewriting には唯一の正解が存在しないため、通常の教師あり学習だけでは評価しにくい。著者らは、元のクエリと書き換え後のクエリが返す商品リストを比較し、関連性、多様性、模擬的な利用者反応を使って良さを測る設定を採る。

提案手法

MiniELM は、オフライン学習とオンライン学習の二段階からなる。オフライン段階では、Amazon ESCI データセットの query-product-relevance 三つ組から query-to-query（Q2Q）データセットを作る。具体的には、同じ関連商品に結びつくクエリ同士を候補ペアとし、Llama 3.3 70B で意味的な同等性を確認してから学習データに入れる。この Q2Q データで teacher model と student model を supervised fine-tuning し、その後に reverse Kullback-Leibler divergence を用いる知識蒸留で teacher の分布を student に移す。これにより、大きな LLM が持つ言語能力を保ちつつ、検索経路で使いやすい軽量な model を得る。オンライン段階では、MiniELM が生成した書き換え候補に対し、検索エンジンが返す商品リストを用いて報酬を計算する。関連性は BERT 系の判定モデルで query-product 関係を評価し、多様性は元のクエリで返った商品リストとの差分から測る。クリック、カート追加、購入は、模擬ユーザープロフィールと商品リストを LLM judge に与えて推定する。これらの信号から選好ペアを作り、online DPO によって、より良い書き換えを選びやすい方へ MiniELM を更新する。

結果

実験は Amazon ESCI の英語データを中心に行われた。オフライン段階では、GPT-2 系と Llama 系の両方で、supervised fine-tuning により過度に長い書き換えが短くなり、参照クエリとの一致や ROUGE-L が改善した。知識蒸留は student model と teacher model の差を縮め、軽量モデルでも query rewriting の性質を保てることを示した。オンライン段階では、1,000 iteration の DPO 更新を行い、50 step ごとに評価している。Llama 系 MiniELM では、関連性が 0.663 から 0.707、多様性が 0.769 から 0.810 に上がった。GPT-2 系でも、関連性が 0.569 から 0.654、多様性が 0.693 から 0.753 に改善した。模擬クリック、カート追加、購入の各スコアも、両系統で一貫して上昇している。既存手法との比較では、Product Coverage が supervised baseline の 111、RLQR の 145 に対し、MiniELM は 171 であり、baseline 比で 54.1% の gain と報告されている。ただし、オンライン反応の多くは LLM による模擬評価であり、実ユーザー行動を用いた検証は今後の課題として残る。

具体例

利用者が "red necklace" と入力した場合を考える。このクエリは短く、色と商品種別は分かるが、検索システムが返す商品は広くなりやすい。MiniELM はまず "red necklaces" や "necklaces in red" のように、元の意図を保った表現へ書き換える。オンライン学習が進むと、論文中の例では "red necklace for women" や "affordable red necklaces for women" のように、一般的だが検索結果を絞りやすい語を加える方向へ変化する。検索エンジンは書き換え後のクエリで商品リストを返し、MiniELM 側では、そのリストが元の "red necklace" という意図から外れていないか、また元の検索より多様な関連商品を出しているかを測る。模擬ユーザーが価格に敏感でカジュアルなアクセサリを好むプロフィールなら、LLM judge は低価格帯の赤いネックレスをクリックまたはカート追加しやすいと評価する。期待される出力は、赤いネックレスを中心に、女性向けや手頃な価格帯などの補助的な条件を含む検索語である。間違えやすい点は、補助語を加えすぎて "red jewelry gift for women luxury set" のように、利用者が求めていないカテゴリや価格帯へ寄せてしまうことである。このため MiniELM は、多様性だけでなく、元クエリとの関連性も報酬に含めている。