Interpretable Company Similarity with Sparse Autoencoders

生成日: 2026-05-24 02:20

# Interpretable Company Similarity with Sparse Autoencoders

- 企業の類似度を、業種コードや通常の embedding ではなく、Large Language Model (LLM) の内部表現を Sparse Autoencoder (SAE) で分解した特徴から測る研究である。
- SEC の年次報告書から得た企業説明文を Llama 3.1 8B に入力し、SAE 特徴を集約して企業をクラスタリングする。評価には月次リターンのクラスタ内相関と、ペアトレードの Sharpe ratio を用いる。
- SAE 特徴によるクラスタは、SIC、より粗い業種分類、BERT / SBERT / PaLM-gecko embedding のクラスタより高い相関を示し、クラスタを少数の解釈可能な特徴で説明できることも確認している。

## Abstract（日本語訳）

企業間の類似度を決めることは、リスク管理、ヘッジ、ポートフォリオ分散を支える、金融における重要な課題である。実務家はしばしば、類似度を測るために SIC や GICS のようなセクター・業種分類に依存する。前者は米国証券取引委員会（SEC）で用いられ、後者は投資コミュニティで広く用いられている。これらの分類は粒度が粗く、定期的な更新も必要であるため、企業説明文の embedding をクラスタリングする方法が代替案として提案されてきた。しかし、トークン embedding の解釈しにくさは、高い信頼性が求められる文脈での採用に大きな障害となる。Sparse Autoencoder（SAE）は、LLM の活性を解釈可能な特徴に分解することで、LLM の解釈可能性を高める手法として有望性を示している。さらに SAE は、embedding が主として意味的類似度を扱うのに対し、企業説明文に対する LLM の内部表現を捉える。本研究では、SAE を企業説明文に適用し、意味のある株式クラスタを得る。SAE 特徴を、SIC コード、Industry コード、embedding と比較評価する。結果は、SAE 特徴が企業の基礎的な性質を捉える点で、セクター分類と embedding を上回ることを示している。これは、類似度の代理指標である対数月次リターンとの相関がより高いこと、および共和分トレーディング戦略でより高い Sharpe ratio を生むことによって示され、企業間のより深い基礎的類似性を反映している。最後に、クラスタの解釈可能性を検証し、疎な特徴がクラスタに対する単純で解釈可能な説明を構成することを示す。

## 論文の面白いところ

この論文は、LLM の解釈可能性研究で使われてきた SAE を、金融の企業類似度という実務的な問題に移している。企業の類似度は、単に同じ業種かどうかでは決まらない。たとえば同じ小売業でも、収益構造、顧客層、物流、金融サービスへの依存度が異なれば、株価の動きも異なりうる。逆に、業種コードが離れていても、同じ需要要因やサプライチェーンにさらされる企業は似た振る舞いをすることがある。本研究は、このような差を企業説明文から拾うために、LLM の深い層にある内部表現を使う。通常の embedding は便利だが、なぜ二つの企業が近いと判定されたのかを説明しにくい。SAE 特徴は疎であるため、クラスタを形作る少数の特徴に注目できる。この点が、金融のように説明責任を避けにくい領域では意味を持つ。

## 問題設定

対象は、米国上場企業の年次 SEC 報告書に含まれる企業説明文から、企業間の類似度を推定する課題である。従来は SIC や GICS のような業種分類が広く使われるが、これらは離散的で、分類の粒度にも限界がある。新しい事業領域を持つ企業や、複数の事業を横断する企業では、一つのコードだけで実態を表しにくい。リターンの相関をそのまま使う方法もあるが、市場局面や一時的なショックに左右されやすい。著者らは、企業説明文に含まれる事業内容から、より基礎的な類似性を取り出すことを目指す。データは 1996 年から 2020 年までの 27,888 件の SEC 報告書で、企業説明、SIC コード、株式リターンを結びつけている。評価では、同じクラスタに入った企業同士の月次対数リターンの Pearson 相関を測る。さらに、得られたクラスタがペアトレードで有用かどうかを、2014 年から 2020 年のアウトオブサンプル期間で検証する。

## 提案手法

手法の中心は、企業説明文を Llama 3.1 8B に入力し、その残差ストリームを SAE で疎な特徴に分解することである。著者らは EleutherAI の open source SAE を用い、Llama の 30 層目、すなわちモデル深さの約 90% に相当する層から特徴を取り出す。この層を選ぶ理由は、前段の情報が skip connection を通じて集まる一方で、最終層に近すぎると出力 logits に寄った特徴が強くなるためである。各トークンで活性化した SAE 特徴は、文書全体で合計される。これは、ある特徴が企業説明文の中でどれだけ頻繁に、どれだけ強く現れたかを表す量になる。次に、主成分分析（PCA）で次元を落とし、cosine distance に基づく最小全域木（Minimum Spanning Tree; MST）を作る。MST の重い辺をしきい値で切ることで、企業クラスタを得る。比較対象として、BERT、SBERT、PaLM-gecko の embedding に基づくクラスタ、SIC コード、より粗い BISC 分類を置いている。

## 結果

主評価であるクラスタ内の平均リターン相関では、SAE 特徴を用いた GCD が 0.359 を示した。比較対象では、BERT embedding が 0.198、SBERT と PaLM-gecko がそれぞれ 0.219、SIC が 0.231、BISC が 0.187 であった。5 年の rolling lookback でしきい値を選ぶ GCDR では 0.385 と報告され、Appendix では out-of-sample の平均相関が多くの年で 0.30 から 0.46 の範囲に収まる。ペアトレードの backtest でも、GCD の Sharpe ratio は 12.18 で、PaLM-gecko の 10.57 や SIC の 9.70 を上回った。ただし著者らは、Sharpe ratio はしきい値、取引コスト、レジーム変化、標本の有限性に影響されうるため、慎重に読むべきだとしている。解釈可能性については、クラスタの説明に必要な特徴が少数に集中していることを示している。GCD の median cluster では重要特徴は全体の 5% 程度で、GCDR では 1% 程度であった。自動解釈の fuzzing 評価では、複数クラスタで重要になる上位 1% の特徴が GCD で 80%、GCDR で 77% の解釈可能性を示した。

## 具体例

ある年の SEC 報告書に、企業 A は「クラウド型会計ソフトを中小企業へ提供し、サブスクリプション収入を主な売上とする」と書いているとする。企業 B は業種コード上では別の分類に置かれているが、報告書では「給与計算、請求管理、税務申告をオンラインで提供し、月額課金で顧客を維持する」と説明している。通常の業種コードだけを見ると、A と B は近い企業として扱われない可能性がある。提案手法では、それぞれの説明文を Llama に入力し、SAE が「中小企業向け SaaS」「定期課金」「会計・給与処理」のような内部特徴を疎に活性化させる。文書全体でこれらの特徴を合計すると、A と B の特徴ベクトルは似た方向を向きやすくなる。PCA と MST によるクラスタリングでは、この二社が同じクラスタに入ることが期待される。期待される出力は、二社を似た企業群として扱うクラスタ割り当てであり、下流ではペア候補やリスク管理上の比較対象として使える。間違えやすい点は、似た語彙が出ていても、収益源や顧客基盤が異なる場合である。たとえば「クラウド」という語だけで、インフラ事業者と会計 SaaS を近づけると、株価を動かす要因の違いを取り逃がす。

Interpretable Company Similarity with Sparse Autoencoders

企業の類似度を、業種コードや通常の embedding ではなく、Large Language Model (LLM) の内部表現を Sparse Autoencoder (SAE) で分解した特徴から測る研究である。
SEC の年次報告書から得た企業説明文を Llama 3.1 8B に入力し、SAE 特徴を集約して企業をクラスタリングする。評価には月次リターンのクラスタ内相関と、ペアトレードの Sharpe ratio を用いる。
SAE 特徴によるクラスタは、SIC、より粗い業種分類、BERT / SBERT / PaLM-gecko embedding のクラスタより高い相関を示し、クラスタを少数の解釈可能な特徴で説明できることも確認している。

Abstract（日本語訳）

企業間の類似度を決めることは、リスク管理、ヘッジ、ポートフォリオ分散を支える、金融における重要な課題である。実務家はしばしば、類似度を測るために SIC や GICS のようなセクター・業種分類に依存する。前者は米国証券取引委員会（SEC）で用いられ、後者は投資コミュニティで広く用いられている。これらの分類は粒度が粗く、定期的な更新も必要であるため、企業説明文の embedding をクラスタリングする方法が代替案として提案されてきた。しかし、トークン embedding の解釈しにくさは、高い信頼性が求められる文脈での採用に大きな障害となる。Sparse Autoencoder（SAE）は、LLM の活性を解釈可能な特徴に分解することで、LLM の解釈可能性を高める手法として有望性を示している。さらに SAE は、embedding が主として意味的類似度を扱うのに対し、企業説明文に対する LLM の内部表現を捉える。本研究では、SAE を企業説明文に適用し、意味のある株式クラスタを得る。SAE 特徴を、SIC コード、Industry コード、embedding と比較評価する。結果は、SAE 特徴が企業の基礎的な性質を捉える点で、セクター分類と embedding を上回ることを示している。これは、類似度の代理指標である対数月次リターンとの相関がより高いこと、および共和分トレーディング戦略でより高い Sharpe ratio を生むことによって示され、企業間のより深い基礎的類似性を反映している。最後に、クラスタの解釈可能性を検証し、疎な特徴がクラスタに対する単純で解釈可能な説明を構成することを示す。

論文の面白いところ

この論文は、LLM の解釈可能性研究で使われてきた SAE を、金融の企業類似度という実務的な問題に移している。企業の類似度は、単に同じ業種かどうかでは決まらない。たとえば同じ小売業でも、収益構造、顧客層、物流、金融サービスへの依存度が異なれば、株価の動きも異なりうる。逆に、業種コードが離れていても、同じ需要要因やサプライチェーンにさらされる企業は似た振る舞いをすることがある。本研究は、このような差を企業説明文から拾うために、LLM の深い層にある内部表現を使う。通常の embedding は便利だが、なぜ二つの企業が近いと判定されたのかを説明しにくい。SAE 特徴は疎であるため、クラスタを形作る少数の特徴に注目できる。この点が、金融のように説明責任を避けにくい領域では意味を持つ。

問題設定

対象は、米国上場企業の年次 SEC 報告書に含まれる企業説明文から、企業間の類似度を推定する課題である。従来は SIC や GICS のような業種分類が広く使われるが、これらは離散的で、分類の粒度にも限界がある。新しい事業領域を持つ企業や、複数の事業を横断する企業では、一つのコードだけで実態を表しにくい。リターンの相関をそのまま使う方法もあるが、市場局面や一時的なショックに左右されやすい。著者らは、企業説明文に含まれる事業内容から、より基礎的な類似性を取り出すことを目指す。データは 1996 年から 2020 年までの 27,888 件の SEC 報告書で、企業説明、SIC コード、株式リターンを結びつけている。評価では、同じクラスタに入った企業同士の月次対数リターンの Pearson 相関を測る。さらに、得られたクラスタがペアトレードで有用かどうかを、2014 年から 2020 年のアウトオブサンプル期間で検証する。

提案手法

手法の中心は、企業説明文を Llama 3.1 8B に入力し、その残差ストリームを SAE で疎な特徴に分解することである。著者らは EleutherAI の open source SAE を用い、Llama の 30 層目、すなわちモデル深さの約 90% に相当する層から特徴を取り出す。この層を選ぶ理由は、前段の情報が skip connection を通じて集まる一方で、最終層に近すぎると出力 logits に寄った特徴が強くなるためである。各トークンで活性化した SAE 特徴は、文書全体で合計される。これは、ある特徴が企業説明文の中でどれだけ頻繁に、どれだけ強く現れたかを表す量になる。次に、主成分分析（PCA）で次元を落とし、cosine distance に基づく最小全域木（Minimum Spanning Tree; MST）を作る。MST の重い辺をしきい値で切ることで、企業クラスタを得る。比較対象として、BERT、SBERT、PaLM-gecko の embedding に基づくクラスタ、SIC コード、より粗い BISC 分類を置いている。

結果

主評価であるクラスタ内の平均リターン相関では、SAE 特徴を用いた GCD が 0.359 を示した。比較対象では、BERT embedding が 0.198、SBERT と PaLM-gecko がそれぞれ 0.219、SIC が 0.231、BISC が 0.187 であった。5 年の rolling lookback でしきい値を選ぶ GCDR では 0.385 と報告され、Appendix では out-of-sample の平均相関が多くの年で 0.30 から 0.46 の範囲に収まる。ペアトレードの backtest でも、GCD の Sharpe ratio は 12.18 で、PaLM-gecko の 10.57 や SIC の 9.70 を上回った。ただし著者らは、Sharpe ratio はしきい値、取引コスト、レジーム変化、標本の有限性に影響されうるため、慎重に読むべきだとしている。解釈可能性については、クラスタの説明に必要な特徴が少数に集中していることを示している。GCD の median cluster では重要特徴は全体の 5% 程度で、GCDR では 1% 程度であった。自動解釈の fuzzing 評価では、複数クラスタで重要になる上位 1% の特徴が GCD で 80%、GCDR で 77% の解釈可能性を示した。

具体例

ある年の SEC 報告書に、企業 A は「クラウド型会計ソフトを中小企業へ提供し、サブスクリプション収入を主な売上とする」と書いているとする。企業 B は業種コード上では別の分類に置かれているが、報告書では「給与計算、請求管理、税務申告をオンラインで提供し、月額課金で顧客を維持する」と説明している。通常の業種コードだけを見ると、A と B は近い企業として扱われない可能性がある。提案手法では、それぞれの説明文を Llama に入力し、SAE が「中小企業向け SaaS」「定期課金」「会計・給与処理」のような内部特徴を疎に活性化させる。文書全体でこれらの特徴を合計すると、A と B の特徴ベクトルは似た方向を向きやすくなる。PCA と MST によるクラスタリングでは、この二社が同じクラスタに入ることが期待される。期待される出力は、二社を似た企業群として扱うクラスタ割り当てであり、下流ではペア候補やリスク管理上の比較対象として使える。間違えやすい点は、似た語彙が出ていても、収益源や顧客基盤が異なる場合である。たとえば「クラウド」という語だけで、インフラ事業者と会計 SaaS を近づけると、株価を動かす要因の違いを取り逃がす。