Untitled

生成日: 2026-05-24 02:20

# Untitled
## title

SpeechEE@XLLM25: End-to-End Structured Event Extraction from Speech

## source_url

https://aclanthology.org/2025.xllm-1.24/

## doi

10.18653/v1/2025.xllm-1.24

## generated_at

2026-05-05T04:56:25+00:00

## 要約

- 音声からイベントを取り出す Speech Event Extraction (SpeechEE) を、Whisper-medium と Text2Event2 の二段構成で扱う共有タスク報告である。
- 入力は金の書き起こしではなく英語音声そのものであり、ASR の誤りを含む転写文を使ってイベント抽出器を調整する点に実用上の意味がある。
- Text2Event2 を LoRA で微調整した構成は総合 F1 44.6356 を得て、ACL 2025 XLLM Shared Task II で 1 位となった。

## 論文の面白いところ

この論文のよさは、方法が大げさでないところにある。音声をまず Whisper-medium で文字にし、その文字列を Text2Event2 に渡してイベント構造を生成する。構成だけを見ると素朴だが、共有タスクの条件では金の転写文が与えられないため、この素朴さがかえって重要になる。現実の音声処理では、ASR が語を落としたり、別の語に置き換えたり、存在しない語を混ぜたりする。論文はその汚れた入力を避けず、訓練時にも ASR 出力を使って抽出器を慣らしている。計算資源にも余裕がなく、Kaggle の GPU 制限のため、多くの訓練を CPU と LoRA に頼ったと書かれている。にもかかわらず、Text2Event2 系のモデルが共有タスクで最上位に達した点は示唆的である。音声理解の論文としては派手な統合モデルではないが、手元の制約の中でどこを調整すれば効くのかが見えやすい。読後に残るのは、複雑なモデル名よりも、ASR の誤りを前提にして後段を訓練するという実務的な判断である。

## 問題設定

対象は、英語音声から構造化されたイベント情報を取り出す課題である。イベント抽出では、出来事を表す trigger と、それに関わる argument を同定する。たとえば移動の出来事なら、移動を表す語、乗り物、移動する対象、到着先などを取り出す必要がある。テキストからのイベント抽出だけでも簡単ではないが、音声ではまず認識誤りを含む文字列に変換しなければならない。SpeechEE のデータは 33 種のイベント型と 22 種の argument role を持つ。訓練データは 19,217 件、検証データは 901 件、テストデータは 676 件である。ただし、訓練・検証を合わせても、イベントと引数がタグ付けされた音声は 3,669 件だけだった。さらに、ACE05EN に似たスキーマは与えられるものの、正解の書き起こしは提供されない。そのため、モデルは音声から作った ASR 転写文を入力として学習・推論する。この設定では、抽出器の能力だけでなく、ASR の雑音にどれだけ耐えられるかも成績を左右する。

## 提案手法

著者らのシステムは WiSE、すなわち Whisper-to-Structured-Events と呼ばれる。最初に音声を 16 kHz、モノラルにそろえ、音量も標準化する。これは Whisper-medium に入れる前に、入力音声の条件をできるだけ一定にするためである。次に Whisper-medium が音声を転写し、その転写文をイベント抽出の入力にする。著者らは BERT-base-NER を使う BERTag も試したが、最終的には Text2Event2 を中心にした構成がよく働いた。Text2Event2 は T5 系の sequence-to-sequence モデルを用い、入力文からイベント構造を直接生成する枠組みである。元の Text2Event は ACE05EN に基づくイベント抽出で使われており、この共有タスクのスキーマとも近い。著者らは BurgerTruck/text2event2 checkpoint を使い、Parameter-Efficient Fine-Tuning (PEFT) の LoRA で微調整した。LoRA の rank は 4、lora_alpha は 16、dropout は 0.1 とされ、注意機構の q と v モジュールが対象である。限られた計算資源でも、ASR 転写文に合わせてモデルを動かすための現実的な設計になっている。

## 結果

評価は三つのサブタスクの F1 に基づく。総合スコアは `0.3 × Task 1 F1 + 0.3 × Task 2 F1 + 0.4 × Task 3 F1` で計算される。BERT-base-NER を使った BERTag は、Task 1 の F1 が 18.77、Task 2 が 3.88、Task 3 が 3.77 にとどまった。総合スコアは 8.31 であり、この課題の広いイベントスキーマには十分に合わなかった。これに対して Text2Event2 の構成では、Task 1 の F1 が 64.4628、Task 2 が 37.6874、Task 3 が 34.9750 となった。総合スコアは 44.6356 である。論文は、清浄な ACE05EN テキスト上の Text2Event が約 72% F1 を報告していることにも触れている。ただし本課題では、入力が音声だけで、モデルが見る文は Whisper の転写文である。条件がかなり異なるため、この数字は単純な低下というより、雑音のある音声入力での実用的な到達点として読むのがよい。著者らのシステムは、この成績で Speech-to-Event Extraction Shared Task の 1 位を得た。

## 具体例

- `SpeechEE` は、音声を聞いて「何が起きたか」と「誰が関わったか」を構造として返す課題である。
- `trigger` は、出来事を示す中心語である。例では `landed` が移動イベントの trigger になる。
- `argument` は、その出来事に関わる語句である。例では `boat`、`men`、`shores` が argument として扱われる。
- `role` は argument の役割名である。`boat` は `Vehicle`、`shores` は `Destination` とされる。
- `Transport` はイベント型の一つで、何かが移動した出来事を表す。
- `Whisper-medium` は音声を文字列に変換する ASR モデルで、この論文では最初の段階を担う。
- `Text2Event2` は転写文を受け取り、trigger と argument を含む構造を生成する後段のモデルである。
- `LoRA` は全パラメータを大きく更新せず、一部の低ランク行列を学習する微調整法である。
- `PEFT` は少ない計算資源でモデルを調整するための枠組みで、この論文では LoRA の実装に使われる。
- `Task 1`、`Task 2`、`Task 3` は共有タスク内の評価項目で、最後は重み付き平均で総合点にされる。
- `ASR noise` は、音声認識が作る誤変換や抜けを指す。後段のイベント抽出器は、この雑音を含む文を読まなければならない。
- `gold transcript` は人手などで確認された正解の書き起こしである。本課題ではこれが与えられない。

Untitled

title

SpeechEE@XLLM25: End-to-End Structured Event Extraction from Speech

source_url

https://aclanthology.org/2025.xllm-1.24/

doi

10.18653/v1/2025.xllm-1.24

generated_at

2026-05-05T04:56:25+00:00

要約

音声からイベントを取り出す Speech Event Extraction (SpeechEE) を、Whisper-medium と Text2Event2 の二段構成で扱う共有タスク報告である。
入力は金の書き起こしではなく英語音声そのものであり、ASR の誤りを含む転写文を使ってイベント抽出器を調整する点に実用上の意味がある。
Text2Event2 を LoRA で微調整した構成は総合 F1 44.6356 を得て、ACL 2025 XLLM Shared Task II で 1 位となった。

論文の面白いところ

この論文のよさは、方法が大げさでないところにある。音声をまず Whisper-medium で文字にし、その文字列を Text2Event2 に渡してイベント構造を生成する。構成だけを見ると素朴だが、共有タスクの条件では金の転写文が与えられないため、この素朴さがかえって重要になる。現実の音声処理では、ASR が語を落としたり、別の語に置き換えたり、存在しない語を混ぜたりする。論文はその汚れた入力を避けず、訓練時にも ASR 出力を使って抽出器を慣らしている。計算資源にも余裕がなく、Kaggle の GPU 制限のため、多くの訓練を CPU と LoRA に頼ったと書かれている。にもかかわらず、Text2Event2 系のモデルが共有タスクで最上位に達した点は示唆的である。音声理解の論文としては派手な統合モデルではないが、手元の制約の中でどこを調整すれば効くのかが見えやすい。読後に残るのは、複雑なモデル名よりも、ASR の誤りを前提にして後段を訓練するという実務的な判断である。

問題設定

対象は、英語音声から構造化されたイベント情報を取り出す課題である。イベント抽出では、出来事を表す trigger と、それに関わる argument を同定する。たとえば移動の出来事なら、移動を表す語、乗り物、移動する対象、到着先などを取り出す必要がある。テキストからのイベント抽出だけでも簡単ではないが、音声ではまず認識誤りを含む文字列に変換しなければならない。SpeechEE のデータは 33 種のイベント型と 22 種の argument role を持つ。訓練データは 19,217 件、検証データは 901 件、テストデータは 676 件である。ただし、訓練・検証を合わせても、イベントと引数がタグ付けされた音声は 3,669 件だけだった。さらに、ACE05EN に似たスキーマは与えられるものの、正解の書き起こしは提供されない。そのため、モデルは音声から作った ASR 転写文を入力として学習・推論する。この設定では、抽出器の能力だけでなく、ASR の雑音にどれだけ耐えられるかも成績を左右する。

提案手法

著者らのシステムは WiSE、すなわち Whisper-to-Structured-Events と呼ばれる。最初に音声を 16 kHz、モノラルにそろえ、音量も標準化する。これは Whisper-medium に入れる前に、入力音声の条件をできるだけ一定にするためである。次に Whisper-medium が音声を転写し、その転写文をイベント抽出の入力にする。著者らは BERT-base-NER を使う BERTag も試したが、最終的には Text2Event2 を中心にした構成がよく働いた。Text2Event2 は T5 系の sequence-to-sequence モデルを用い、入力文からイベント構造を直接生成する枠組みである。元の Text2Event は ACE05EN に基づくイベント抽出で使われており、この共有タスクのスキーマとも近い。著者らは BurgerTruck/text2event2 checkpoint を使い、Parameter-Efficient Fine-Tuning (PEFT) の LoRA で微調整した。LoRA の rank は 4、lora_alpha は 16、dropout は 0.1 とされ、注意機構の q と v モジュールが対象である。限られた計算資源でも、ASR 転写文に合わせてモデルを動かすための現実的な設計になっている。

結果

評価は三つのサブタスクの F1 に基づく。総合スコアは 0.3 × Task 1 F1 + 0.3 × Task 2 F1 + 0.4 × Task 3 F1 で計算される。BERT-base-NER を使った BERTag は、Task 1 の F1 が 18.77、Task 2 が 3.88、Task 3 が 3.77 にとどまった。総合スコアは 8.31 であり、この課題の広いイベントスキーマには十分に合わなかった。これに対して Text2Event2 の構成では、Task 1 の F1 が 64.4628、Task 2 が 37.6874、Task 3 が 34.9750 となった。総合スコアは 44.6356 である。論文は、清浄な ACE05EN テキスト上の Text2Event が約 72% F1 を報告していることにも触れている。ただし本課題では、入力が音声だけで、モデルが見る文は Whisper の転写文である。条件がかなり異なるため、この数字は単純な低下というより、雑音のある音声入力での実用的な到達点として読むのがよい。著者らのシステムは、この成績で Speech-to-Event Extraction Shared Task の 1 位を得た。

具体例

SpeechEE は、音声を聞いて「何が起きたか」と「誰が関わったか」を構造として返す課題である。
trigger は、出来事を示す中心語である。例では landed が移動イベントの trigger になる。
argument は、その出来事に関わる語句である。例では boat、men、shores が argument として扱われる。
role は argument の役割名である。boat は Vehicle、shores は Destination とされる。
Transport はイベント型の一つで、何かが移動した出来事を表す。
Whisper-medium は音声を文字列に変換する ASR モデルで、この論文では最初の段階を担う。
Text2Event2 は転写文を受け取り、trigger と argument を含む構造を生成する後段のモデルである。
LoRA は全パラメータを大きく更新せず、一部の低ランク行列を学習する微調整法である。
PEFT は少ない計算資源でモデルを調整するための枠組みで、この論文では LoRA の実装に使われる。
Task 1、Task 2、Task 3 は共有タスク内の評価項目で、最後は重み付き平均で総合点にされる。
ASR noise は、音声認識が作る誤変換や抜けを指す。後段のイベント抽出器は、この雑音を含む文を読まなければならない。
gold transcript は人手などで確認された正解の書き起こしである。本課題ではこれが与えられない。