MEDEC: A Benchmark for Medical Error Detection and Correction in Clinical Notes

生成日: 2026-05-24 02:20

# MEDEC: A Benchmark for Medical Error Detection and Correction in Clinical Notes

- MEDEC は、臨床ノートに含まれる医学的誤りの検出と修正を扱う公開ベンチマークである。
- データは 3,848 件の臨床テキストからなり、診断、管理方針、治療、薬物療法、原因微生物の五種類の誤りを含む。
- 新しい大規模言語モデルは一定の性能を示したが、誤りの有無と位置の判定では医師に及ばず、臨床文書の検証がなお難しい課題であることを示した。

## Abstract（日本語訳）

いくつかの研究により、大規模言語モデル（Large Language Models; LLMs）は医学問題に正しく答えることができ、一部の医学試験では人間の平均点を上回る場合さえあることが示されている。しかし、著者らの知る限り、言語モデルが既存または生成された医学テキストの正確性と一貫性を検証できるかを評価した研究はまだない。本論文では、臨床ノートにおける医学的誤りの検出と修正のための初の公開ベンチマークである MEDEC（https://github.com/abachaa/MEDEC）を導入する。MEDEC は、診断、管理方針、治療、薬物療法、原因微生物という五種類の誤りを対象とする。MEDEC は 3,848 件の臨床テキストからなり、その中には、どの LLM も以前に見たことがない三つの米国病院システム由来の臨床ノート 488 件が含まれる。このデータセットは、MEDIQA-CORR 2024 shared task において、17 の参加システムを評価するために用いられた。本論文では、データ作成方法を説明し、医学知識と推論能力の両方を要する医学的誤りの検出・修正タスクに対して、o1-preview、GPT-4、Claude 3.5 Sonnet、Gemini 2.0 Flash、DeepSeek-R1 などの最近の LLM を評価する。また、二名の医師が MEDEC test set で同じタスクを行う比較研究も実施した。結果は、MEDEC が、既存または生成されたノートを検証し、医学的誤りを修正するモデルの能力を評価するうえで十分に難しいベンチマークであることを示した。さらに、最近の LLM は誤りの検出と修正で良好な性能を示すものの、これらのタスクではなお医師に及ばないことも分かった。著者らは、この差を生む可能性のある要因、実験から得られた知見、現在の評価指標の限界を論じ、今後の研究の方向性を示す。

## 論文の面白いところ

LLM の医学応用では、試験問題に答えられるかどうかがよく測られてきた。本論文が扱うのは、答えを新しく書く能力ではなく、すでに存在する臨床ノートの中に紛れた誤りを見つけ、必要なら直す能力である。これは医療文書の実運用に近い。電子カルテや退院サマリーに LLM が関与するなら、生成された文章をそのまま信じるのではなく、既存の記述が患者の状態と矛盾していないかを確認する仕組みが要る。MEDEC は、その確認能力を測るための最初の公開ベンチマークとして位置づけられる。データには、医学試験由来の症例文だけでなく、三つの University of Washington 系病院システムから得られた実臨床ノートも含まれる。後者はデータ利用契約が必要だが、LLM が事前学習で見た可能性の低い私的な臨床文書を含む点で重要である。結果も単純ではない。Claude 3.5 Sonnet は誤りの有無と文位置の判定で最もよい LLM だったが、修正文生成の指標では o1-preview や DeepSeek-R1 が高い。検出が得意なモデルと、修正文をうまく書くモデルが同じではないという観察は、臨床向け評価を一つの総合点に押し込めにくいことを示している。

## 問題設定

対象は、臨床ノートが正しいか、または一つの医学的誤りを含むかを判定するタスクである。誤りがある場合には、その誤りを含む文を特定し、正しい文に修正する。論文ではこの処理を三つの subtask に分けている。Subtask A は、テキストに誤りがない場合を 0、誤りがある場合を 1 とする error flag の予測である。Subtask B は、誤りがある場合に、その誤りを含む sentence ID を返すことである。Subtask C は、誤りを含む文の修正版を生成することである。誤りの種類は、診断、管理方針、薬物療法、治療、原因微生物の五種類に整理されている。これは一般的な事実整合性検出よりも難しい。臨床ノートでは、症状、検査値、既往歴、身体所見、治療方針が互いに支え合っており、ある一文だけを読んでも誤りかどうか分からないことが多い。たとえば診断名が一見もっともらしくても、身体所見や検査結果と照らすと別疾患のほうが適切な場合がある。したがって、表面的な語の一致ではなく、医学知識と文脈上の推論が求められる。

## 提案手法

本論文の主な貢献は、新しいモデルそのものではなく、MEDEC というベンチマークの構築と、その上での LLM 評価である。データセットは 3,848 件の臨床テキストからなる。MS subset は MedQA の医学試験問題をもとに作られ、正しい回答またはもっともらしい誤回答を症例文へ組み込むことで、正例と誤りを含む例を作成している。UW subset は、2009 年から 2021 年までの University of Washington 系病院システムの実臨床ノートから作られた。そこでは医学生 annotator が、QuickUMLS などで候補となる医学概念を確認しつつ、244 件のノートに手作業で誤りを入れた。各誤りは、臨床ノート内の少なくとも二つの別箇所と矛盾する必要がある。これにより、単語置換だけで見つかる誤りではなく、文書内の複数の根拠を合わせて判断する例が作られている。評価対象の LLM には Phi-3-7B、Claude 3.5 Sonnet、Gemini 2.0 Flash、ChatGPT、GPT-4、GPT-4o、o1-mini、o1-preview、DeepSeek-R1 が含まれる。プロンプトは、誤りがなければ CORRECT を返し、誤りがあれば sentence ID と修正文を返す形式で、zero-shot と one-shot の二種類を比較している。修正文の評価には ROUGE-1、BLEURT、BERTScore に加えて、UMLS 概念に基づく医学向け指標 MIST も用いられている。

## 結果

全体の error flag prediction では、Claude 3.5 Sonnet が LLM の中で最も高く、Accuracy は 70.16% だった。error sentence detection でも Claude 3.5 Sonnet が 65.62% で最良であった。o1-mini は error flag prediction で 69.08% と二番手に位置した。一方、修正文生成では o1-preview が Aggregate Score 0.698 で最も高く、DeepSeek-R1 が 0.675 で続いた。MIST では Claude 3.5 Sonnet が高く、医学概念の近さという観点では別の順位が現れた。二名の医師との比較では、LLM は良好な性能を示したものの、誤りの有無や文位置の判定では医師に及ばなかった。医師間一致も error flag で 69.01%、error sentence で 57.85% にとどまり、このタスク自体が専門家にとっても難しいことが分かる。MS subset と UW subset の差も重要である。o1-preview は公開由来の MS subset では error flag 73%、error sentence 69% だったが、私的な臨床ノートである UW subset ではそれぞれ 58%、48% に下がった。論文は、この差を、事前学習で見た可能性のあるデータと、実臨床に近い未公開文書との差として解釈している。また、o1-preview は誤りを含む例での recall が非常に高い一方、全体 accuracy では医師より低く、誤りがない文書にも誤りがあると判断しがちな傾向が示唆される。

## 具体例

たとえば、23 歳男性が野球の投球中に突然意識を失い、心肺蘇生後に回復したという臨床ノートがあるとする。既往歴に神経疾患や心血管疾患はなく、身体所見として頸静脈波の prominent A wave、double apical impulse、S4 があり、雑音は聴取されない。ノートには「患者は大動脈弁狭窄症と診断された」と書かれている。MEDEC のタスクでは、モデルはまずこのノート全体を読み、誤りがあるかどうかを判断する。次に、誤りがあるならその sentence ID を返し、「患者は肥大型心筋症と診断された」のように文を修正することが期待される。ここで難しいのは、大動脈弁狭窄症も失神と関係しうるため、疾患名だけを見ると完全に不自然とは言えない点である。しかし、大動脈弁狭窄症なら通常は右上胸骨縁の収縮期駆出性雑音などが重要な手掛かりになる。提示された所見は肥大型心筋症のほうに合う。モデルが個々の医学語を知っているだけでは足りず、所見の組合せから最も整合する診断を選ばなければならない。LLM はときに正しい疾患名を出せるが、説明を長く書きすぎたり、誤りのない文にも過剰に修正を加えたりするため、この論文では検出、位置特定、修正を分けて評価している。

MEDEC: A Benchmark for Medical Error Detection and Correction in Clinical Notes

MEDEC は、臨床ノートに含まれる医学的誤りの検出と修正を扱う公開ベンチマークである。
データは 3,848 件の臨床テキストからなり、診断、管理方針、治療、薬物療法、原因微生物の五種類の誤りを含む。
新しい大規模言語モデルは一定の性能を示したが、誤りの有無と位置の判定では医師に及ばず、臨床文書の検証がなお難しい課題であることを示した。

Abstract（日本語訳）

いくつかの研究により、大規模言語モデル（Large Language Models; LLMs）は医学問題に正しく答えることができ、一部の医学試験では人間の平均点を上回る場合さえあることが示されている。しかし、著者らの知る限り、言語モデルが既存または生成された医学テキストの正確性と一貫性を検証できるかを評価した研究はまだない。本論文では、臨床ノートにおける医学的誤りの検出と修正のための初の公開ベンチマークである MEDEC（https://github.com/abachaa/MEDEC）を導入する。MEDEC は、診断、管理方針、治療、薬物療法、原因微生物という五種類の誤りを対象とする。MEDEC は 3,848 件の臨床テキストからなり、その中には、どの LLM も以前に見たことがない三つの米国病院システム由来の臨床ノート 488 件が含まれる。このデータセットは、MEDIQA-CORR 2024 shared task において、17 の参加システムを評価するために用いられた。本論文では、データ作成方法を説明し、医学知識と推論能力の両方を要する医学的誤りの検出・修正タスクに対して、o1-preview、GPT-4、Claude 3.5 Sonnet、Gemini 2.0 Flash、DeepSeek-R1 などの最近の LLM を評価する。また、二名の医師が MEDEC test set で同じタスクを行う比較研究も実施した。結果は、MEDEC が、既存または生成されたノートを検証し、医学的誤りを修正するモデルの能力を評価するうえで十分に難しいベンチマークであることを示した。さらに、最近の LLM は誤りの検出と修正で良好な性能を示すものの、これらのタスクではなお医師に及ばないことも分かった。著者らは、この差を生む可能性のある要因、実験から得られた知見、現在の評価指標の限界を論じ、今後の研究の方向性を示す。

論文の面白いところ

LLM の医学応用では、試験問題に答えられるかどうかがよく測られてきた。本論文が扱うのは、答えを新しく書く能力ではなく、すでに存在する臨床ノートの中に紛れた誤りを見つけ、必要なら直す能力である。これは医療文書の実運用に近い。電子カルテや退院サマリーに LLM が関与するなら、生成された文章をそのまま信じるのではなく、既存の記述が患者の状態と矛盾していないかを確認する仕組みが要る。MEDEC は、その確認能力を測るための最初の公開ベンチマークとして位置づけられる。データには、医学試験由来の症例文だけでなく、三つの University of Washington 系病院システムから得られた実臨床ノートも含まれる。後者はデータ利用契約が必要だが、LLM が事前学習で見た可能性の低い私的な臨床文書を含む点で重要である。結果も単純ではない。Claude 3.5 Sonnet は誤りの有無と文位置の判定で最もよい LLM だったが、修正文生成の指標では o1-preview や DeepSeek-R1 が高い。検出が得意なモデルと、修正文をうまく書くモデルが同じではないという観察は、臨床向け評価を一つの総合点に押し込めにくいことを示している。

問題設定

対象は、臨床ノートが正しいか、または一つの医学的誤りを含むかを判定するタスクである。誤りがある場合には、その誤りを含む文を特定し、正しい文に修正する。論文ではこの処理を三つの subtask に分けている。Subtask A は、テキストに誤りがない場合を 0、誤りがある場合を 1 とする error flag の予測である。Subtask B は、誤りがある場合に、その誤りを含む sentence ID を返すことである。Subtask C は、誤りを含む文の修正版を生成することである。誤りの種類は、診断、管理方針、薬物療法、治療、原因微生物の五種類に整理されている。これは一般的な事実整合性検出よりも難しい。臨床ノートでは、症状、検査値、既往歴、身体所見、治療方針が互いに支え合っており、ある一文だけを読んでも誤りかどうか分からないことが多い。たとえば診断名が一見もっともらしくても、身体所見や検査結果と照らすと別疾患のほうが適切な場合がある。したがって、表面的な語の一致ではなく、医学知識と文脈上の推論が求められる。

提案手法

本論文の主な貢献は、新しいモデルそのものではなく、MEDEC というベンチマークの構築と、その上での LLM 評価である。データセットは 3,848 件の臨床テキストからなる。MS subset は MedQA の医学試験問題をもとに作られ、正しい回答またはもっともらしい誤回答を症例文へ組み込むことで、正例と誤りを含む例を作成している。UW subset は、2009 年から 2021 年までの University of Washington 系病院システムの実臨床ノートから作られた。そこでは医学生 annotator が、QuickUMLS などで候補となる医学概念を確認しつつ、244 件のノートに手作業で誤りを入れた。各誤りは、臨床ノート内の少なくとも二つの別箇所と矛盾する必要がある。これにより、単語置換だけで見つかる誤りではなく、文書内の複数の根拠を合わせて判断する例が作られている。評価対象の LLM には Phi-3-7B、Claude 3.5 Sonnet、Gemini 2.0 Flash、ChatGPT、GPT-4、GPT-4o、o1-mini、o1-preview、DeepSeek-R1 が含まれる。プロンプトは、誤りがなければ CORRECT を返し、誤りがあれば sentence ID と修正文を返す形式で、zero-shot と one-shot の二種類を比較している。修正文の評価には ROUGE-1、BLEURT、BERTScore に加えて、UMLS 概念に基づく医学向け指標 MIST も用いられている。

結果

全体の error flag prediction では、Claude 3.5 Sonnet が LLM の中で最も高く、Accuracy は 70.16% だった。error sentence detection でも Claude 3.5 Sonnet が 65.62% で最良であった。o1-mini は error flag prediction で 69.08% と二番手に位置した。一方、修正文生成では o1-preview が Aggregate Score 0.698 で最も高く、DeepSeek-R1 が 0.675 で続いた。MIST では Claude 3.5 Sonnet が高く、医学概念の近さという観点では別の順位が現れた。二名の医師との比較では、LLM は良好な性能を示したものの、誤りの有無や文位置の判定では医師に及ばなかった。医師間一致も error flag で 69.01%、error sentence で 57.85% にとどまり、このタスク自体が専門家にとっても難しいことが分かる。MS subset と UW subset の差も重要である。o1-preview は公開由来の MS subset では error flag 73%、error sentence 69% だったが、私的な臨床ノートである UW subset ではそれぞれ 58%、48% に下がった。論文は、この差を、事前学習で見た可能性のあるデータと、実臨床に近い未公開文書との差として解釈している。また、o1-preview は誤りを含む例での recall が非常に高い一方、全体 accuracy では医師より低く、誤りがない文書にも誤りがあると判断しがちな傾向が示唆される。

具体例

たとえば、23 歳男性が野球の投球中に突然意識を失い、心肺蘇生後に回復したという臨床ノートがあるとする。既往歴に神経疾患や心血管疾患はなく、身体所見として頸静脈波の prominent A wave、double apical impulse、S4 があり、雑音は聴取されない。ノートには「患者は大動脈弁狭窄症と診断された」と書かれている。MEDEC のタスクでは、モデルはまずこのノート全体を読み、誤りがあるかどうかを判断する。次に、誤りがあるならその sentence ID を返し、「患者は肥大型心筋症と診断された」のように文を修正することが期待される。ここで難しいのは、大動脈弁狭窄症も失神と関係しうるため、疾患名だけを見ると完全に不自然とは言えない点である。しかし、大動脈弁狭窄症なら通常は右上胸骨縁の収縮期駆出性雑音などが重要な手掛かりになる。提示された所見は肥大型心筋症のほうに合う。モデルが個々の医学語を知っているだけでは足りず、所見の組合せから最も整合する診断を選ばなければならない。LLM はときに正しい疾患名を出せるが、説明を長く書きすぎたり、誤りのない文にも過剰に修正を加えたりするため、この論文では検出、位置特定、修正を分けて評価している。