薄層 LDCT 結節偵測模型的訓練成果、瓶頸診斷,以及下一階段達成驗收標準所需的資料規劃。
以獨立測試集進行 FROC 評估(肺結節偵測的國際標準評估法)。目前雙模型 Ensemble 已在 Phase 1 標準達標。
| 模型 | CPM | Sens @ FP≤8 | Sens @ FP≤4 | 最高敏感度 |
|---|---|---|---|---|
| MIP YOLO | 38.1% | 75.6% | 64.4% | 93.3% |
| DICOM YOLO | 33.7% | 80.0% | 55.6% | 86.7% |
| Ensemble(雙模型交集) | 40.6% | 80.0% | 64.4% | 84.4% |
我們做了一組受控診斷實驗,結論非常明確 — 提升效能的關鍵不是讓模型更會偵測,而是加上第二階段的假陽性過濾。
45 顆結節能偵測到 43 顆,只有 2 顆極小微結節(約 3.6mm / 4.3mm,且同屬一份掃描)未偵測。Phase 2 要求的 90% 敏感度在技術上完全可達,不是模型「看不到」的問題。
模型共命中 43 顆真結節,同時產生 599 個假陽性(血管、疤痕被誤判),比例約 14:1。「Oracle 實驗」證明:只要能濾除假陽性,敏感度可達 95.6% 的天花板,遠超 Phase 2 目標。
我們實作第二階段 CNN 分類器(LUNA16 國際 benchmark 主流架構)分辨真結節與血管。立體資訊確實有幫助:判別力(AUC)由 2.5D 影像的 0.551 提升到 3D 立體的 0.633,低誤報區(每份 1 個假陽性)敏感度由 28.9% 提升至 35.6%。方向正確,但強度尚不足 — 原因見下節。
在請客戶提供更多資料前,我們先做足了「榨乾現有資料」的技術工作。結果指向一個明確且無法迴避的結論。
| 分類器變體 | 判別力 (AUC) | 結論 |
|---|---|---|
| 2.5D CNN(影像切片) | 0.551 | 僅略優於隨機 基準 |
| 3D CNN(立體) | 0.633 | 立體資訊有效,目前最佳 方向正確 |
| 3D CNN + 強化增強 / Focal Loss | 0.498 | 等同隨機猜測 增強失效 |
| 可實用門檻(國際經驗值) | ≥ 0.85 | 尚未達到 目標 |
強化增強與 Focal Loss 未能改善分類器,反而使其失效 — 判別力由 0.633 掉到 0.498,等同隨機猜測。
這個負面結果本身就是最有力的證據:在僅有 481 顆真結節的前提下,用演算法技巧「合成」變化度已經到頂。資料增強只能重複利用既有樣本;當增強幅度大到足以產生新的變化時,反而破壞了原始訊號。這條路已經走完了,接下來只能靠真實資料。
第二階段分類器需要大量真結節樣本才能訓練出足夠判別力。目前的量與國際 benchmark 相差 1–2 個數量級。
合約載明甲方提供至少 200 例,目前遠未達標。醫師標註品質很好,瓶頸純粹在資料數量。建議優先補齊至 200–300 例薄層(≤ 1.5mm)標註資料。
經完整測試確認,5mm 厚層影像無法用於訓練 — 這是物理層級限制,非演算法問題。
5mm 厚層將 5 個解剖層面平均為 1 張影像(partial volume averaging),造成小結節被稀釋、變模糊;z 軸切片數僅 55–83 張(薄層為 270–420 張),立體資訊大幅流失。
| 做法 | 效能 (CPM) | 結論 |
|---|---|---|
| 5mm 專用模型 | 4.3% | 最高敏感度僅 41.5%,漏掉近 6 成結節 不堪用 |
| 5mm 併入訓練集 | 32.1% | 低於原本 38.1%,反而拖累主模型 負效益 |
註:併入訓練的資料集同時包含 53 份薄層新資料與 55 份 5mm 重取樣資料。考量 5mm 專用模型 CPM 僅 4.3%,效能下降主因指向 5mm 厚層。此結果亦與國際文獻一致(5mm 相比 1mm,敏感度低 12–42%)。
LDCT 篩檢掃描通常同時重建薄層(1–1.5mm)與厚層(5mm)兩版本。請協助確認 PACS 中這 55 例是否有薄層原始檔 — 若有,配上現成的醫師標註即可直接使用,標註不會浪費。
合約第三條已明訂以 FROC curve 為準據。建議對齊國際標準:Phase 1 — Sensitivity ≥ 80% @ 每份假陽性 ≤ 8(目前已達標);Phase 2 — Sensitivity ≥ 90% @ 每份假陽性 ≤ 4(偵測天花板 95.6% 顯示技術可達,隨資料到位達成)。
另建議擴大驗收測試集規模。目前測試集為 10 份掃描、45 顆結節,單顆結節即影響約 2.2 個百分點,數字波動較大。