檢驗整份文件是否真正能進入業務流程

概覽

文件擷取工具可能拿到很高的分數，團隊卻仍然無法直接使用結果。問題往往出在多個看似合理的欄位必須同時正確。選擇信心分數門檻之前，不妨做一個小實驗：衡量完整業務紀錄是否可用，而不只看個別欄位。

以下實驗完全是假設情境。數字用於說明決策方法，並非客戶成果，也不是產品效能測試。

看結果之前先訂驗收標準

假設一家經銷商要把供應商發票整理成應付帳款審核人員可用的紀錄。只有供應商身分、發票編號、幣別、總額和採購單編號都與原件及相關主資料相符，紀錄才算準備就緒。通過這個測試不代表可以付款，原有核准控制仍須保留。

選取100張沒有用於訓練的發票。先由熟悉業務的審核人員標註必要欄位，再請第二位同事共同解決有歧義的標註。樣本既要包含一般文件，也要包含困難案例；保留分類，避免把刻意增加難度的樣本誤當成日常正式環境的比例。

原創實驗表：假設的樣本組成，並非通用樣本數建議。

固定擷取版本、正規化規則和測試文件。事先約定怎樣才算符合，例如可忽略無關緊要的空格，但不能忽略幣別差異。在正規化數值旁保留原始文字，方便審核人員還原有爭議的判斷。

把兩種分數放在一起看

Google Document AI文件介紹了依據已標註文件計算的精確率、召回率和F1，也提供個別欄位指標。文件同時說明，缺少適當標註或不受擷取版本支援的標籤，可能不計入彙總指標。因此，高彙總分數仍需搭配涵蓋範圍檢查。 Google Cloud，核驗日期：2026年10月29日。

我們增加一項業務指標：完整紀錄就緒率，也就是所有必要檢查都通過，且沒有尚未解決的歧義。不要用各欄位分數相乘來推算它，因為錯誤可能集中在同一張受損文件上。

原創結果表：20個欄位錯誤分布在16份文件上。此處的欄位正確率是自訂計數，並非Google的產品指標。

這種差別會直接影響營運。即使只有20個欄位出錯，仍有16筆紀錄需要處理。缺少輸出和處理失敗也應計入文件總數；把它們排除，會讓流程顯得比實際容易。

不觸碰真實付款，比較分流規則

先用獨立的開發樣本選擇規則，再用保留的測試集評估已經固定的規則。在這個假設結果中，70筆紀錄被送往下一步，30筆被留待人工審核。獨立複核發現，放行紀錄中有2筆錯誤，暫留紀錄中有14筆錯誤。

原創分流矩陣：放行的70筆紀錄中有2筆含錯誤；暫留30筆紀錄，攔住了16筆錯誤紀錄中的14筆。

這應當引發業務討論，而不是換來一張「通過」證書。漏出的兩筆錯誤只是無關緊要的描述，還是幣別錯了？團隊能否在承諾的時限內審核30筆紀錄？強制核對供應商身分，是否能發現單靠信心分數遺漏的問題？

務必保留原始計數。100份文件不足以證明流程能夠安全應對罕見而代價高昂的錯誤。擴大應用前，應補測更多供應商和語言，個別檢查高影響錯誤，並在模型或版型發生重大變化後重新評估。真正有用的交付成果，是適用邊界清楚、有證據支持的分流決定，而非一個亮眼的百分比。