評估與品質 · 研究解讀
答案可能正確,引用卻是錯的
把引用是否真正支持內容,設成獨立的驗收項目。

把審核拆成兩個問題
先問答案是否正確,再問畫面上的證據是否支持它。ALCE 等引用研究區分這些品質面向,企業驗收亦應如此。有經驗員工可能憑記憶認為答案正確,即使助手連到無關段落也會通過。這看似成功,直到不熟悉規則的新同事沿著引用核對時才發現問題。知識助手應服務不具備既有背景的人,不能靠審核者心中知道答案補救。
檢查重要主張是否都有支持
以假設的服務政策回覆為例,拆開截止日、例外、批准人與下一步,再檢查每個重要主張。段落最後一個引用可能只支持第一句。無需為每個連接詞添加裝飾性腳註,重點是會改變業務決定的資料。即使整體建議合理,也應記錄沒有支持的新增內容,並追查它來自模型推論、檢索不足,還是來源文件本身沒有交代。
流程一覽
刻意放入容易誤用的證據
加入近似段落、已撤回政策,以及提到主題卻沒有回答問題的文件。系統應拒用無關支持,或承認資料缺口。審核時實際開啟來源,而不是只檢查有沒有超連結。即使引用由供應商功能產生,也要驗證完整應用,包括存取控制,以及翻譯答案如何回到原文。引用是方便核對的工具,不是把審核責任轉給供應商的憑證。
按實際用途設定門檻
不同流程可接受的證據缺口不同。腦力激盪備註與直接交給客戶的政策指示,不應使用同一驗收門檻。確認哪些未支持主張會阻止發布,哪些需要退回編輯,並報告樣本數與失敗類型。不要因研究基準或供應商提供引用功能,就宣稱助手完全真實或安全。保留人工核對路徑,讓無法取得支持的內容有清晰去向。
安排只看引用的審核
先隱藏答案,請審核者只看引用段落,說明它們真正建立甚麼事實,再展示回應比較主張。這能反轉常見的說服效果:流暢答案容易使人把薄弱來源理解得比原文更強。若來源只提到一般程序,就不能當成特定客戶已獲批准的證明。把這類差別寫入評分示例,讓後續審核者採用一致標準。
來源與延伸閱讀
- Enabling Large Language Models to Generate Text with CitationsEnabling Large Language Models to Generate Text with CitationsALCE authors / arXiv · Research source ·
- Reducing Risks Posed by Synthetic ContentReducing Risks Posed by Synthetic ContentNIST · Research source ·
編輯原則
本系列以 AI 輔助原創撰寫,並對照連結的公開來源。實作建議與假設情境屬編輯分析,並非客戶實績。來源發布日期及產品細節可能與本系列整理日期不同。