評估與品質 · 觀點評論
用 AI 評分 AI，仍需要人工校準
評分模型可以協助分流，但不能因為輸出分數便自動代表品質。
先有清晰評分規則
若只問答案好不好，評分模型可能獎勵自信文筆，而非政策正確。應分別定義證據支持、必要事實、禁止行為、清晰程度及有效下一步。Bedrock 文件介紹人工與模型評估，但評分規則仍屬本地業務決定。先寫出合格、邊界及不合格例子，再請模型批量評分，才能判斷它是否理解公司的標準，而不是只產生漂亮的數字。
用分歧來校準
以假設的知識助手為例，兩位審核者先獨立評分一組混合例子，再與模型理由比較。人員互相不同意，可能揭露政策含糊，而不一定是模型不好。保留文筆很有說服力卻有事實錯誤的樣本。不要只放明顯失敗，校準集應包含忙碌審核者容易相信、但後果值得注意的情況，也要討論哪些分歧需要正式業務決定。
流程一覽
保護評分過程的輸入
待評答案與檢索內容應是被評估資料，不是給評分模型的新指令。答案可能包含要求忽略錯誤或給高分的文字，因此應把評分規則分開，並用合成內容測試這種干擾。記錄評分模型版本與設定，日後分數改變才容易追查。評估亦不代表可以任意提供客戶資料，應遵守與正式流程一致的資料最小化及存取安排。
讓分數幫人找到重點
校準後可用模型找出優先審核對象，但仍要定期人工抽查，並覆核所有後果重要的失敗類別。報告分歧率與盲點，而不是只給一個醒目的品質分。供應商更新模型後，重新檢查校準。最終價值應是更快、更一致的審核流程，不是循環論證：因為另一個助手說好，所以這個助手一定可靠。重大業務決定仍應由負責人驗收。
保留盲測校準樣本
可行時打亂答案次序並隱藏模型身份，讓審核者盲評。比較理由，而不只比較最後分數。若評分模型持續偏好某種寫作風格，應修改規則或縮小它的用途，不應直接認定被偏好的系統較準確。校準材料亦應定期更新，以免評分工具只擅長舊題目，卻錯過新服務或新語言帶來的不同失敗模式。
來源與延伸閱讀
編輯原則
本系列以 AI 輔助原創撰寫，並對照連結的公開來源。實作建議與假設情境屬編輯分析，並非客戶實績。來源發布日期及產品細節可能與本系列整理日期不同。