评估与品质 · 实作指南
从真实工作建立评估集，而不是从示范开始
用有标记的小型测试集，把检索问题与回答问题分开诊断。
收集有代表性的问题
请员工提供最近难以回答的问题，取得同意後转成去识别或合成测试。包含例行问题、例外、没有答案及意思模糊的请求。Bedrock 评估文件介绍预期答案与来源文字，但「正确」的业务定义仍由团队决定。不要只把章节标题改成问句，因为员工通常不会使用政策作者完全相同的语言，真实用法也更容易暴露检索缺口。
标记证据与可接受行为
以假设的营运助手为例，每笔测试应包含问题、授权角色、预期来源及可接受行为。有些问题应要求澄清，不应直接产生唯一答案。标记必须出现的关键事实，以及不应出现的主张，让人工审核保持一致。这样可以防止流畅却没依据的内容，只因听起来热心便获通过，也方便不同审核者讨论分歧。
流程一览
保留未用来调整的题目
把一部分题目用於诊断，另一部分保留到方案准备好才测试，避免提示词只记住可见例子。每次执行都记录资料库、解析器、模型与设定版本，分别比较检索成功、证据支持及总审核投入。单一平均分可能掩盖少数但後果重要类别的退步。因此报告应按问题类型拆开，并清楚列出未通过的情况，而不只展示总分上升。
从失败逐步扩充
试点後，把已确认事件与新流程变化加入评估集，避免储存不必要的个人资料。过时问题可以附理由退役，不要因它难答而偷偷删掉。评估资料应被视为需要维护的业务资产。它不能保证不会出现罕见错误，但能让未来每次变更，都比随意跟最新模型聊几句更有纪律，也更容易向客户说明接受或拒绝更新的原因。
让评估直接支持发布决定
发布会议先展示几个失败案例，再看总分。请营运负责人判断剩余问题在拟定范围内是否可接受，记录已接受限制及禁止用途。这让评估成为决策工具，而不是部署後才附上的装饰报告。若有人只看到分数提高却不了解失败後果，就应暂缓签核，直到责任与人工後备处理都已说清楚。
来源与延伸阅读
编辑原则
本系列以 AI 辅助原创撰写，并对照连结的公开来源。实作建议与假设情境属编辑分析，并非客户实绩。来源发布日期及产品细节可能与本系列整理日期不同。