營運與維護 · 實作指南
平均四秒，不代表每位客户只等四秒
平均四秒仍可能掩蓋長時間等待；釐清計時範圍、百分位、失敗與逾時的統計方式。
AAHouse 原創解說影片，採用 AI 輔助概念畫面、合成旁白及原創音樂。
英文逐字稿 · 簡體中文普通話逐字稿 · 台灣華語逐字稿 · 澳門粵語逐字稿
先看一組虛構數字
假設一家美國花店用 AI 整理定製訂單：一百次請求中，九十次各用一秒，十次各用三十一秒。平均值是四秒，但仍有十位客户等待半分鐘以上。這是人為構造的算例，不是客户測試結果。討論“夠不夠快”之前，先問誰在等，以及從哪個時刻開始計時。
- 90 次 × 1 秒
- 10 次 × 31 秒
- 平均 4 秒 ≠ 人人 4 秒
已接受的區域說明圖重繪，並非未經修改的原始截圖。
平均值回答不了所有體驗問題
Google 的 SRE 指南提醒，平均延遲會掩蓋很慢的尾部請求，並建議觀察分佈。[1] 本文建議同時展示中位數、較高百分位和樣本量，而非只報一個平均數。百分位描述某個觀察窗口內的位置，不保證下一位客户一定在該時間內完成，也不是服務承諾。
- 中位數：典型位置
- 較高百分位：慢端體驗
- 樣本量：解釋邊界
已接受的區域說明圖重繪，並非未經修改的原始截圖。
把計時起點和終點寫出來
我們建議把用户點擊到可用結果的時間，與模型開始到首段輸出的時間分開。排隊、檢索、工具調用和結果檢查都可能增加等待。兩個圖表只有在測量對象、起終點和時間窗口一致時才適合直接比較；出現第一段文字，不等於訂單已經完成。
- 點擊 → 可用結果
- 模型啓動 → 首段文字
- 兩種計時，不混為一談
已接受的區域說明圖重繪，並非未經修改的原始截圖。
不要把幾個百分位再取平均
Prometheus 文檔説明，預先計算的百分位不能直接聚合成整體百分位；對多個實例的百分位取平均會產生誤導。[2] 需要跨實例觀察時，工程團隊應採用能正確合併的分佈數據，並核對估算誤差。本文不是要求企業更換監控產品，而是提醒先審查計算方法。
- 實例百分位 ≠ 可加總值
- 先核對分佈合併方法
- 再觀察整體慢端
已接受的區域說明圖重繪，並非未經修改的原始截圖。
別把失敗請求悄悄刪掉
建議將成功、失敗與超時分開展示，同時註明各自數量和規則。如果只看成功請求，慢到超時的體驗可能從圖表中消失。不要為了讓百分位好看而排除不方便的樣本。客户等待可以先用清楚的進度和人工入口改善，但不能把提示優化宣稱為處理速度提高。
- 成功、失敗、超時
- 每類數量與規則可見
- 不刪除不方便的樣本
已接受的區域說明圖重繪，並非未經修改的原始截圖。
用小實驗決定下一步
為試點準備普通訂單、較長説明和需要額外檢索的虛構樣本，記錄端到端耗時、是否成功及是否需要人工介入。團隊應按業務需要設定目標，並檢查慢請求的原因。這是建議的測試計劃，未在客户系統執行。先找到等待發生在哪一段，再決定優化模型還是流程。
- 普通、長説明、檢索樣本
- 耗時 + 成功 + 人工介入
- 先定位等待，再優化
已接受的區域說明圖重繪，並非未經修改的原始截圖。