設想一間美國餐飲配送公司。網頁表單同舊系統匯出嘅同一個客戶姓名,睇落一樣,精確比對卻失敗。呢個係虛構情景。先檢查字元表示,唔好畀人工智能隨意改寫姓名。 有啲重音字母可以用一個字元表示,亦都可以用字母加組合重音表示。將呢兩種表示都轉成相同嘅正規形式,可以解決呢類差異。但係唔代表所有睇落相似嘅名都會一樣。 建議分開保留原始姓名、比對鍵同穩定客戶編號。原文用嚟顯示,比對鍵按規則產生,編號用嚟關聯訂單。雙方都要跟相同規則。比對只可以提供候選,唔可以自動合併同名客戶。 揀正規形式嗰陣,唔好以為變動越多就越好。相容正規化仲會摺合某啲格式差異。姓名、產品編號同合約原文應該分別約定規則,唔係共用一個萬能清理掣。 正規化唔係刪除重音、翻譯或者身份驗證。睇落相似嘅字元亦都可能唔同。就算另外加寬鬆搜尋,都要顯示候選同不確定性,唔可以直接取得修改或者合併紀錄嘅權限。 準備三組驗收樣本:同一重音嘅兩種表示應該配對;有重音同冇重音嘅姓名唔應該因為正規化就相等;同名但編號唔同嘅客戶唔可以自動合併。仲要檢查原文有冇保留。呢個係建議計劃,唔係已完成嘅系統測試。 由負責人批准每個欄位嘅比對規則,記錄版本,保留原文,列出碰撞候選。先只輸出建議。真正驗收,係應該搵到嘅搵得到,唔應該合併嘅冇被錯誤合併。