設想一間美國單車維修店,叫 AI 彙整公開評論。摘要話「顧客最在意等候時間」,老闆就想加人手排班。先唔好當呢句係調查結論:寫評論嘅人、平台展示嘅評論,同真正交畀模型嘅評論,可能係三組唔同範圍。呢個係虛構決策情景,唔係客戶案例。 將問題改成:「今次收集嘅評論入面,邊啲內容提到等候?」同時記低平台、日期範圍、篩選條件,同評論數目。AAPOR 嘅調查最佳實務強調,樣本設計會影響結論可以推廣到邊啲人。公開評論可以提供線索,但唔會因為數量多,就自動代表所有顧客。 保留經授權取得嘅評論原文同來源,幫每則評論分配內部編號。要求摘要每個主題,都附上支持嗰個主題嘅編號,再抽查正面、負面同意思含糊嘅表達。唔好將「等得值得」當成抱怨,亦唔好將同一個人重複講嘅一次經歷,當成幾位顧客嘅獨立意見。 喺合成例子入面,二十則評論有六則提到等候,只可以寫「今次二十則評論入面,有六則提到等候」,唔可以寫「三成顧客唔滿意」。提到唔等於唔滿意,評論亦唔等於顧客。保留分母、時間範圍同分類定義,等同事可以覆核,而唔係淨係留低一個好睇嘅比例。 FTC 嘅消費者評論規則,喺二〇二四年十月二十一日生效,針對包括虛假評論喺內嘅欺騙做法。呢個唔代表平台每則評論都已經通過核實。真實性同代表性,係兩個唔同問題;亦唔好單憑 AI 對語氣嘅判斷,就指控某位評論者造假。 將評論主題當成調查起點:先核對預約到店同完成時間,再邀請唔同類型嘅顧客畀意見。如果真係發現等候集中喺某個時段,就試行小範圍排班調整,再觀察結果。AI 嘅價值,係幫人搵到值得追問嘅問題;係咪增加長期成本,應該有更完整嘅業務證據支持。