為什麼 9 成企業 AI PoC 上不了生產線?跨產業 7 個真實死因與解法

去年底,一家製造業客戶找我們做「健檢」。他們過去一年跑了 11 個 AI PoC,金額不小,結論很體面:每一個 Demo 都成功了。真正上到生產線、每天有人在用的,是零。

這不是特例。業界流傳的數字是,約 85% 到 90% 的企業 AI PoC 最終上不了線——這個比例我們在金融、醫療、零售的第一線都親眼驗證過。問題幾乎從來不是「模型不夠聰明」。AI PoC 上不了線,死因通常在 Demo 結束後才開始發作,而且高度可預測。

我們把這幾年在客戶現場撿到的屍體攤開,歸納出 7 個反覆出現的死因。給它們取了名字,是因為當你能叫出一個問題的名字,你才有辦法在它發生前攔住它。

AI PoC 上不了線的 7 個真實死因

前三個死因:問題出在資料與人,不在模型

Demo 值陷阱是最貴的一種死法,因為它會讓所有人簽字。我們看過一個貸款審核 PoC,Demo 那天 94% 準確,上線用真實申請件掉到 61%。差別在哪?Demo 用的是內部整理過的乾淨樣本,真實世界的申請書有塗改、有缺件、有掃描歪掉的。準確率不是模型的屬性,是模型加上資料的屬性。只在漂亮資料上驗收,等於沒驗收。

沒有人扛最後一哩聽起來像管理問題,其實是結構問題。PoC 階段永遠有人熱情,因為有趣;上線之後那些不有趣的事——處理例外、回答使用者抱怨、每週看數據——沒有明確的人負責,專案就變成孤兒。誰的 KPI 掛在這套系統的採用率上?這個問題答不出來,上線就是死緩。

髒資料現形幾乎是製造業與醫療業的通病。資料在 PowerPoint 裡總是乾淨的,在真實的 ERP、MES、病歷系統裡是缺欄位、重複鍵、十年沒人維護的自由文字欄。RAG 知識系統尤其吃這一套:你餵進去的文件版本混亂、彼此矛盾,模型只會很有自信地引用錯的那份。

後四個死因:問題出在流程與維運

合規在最後一刻攔截是金融與車用最痛的。資安和法遵團隊往往到上線前一週才被通知,然後基於資料落地、稽核軌跡或個資的理由,一票否決。這不是他們刁難,是他們本來就該在第一天進場。我們現在的做法是把資安列為 PoC 的參與者,不是驗收的關卡。

85 分死亡谷很反直覺:準確率不是越高越好用,而是有個尷尬區間最致命。低於某個門檻,大家知道不能信,乾脆不用;到了 85 分左右,系統對得夠多讓你依賴,錯得夠多讓你必須每筆重新檢查——結果人力不減反增。跨過死亡谷的方法通常不是硬拉準確率,而是重新設計人機分工:讓 AI 只做它能做到 99% 的那部分。

沒接進既有工作流是採用率的頭號殺手。要員工另開一個網頁、再登入一次、把資料複製貼上,他們就會回去用原本的 Excel。我們前面提到那家客服平台使用率 4% 的案子,核心就是這個——系統很強,但它活在客服人員每天不會打開的地方。好的導入是讓 AI 出現在人們已經在用的介面裡,不是要人們搬家去找它。

上線即退化是最安靜的死法。模型上線那天是它最準的一天,之後資料分布會漂移、業務規則會改、上游系統會換版。沒有監控儀表板、沒有定期回測、沒有維運節奏,三個月後準確率掉了 15% 也沒人發現,直到某個大客戶投訴。上線不是終點,是維運的起點。

這七個死因有一個共同解法

回頭看,7 個死因沒有一個是「演算法問題」。它們全都發生在模型之外——資料的真實狀態、扛責任的人、既有的流程、上線後的維運。這也是為什麼買一套「為一般客戶設計」的通用產品經常上不了線:通用產品解決的是模型,而你的專案死在別的地方。

我們在 Tenten 的做法很直接:派工程師進場,和客戶團隊坐在一起,從第一天就用真實髒資料、拉資安進來、盯著採用率設計工作流,一路扛到上線且真的有人每天在用為止。Demo 很美不算數,上線且有人在用才算數——這七個死因,就是我們每天在替客戶拆的引信。