AI 導入的成功指標怎麼設計:採用率、任務留存與價值實現 KPI 樹

上線三個月後,那家保險公司的營運長問我一個問題:「這套 Copilot 到底有沒有用?」他手上有一份儀表板,顯示「累計呼叫次數 47 萬」。數字很大,漂亮。但我反問一句話,現場就安靜了:這 47 萬次裡,有多少是同一批人每天重複用,又有多少人裝了之後再也沒打開?他答不上來。

這就是問題。AI 導入的成功指標,九成企業都把它設計錯了——他們量的是「系統做了多少事」,不是「人靠這套系統少做了多少事、少犯了多少錯」。

一句話先講清楚我們的定義：AI 導入的成功指標,是一棵從「輸出」延伸到「成效」的 KPI 樹——根是業務價值(省了多少工時、少了多少錯誤、多賺或多留住多少),幹是行為採用(有多少人真的在用、用得多深),葉才是系統輸出(呼叫量、回應數)。多數團隊只看葉子,因為葉子最好量。但葉子茂盛不代表樹有結果。

為什麼「AI 導入成功指標」不能只看使用量

Demo 很美不算數,上線且有人在用才算數——這是我們每次進場都要重講一遍的話。使用量(usage)是輸出指標,它會騙人。一個被主管強制要求「每天登入」的系統,登入率可以做到 95%,但真實價值是零,因為大家登入後只是掛在那裡等下班。

真正的成功指標要能回答三個遞進的問題:有人用嗎(採用)?一直用嗎(留存)?用了之後,業務數字動了嗎(價值)?這三層對應一棵 KPI 樹的三個高度。下面把每個指標的量測定義與參考基準攤開講。

層級	指標	量測定義	參考基準(導入 90 天)
葉·輸出	週活躍率 (WAU/授權數)	一週內至少完成一次「有效任務」的人數 ÷ 已發授權人數。有效任務要排除純登入、純瀏覽	健康 ≥ 40%;< 20% 代表採用失敗
葉·輸出	深度使用率	每位活躍者每週有效任務數的中位數	≥ 5 次/週為黏著;< 2 次多半是嘗鮮
幹·採用	任務完成率	使用者發起的任務中,不需人工重做、直接採納結果的比例	≥ 70% 可信賴;< 50% 使用者會退回舊流程
幹·留存	第 4 週任務留存	第 1 週用過的人,第 4 週仍在用的比例(以人為單位,非以次數)	≥ 55% 為過關線;跌破 40% 需立刻介入
根·價值	單任務工時節省	(導入前該任務平均耗時 − 導入後耗時) × 每週任務量	以基線抽樣 30 筆計時,節省 < 20% 難以回本
根·價值	錯誤率變化	產出被下游退件/更正的比例,導入前後對比	目標相對下降 ≥ 30%;上升即為紅線

這棵樹的讀法是由下往上、也由上往下。發現價值層沒動,就往下追:是沒人用(活躍率低),還是用了但結果不能信(任務完成率低)?兩種病,藥完全不同。

週活躍率最容易被灌水。定義「有效任務」時,一定要和第一線一起釘死什麼叫「一次真的用」。我們幫一家製造業客戶做知識問答 RAG 系統時,一開始把「開啟對話框」算一次,活躍率 60% 很好看;改成「問了問題並複製了答案去用」後,掉到 23%。後面那個數字才是真的。

任務完成率是採用的生死線,也是最被忽略的一個。使用者不會抱怨,他們只是默默不再用——因為系統給的答案有六成要自己重查,那還不如自己來。這個指標低,通常不是模型問題,是脈絡(context)沒接進去:缺了內部術語、缺了最新的規章、缺了那家公司「哪裡都不一般」的例外規則。

第 4 週留存要以「人」為單位算,不要以「次數」。次數會被少數重度使用者撐住,遮住大多數人已經流失的事實。看人頭,你才知道採用是在擴散還是在萎縮。

工時節省與錯誤率必須有導入前的基線,否則事後再多漂亮的數字都是各說各話。這件事只能在專案啟動當週做——抽 30 筆代表性任務,計時、記退件率。錯過了這扇窗,你就永遠證明不了價值,後面談續約會非常吃虧。

最後一個判斷:別把 KPI 掛在「這套 AI 平台」這種大顆粒上,要掛在具體任務上——「理賠初審的資料彙整」「客服工單的首次分類」「業務提案的競品比對」。任務夠小,基線才量得準,價值才歸得了因,採用失敗時你才知道要修哪一段流程。

我們自己進場做前線部署時,第一週不寫程式,先和客戶一起把這棵樹畫出來、把基線量掉。因為指標設計錯了,後面上線做得再好,都只是又一個活躍率 4% 的漂亮 Demo。指標設對了,這套系統到底有沒有用,三個月後那位營運長自己就答得出來。