怎麼評選企業 AI 供應商:12 項準則、加權評分表與 5 個危險訊號

兩季前,一家中型產險公司找我們去「救火」。他們前一年才簽下一套名聲響亮的理賠 AI 系統,採購流程走得漂漂亮亮:三家入圍、功能對照表打勾、Demo 當天主管全場點頭。半年後我到現場,系統的實際使用率是 6%。核賠人員寧可開 Excel,也不進那套系統。

不是產品爛。是整場評選從頭到尾,沒有一題在問:「上線之後,誰負責讓人真的用起來?」

企業 AI 供應商評選,本質上不是在挑一套軟體,而是在挑一個會不會陪你扛到生產線的夥伴。多數採購失敗,不是輸在功能不夠,而是輸在把「Demo 跑得順」當成「專案會成功」。這兩件事的相關性,比你想像的低很多。

評選的真正命題:誰扛上線與採用

我們把評估準則重寫過。傳統的供應商評分表,七成分數壓在功能與價格上;但決定專案生死的,往往是那三成——導入方法、現場責任、採用支援。所以我們的邏輯很簡單:權重要往「上線責任」傾斜。

以下 12 項準則,是我們實際帶客戶做企業 AI 供應商評選時用的框架。權重相加為 100,每項用 1 到 5 分打,乘以權重後加總。

#	評估準則	權重	為什麼重要
1	上線與採用責任歸屬	15	合約有沒有寫明「採用率」是誰的 KPI,還是驗收完就走人
2	導入方法論與現場進駐	12	是派工程師進場共作,還是丟一份 PDF 教學
3	與既有系統的整合深度	11	能不能接你的核心系統、權限、資料管線
4	資料安全與合規落地	10	金融醫療的稽核、地端部署、資料不出境能不能做到
5	領域理解與客製能力	9	懂不懂你這行的流程,還是只有通用模板
6	真實客戶的生產案例	8	要看「上線且在用」的案例,不是得獎 Demo
7	模型與技術的可替換性	7	有沒有把你鎖死在單一模型或封閉平台
8	評估與迭代機制	7	上線後怎麼量測準確率、幻覺率、回饋迴圈
9	團隊組成與資歷	6	進場的是資深工程師,還是外包新手
10	商業模式與定價透明	6	是否隨用量爆量、隱藏授權費
11	交付節奏與里程碑	5	幾週能上第一個可用版本,還是半年才見貨
12	長期支援與知識轉移	4	走了之後,你的人接得住嗎

打完分,80 分以上才值得進入合約談判;60 到 80 分之間,先釐清扣分項再說;低於 60 分,別被 Demo 迷惑。

這張表最大的用處,不是算出一個數字,而是逼採購方在簽約前把「上線責任」攤開來談。第 1 項給到 15 分權重,是刻意的。我們看過太多合約,驗收標準寫的是「系統可正常運作」,而不是「三個月後日活躍使用者達 X 人」。前者供應商很容易達標,後者才是你真正要的東西。

分數之外,有些訊號一出現,我們會直接提高警戒。

第一,Demo 用的永遠是他們準備好的資料。 你要求換成你自己的真實文件、你家的爛掃描檔、你系統裡的髒資料,對方開始面有難色、說「這要另外評估」。生產環境沒有乾淨資料這種東西,連你的資料都不敢碰的供應商,上線時會原地爆炸。

第二,簡報談願景多、談導入少。 整場聽下來都是「賦能」「顛覆」「一站式平台」,但你問「第一週實際要做什麼、誰會坐在我們辦公室」,答案模糊。把架構圖畫得漂亮,不等於知道怎麼讓你的人改變工作習慣。

第三,回答準確率時給不出量測方法。 你問「這個系統的正確率多少、幻覺率怎麼控」,對方只說「很高」「業界領先」,卻講不出用什麼資料集、怎麼評估、上線後如何持續監控。沒有評估機制的 AI,等於沒有煞車。

第四,案例都是「合作」而非「上線」。 官網掛滿 logo,但你追問「這家客戶現在每天有多少人在用、達成什麼業務結果」,話術瞬間虛掉。合作過、得過獎、發過聯合新聞稿,跟真的把系統推上生產線且有人在用,是兩回事。

第五,把責任邊界劃得很清楚——在對他們有利的那一側。 合約裡「交付」的定義是系統通過功能測試,採用是「客戶的組織變革議題」。這句話翻譯過來就是:上線後沒人用,不關我的事。這是最危險的一個訊號,因為它把專案最難、最貴、最容易失敗的部分,悄悄推回給你。

我們後來沒換掉那套系統,而是重做導入:工程師進駐三週,把它接上核心理賠系統、用真實理賠案重訓、跟核賠人員一起改工作流。六週後使用率從 6% 拉到 71%。技術幾乎沒動,動的是「有沒有人扛採用」。

這也是我們在 Tenten 做企業 AI 導入時最堅持的一條線——把工程師嵌進客戶現場,對上線與採用負責,而不是交完 Demo 就走。Demo 很美不算數,上線且有人在用,才算數。評選供應商時,把這句話當成你的第一道篩子。