百萬 Token 的程式庫

過去十年，所有「程式庫級」AI 工具背後，都站著同一個假設：模型一次只看得到程式碼的一小部分。檢索（retrieval）的存在，正是為了掩蓋這道限制——把重要的幾個檔案找出來餵給模型，剩下的就賭它用不到。到了 2026 年中，前沿模型在單一視窗裡吞下上百萬個 token 已是常態——足以把多數正式環境的 repo，或一整季的設計文件，一次塞進同一個 prompt。當初撐起整套架構的那道限制，已經鬆動了。

太早下的結論是：長脈絡（long context）殺死了檢索。並沒有。它做的，是把兩者之間的界線往前推；而這條新界線，比舊的那條更不直覺。一百萬 token 既是很大的視窗，也是很小的 repo；它同時還很慢才填得滿、重複呼叫時很貴，而且——過了幾十萬 token 之後——在中段意外地不可靠。

本白皮書談的，是這條界線在正式環境裡實際落在哪裡：當整個 repo 塞得進視窗時，到底有什麼真的改變了；在哪些情況下完整脈絡勝過檢索、哪些情況下檢索依然勝出，誠實地一筆一筆算清楚；還有那些供應商不會主動報給你的成本，以及為什麼視窗愈大、要塞什麼進去這件事反而愈重要，而不是愈不重要。

我們的立場，來自一線派駐企業、實際打造程式庫級系統的經驗：2026 年中有意思的架構，都是混合式（hybrid）的。檢索退居為「策展人」，負責挑出最該進視窗的那一百萬 token；模型則把這份被組裝好的脈絡，當成一個整體來推理。問題已經不再是「要脈絡還是要檢索」，而是「這一個視窗裡該放什麼，以及這筆帳我怎麼付」。