Architecture
百萬 Token 的程式庫
依程式庫任務選擇脈絡整理、檢索與快取策略
作者
Tenten AI Research
AI Infrastructure
發布日期
更新日期
閱讀時間
6 min
long context1M tokensRAGcode intelligencecontext engineering

摘要
較大的輸入視窗,能在同一項請求放入更多程式碼與文件。價值仍取決於任務、語料、權限、模型行為與成本。先用預計採用的 Tokenizer 測量材料,保留來源版本,並替指令、工具與輸出留空間,才能判斷程式庫是否真的放得下。
Google 的 Gemini 3.1 Pro Preview 文件,於 2026 年 8 月 18 日更新,列出 1,048,576 Token 的輸入限制。容量與成功理解全部材料是不同問題。RULER 的 2024 年研究,評估特定模型群與合成任務的長脈絡表現,不能據此設定所有 2026 年模型的共同失效門檻。本指南透過任務驗收、來源控制、觀測延遲及完整成本,比較選定材料的完整脈絡、檢索與快取。
完整內容

從一條工作流程開始。
釐清值得做的下一步。
留下聯絡方式與問題類型,我們會再透過 Email 了解現況,討論流程、整合與開發範圍。