Code & Chain · Signal Desk

Gemini API 推出工具檢索,大型工具庫按需載入降低延遲

原始來源Google

摘要

Google 在 Gemini API 的 Interactions API 預覽推出工具檢索,讓代理不必一次載入所有工具結構描述。開發者加入 tool_search 工具並對指定工具設定 defer_loading 後,模型只先看到工具名稱與描述,實際結構描述在需要時才於同一請求內載入,搜尋在伺服器端執行,無需自行託管或建立索引。此功能也支援遠端 MCP 伺服器,延後載入會按需載入其全部工具。工具檢索本身不收費,但載入的結構描述仍按輸入計價,支援 Gemini 3.6+ 與所有 Gemini 4 模型。

重點整理

  • 代理開發者應實測延後載入對延遲與準確度的影響,再決定哪些常用工具保持預載。
  • 直接解決工具數量膨脹造成的 token 成本、延遲與準確度漂移問題。

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。