摘要
Anthropic 為 Claude 推出公開 beta 的 Message Threads,改善長對話的回應速度。原本每次 API 呼叫都要重送完整對話歷史,現在只傳輸自上一則訊息以來的變更,使 50 萬至 100 萬 token 的大型請求首字延遲降低約 35%。官方點名的用途包括編碼代理、電腦操作代理,以及處理大量文件與影像的工作流。執行緒在閒置五分鐘後會於記憶體中保持加密。token 用量不變,因為 Claude 仍處理完整歷史。服務可用於 Claude,並透過 AWS、Microsoft Foundry 與 Google Cloud 提供。
重點整理
- 編碼與文件處理類代理的回應更即時,但閒置五分鐘即失效的限制會影響長時間掛機的工作流設計。
- 跑長 session 的代理開發者可直接受益於延遲下降,但別期待成本同步下降。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。