Code & Chain · Signal Desk

Anthropic 推 Message Threads,长对话首字延迟降低约 35%

原始來源The Decoder補充:The New Stack

摘要

Anthropic 为 Claude 推出公开 beta 的 Message Threads,改善长对话的回应速度。原本每次 API 呼叫都要重送完整对话历史,现在只传输自上一则讯息以来的变更,使 50 万至 100 万 token 的大型请求首字延迟降低约 35%。官方点名的用途包括编码代理、电脑操作代理,以及处理大量文件与影像的工作流。执行绪在闲置五分钟后会于记忆体中保持加密。token 用量不变,因为 Claude 仍处理完整历史。服务可用于 Claude,并透过 AWS、Microsoft Foundry 与 Google Cloud 提供。

重點整理

  • 编码与文件处理类代理的回应更即时,但闲置五分钟即失效的限制会影响长时间挂机的工作流设计。
  • 跑长 session 的代理开发者可直接受益于延迟下降,但别期待成本同步下降。

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。