Code & Chain · Signal Desk

Anthropic 推 Message Threads,長對話首字延遲降低約 35%

原始來源The Decoder補充:The New Stack

摘要

Anthropic 為 Claude 推出公開 beta 的 Message Threads,改善長對話的回應速度。原本每次 API 呼叫都要重送完整對話歷史,現在只傳輸自上一則訊息以來的變更,使 50 萬至 100 萬 token 的大型請求首字延遲降低約 35%。官方點名的用途包括編碼代理、電腦操作代理,以及處理大量文件與影像的工作流。執行緒在閒置五分鐘後會於記憶體中保持加密。token 用量不變,因為 Claude 仍處理完整歷史。服務可用於 Claude,並透過 AWS、Microsoft Foundry 與 Google Cloud 提供。

重點整理

  • 編碼與文件處理類代理的回應更即時,但閒置五分鐘即失效的限制會影響長時間掛機的工作流設計。
  • 跑長 session 的代理開發者可直接受益於延遲下降,但別期待成本同步下降。

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。