原始來源aws.amazon.com
摘要
AWS 開源部落格介紹 Infinity,這是與 UC Berkeley 合作、屬於 Hydro 專案的研究執行環境,目標是支援極高併發的 AI 代理。Infinity 在工具呼叫前後以無堆疊協程暫停與恢復代理,用極少記憶體支撐數千個並行代理,並允許長時間、事件驅動的代理工作流,同時支援無伺服器部署,讓底層函式在代理等待時結束。執行環境採有界執行切片、保存代理歷史,並把工具呼叫視為暫停點,還引入合成工具呼叫,在既有模型 API 內傳遞非同步事件與代理間訊息。專案以 Apache 2.0 開源、發布於 GitHub,並提供數分鐘內建立簡單代理的快速入門;屬早期研究版本,徵求社群回饋。
重點整理
- 平台團隊可評估以協程暫停取代長時間輪詢,降低記憶體與運算成本,但須注意其屬研究階段。
- 要建置多代理長期任務平台的團隊,可先以開源執行環境驗證併發模型與成本結構。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。