Code & Chain · Signal Desk

實測顯示 AI 編碼代理近四分之三任務仍需人工收尾

原始來源the-decoder.com

摘要

新基準 Co-Design Bench 以真實使用者對網頁應用的改版需求測試編碼代理,輸入包含圖片、音訊與文件。結果顯示,即使最強的 GPT-6 Astra 也只有約 26.4% 的任務完全正確,平均任務覆蓋率約 70%,但近四分之三的任務仍需明顯人工收尾;其他模型表現更差,且當任務同時涉及版面、設計、互動與內容時會進一步惡化。研究也指出,讀取、寫入與執行程式碼的 harness 差異會左右結果,因此模型與環境必須一起回報。限制包括每項任務僅一則固定需求、不允許中途追問,且 AI 評審本身可能出錯。

重點整理

  • 團隊在估算導入效益時,應把人工審查與清理工時計入,並針對自家 harness 做基準測試而非只看模型排行。
  • 用真實改版需求給出可檢驗的期待管理數據,避免高估全自動開發。

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。