Code & Chain · Signal Desk

实测显示 AI 编码代理近四分之三任务仍需人工收尾

原始來源the-decoder.com

摘要

新基准 Co-Design Bench 以真实使用者对网页应用的改版需求测试编码代理,输入包含图片、音讯与文件。结果显示,即使最强的 GPT-6 Astra 也只有约 26.4% 的任务完全正确,平均任务覆盖率约 70%,但近四分之三的任务仍需明显人工收尾;其他模型表现更差,且当任务同时涉及版面、设计、互动与内容时会进一步恶化。研究也指出,读取、写入与执行程式码的 harness 差异会左右结果,因此模型与环境必须一起回报。限制包括每项任务仅一则固定需求、不允许中途追问,且 AI 评审本身可能出错。

重點整理

  • 团队在估算导入效益时,应把人工审查与清理工时计入,并针对自家 harness 做基准测试而非只看模型排行。
  • 用真实改版需求给出可检验的期待管理数据,避免高估全自动开发。

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。