原始來源the-decoder.com
摘要
新基准 Co-Design Bench 以真实使用者对网页应用的改版需求测试编码代理,输入包含图片、音讯与文件。结果显示,即使最强的 GPT-6 Astra 也只有约 26.4% 的任务完全正确,平均任务覆盖率约 70%,但近四分之三的任务仍需明显人工收尾;其他模型表现更差,且当任务同时涉及版面、设计、互动与内容时会进一步恶化。研究也指出,读取、写入与执行程式码的 harness 差异会左右结果,因此模型与环境必须一起回报。限制包括每项任务仅一则固定需求、不允许中途追问,且 AI 评审本身可能出错。
重點整理
- 团队在估算导入效益时,应把人工审查与清理工时计入,并针对自家 harness 做基准测试而非只看模型排行。
- 用真实改版需求给出可检验的期待管理数据,避免高估全自动开发。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。