原始來源venturebeat.com
摘要
山東大學一項研究發現，圍繞編碼模型日益複雜的 harness（系統提示、工具與上下文規則）並未帶來可量測的準確率提升，反而可能讓每項任務成本增加三倍。研究以三套生產環境 harness（Claude Code、OpenCode、mini-SWE-agent）搭配五個模型，在 447 項任務上測試，成功率差距在五個百分點內；在最難的 45 項任務上，harness 選擇翻轉結果的比例約 13%，與同一設定重跑的變動幅度相近。同一模型下，不同 harness 的每項任務成本最多相差三倍。結果呼應先前的 HarnessTax 發現，建議企業團隊以任務成功率與成本效率為優先，而非追逐更複雜的 har…
重點整理
- 團隊應建立以任務成功率與每任務成本為指標的內部評測，避免只依賴廠商基準就擴大部署。
- 正在採購或標準化編碼代理的團隊，可用每任務總成本而非廣告上的基準分數來做決策。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。