Code & Chain · Signal Desk

GitHub Copilot Evals 進入公開預覽,可為提示、技能與 MCP 工具建立回歸測試

原始來源GitHub Changelog

摘要

GitHub Copilot Evals 進入公開預覽,讓開發者建立可重複執行的測試,衡量 Copilot 在提示、技能、代理與 MCP 工具變動下的行為。使用者可執行評估、查看哪些檢查通過、分析失敗原因,並比較變更前後的差異。此功能以 Vally 作為評估引擎,可在 VS Code、Copilot CLI 或 Copilot App 中執行,於 Customize 中加入 github/evals 即可使用。公開預覽涵蓋 Copilot Individual、Business 與 Enterprise 方案。這意味著團隊可把代理工作流當成程式碼一樣做回歸驗證,而不是只憑體感判斷提示改動的好…

重點整理

  • 開發團隊應為關鍵代理任務建立基準評估,並在每次提示或工具變更後重跑,避免無聲的行為退化。
  • 當提示、技能與 MCP 工具持續變動時,團隊需要可重複的評估來確認代理行為沒有退化。

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。