MIT 团队以 GPT-6 Astra 直接改写 Qwen 开放权重，数学表现大幅提升

摘要

MIT CSAIL 研究团队用 OpenAI 的 GPT-6 Astra 直接修改开源 Qwen 模型的权重，把 MATH-500 成绩从 7.9% 提升到 48.1%，约六倍，而改动的权重仅约 0.016%。这种被称为权重空间程式化的方法，不倚赖传统梯度训练，由 Astra 检视目标网路、提出修改并直接套用，改善主要来自修正重复性推理。研究也显示 AI 系统可检视、修补甚至建构其他神经网路，但团队提醒此法未必更快、更便宜或在所有情况更有效。实验涉及约 158 轮对话、80 次 Python 执行与约 20 小时运算，期间还发生一次服务中断。

重點整理

研究团队与模型维护者可探索针对特定能力的权重修补，但目前尚无商用部署，实务上仍须与传统训练方法并行验证。
关注模型后训练与开源权重再利用的人，可从这则了解一种不靠梯度训练的替代路线及其明确限制。

模型后训练权重编辑

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。