原始來源Automatica Press
摘要
Cmpnd 发布 dspy-wsp 0.2.0,一个原型 DSPy 优化器,让前沿 LLM 在不做梯度更新的情况下编辑较小模型的权重。单靠权重编辑在五个决策模型上带来 1.9 至 16.1 个百分点的准确度提升;搭配 ReAnchor DSPy 优化器后提升至 6.5 至 20.0 个百分点。运作方式是由 writer LLM 在沙箱化 Python 核心中执行、编辑学生模型权重,并以前向传递预算测试,最佳编辑成为补丁。补丁储存变更的张量与 SHA-256 杂凑,可存成完整检查点;核心无 GPU、无网路,且禁止编辑嵌入、输出层与最终 norm。需求为 Python 3.11+ 与 write…
重點整理
- 开发者可用相对轻量的流程调整小模型;但成效高度依赖 writer 模型选择与存取权限,需自行验证。
- 展示无梯度、免 GPU 的模型调校新路径,对想把小模型特化到特定任务的开发者有实验价值。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。