原始來源Automatica Press
摘要
Cmpnd 發布 dspy-wsp 0.2.0,一個原型 DSPy 優化器,讓前沿 LLM 在不做梯度更新的情況下編輯較小模型的權重。單靠權重編輯在五個決策模型上帶來 1.9 至 16.1 個百分點的準確度提升;搭配 ReAnchor DSPy 優化器後提升至 6.5 至 20.0 個百分點。運作方式是由 writer LLM 在沙箱化 Python 核心中執行、編輯學生模型權重,並以前向傳遞預算測試,最佳編輯成為補丁。補丁儲存變更的張量與 SHA-256 雜湊,可存成完整檢查點;核心無 GPU、無網路,且禁止編輯嵌入、輸出層與最終 norm。需求為 Python 3.11+ 與 write…
重點整理
- 開發者可用相對輕量的流程調整小模型;但成效高度依賴 writer 模型選擇與存取權限,需自行驗證。
- 展示無梯度、免 GPU 的模型調校新路徑,對想把小模型特化到特定任務的開發者有實驗價值。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。