Aleph Alpha 開源 Kolibri：78.1B 參數英德 MoE，每 token 僅啟用 3.46B

摘要

Aleph Alpha 發布 Kolibri，一款 78.1B 總參數的開源權重 MoE 語言模型，主打英語與德語，每 token 僅啟用 3.46B 參數，約 4.4% 利用率。特色包括最高 1,048,576 token 上下文、可依需求調整推理投入，以及 Apache 2.0 授權權重，已上架 Hugging Face。部署方面，FP8 檢查點約 78GB，可於單張 B200、B300 或 H200，或兩張 H100 上執行，透過 vLLM 搭配 Kolibri 專屬推理與工具呼叫解析器提供服務。模型由 40 層滑動視窗加 10 層全注意力構成以支援百萬級上下文，以 24 兆 toke…

重點整理

開發者可用單張或兩張 GPU 部署百萬級上下文模型，降低自建推論成本，但須自行承擔維運與合規責任。
對需要在自有或受監管環境部署雙語模型的團隊，這是可自行下載與維運的具體選項。

開源模型

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。