Aleph Alpha 开源 Kolibri：78.1B 参数英德 MoE，每 token 仅启用 3.46B

摘要

Aleph Alpha 发布 Kolibri，一款 78.1B 总参数的开源权重 MoE 语言模型，主打英语与德语，每 token 仅启用 3.46B 参数，约 4.4% 利用率。特色包括最高 1,048,576 token 上下文、可依需求调整推理投入，以及 Apache 2.0 授权权重，已上架 Hugging Face。部署方面，FP8 检查点约 78GB，可於单张 B200、B300 或 H200，或两张 H100 上执行，透过 vLLM 搭配 Kolibri 专属推理与工具呼叫解析器提供服务。模型由 40 层滑动视窗加 10 层全注意力构成以支援百万级上下文，以 24 兆 toke…

重點整理

开发者可用单张或两张 GPU 部署百万级上下文模型，降低自建推论成本，但须自行承担维运与合规责任。
对需要在自有或受监管环境部署双语模型的团队，这是可自行下载与维运的具体选项。

开源模型

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。