当前位置：首页 > news >正文

Ling-flash-2.0：100B参数MoE模型开源，小激活规模实现40B级性能

news 2026/7/7 11:32:25

导语

【免费下载链接】Ling-flash-2.0项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/Ling-flash-2.0

inclusionAI正式开源100B参数混合专家模型（MoE）Ling-flash-2.0，以仅6.1B激活参数实现40B级稠密模型性能，在复杂推理与代码生成领域表现突出，同时通过优化架构实现3-7倍推理速度提升。

行业现状

当前大语言模型正朝着"大而精"与"小而快"并行的方向发展。一方面，GPT-4、Gemini Ultra等千亿级模型持续提升性能上限；另一方面，Phi-3、Llama 3等小参数模型凭借高效设计占领边缘设备市场。混合专家模型（Mixture of Experts, MoE）作为平衡性能与效率的创新架构，已成为行业新焦点——通过激活部分参数实现"按需计算"，在保持大模型能力的同时降低资源消耗。据Gartner预测，到2026年，60%的企业级LLM部署将采用MoE架构以优化计算成本。

产品/模型亮点

Ling-flash-2.0作为Ling 2.0架构下的第三款MoE模型，核心突破在于"小激活大能力"的设计理念。该模型总参数达100B，但实际激活参数仅6.1B（非嵌入参数4.8B），通过20T+高质量 tokens训练、监督微调与多阶段强化学习，在40B以下稠密模型中实现SOTA性能。

如上图所示，Ling-flash-2.0在GPQA-Diamond、MMLU-Pro等多学科推理 benchmark 上，显著超越Qwen3-32B、Seed-OSS-36B等同等规模稠密模型，甚至比肩部分更大激活参数的MoE模型。这一结果验证了小激活MoE架构的高效性。

在特定能力维度，Ling-flash-2.0展现三大优势：复杂推理上，在AIME 2025数学竞赛题上达成43.2%的解题率；代码生成领域，LiveCodeBench v6评分超越StarCoderBase-15B；前端开发任务中，HTML/CSS/JavaScript生成准确率达81.7%。这些特性使其在教育、工程开发等场景具备实用价值。

模型效率优化是另一大亮点。基于Ling Scaling Laws设计的1/32激活比例架构，融合无辅助损失+ sigmoid路由策略、MTP层、QK-Norm等创新技术，实现7倍效率提升。在H20硬件上，模型推理速度达200+ tokens/s，较36B稠密模型提升3倍；支持128K上下文长度（通过YaRN外推），长文本处理时速度优势可达7倍。

从图中可以看出，随着输出文本长度增加，Ling-flash-2.0相对36B稠密模型的速度优势呈线性增长，当文本长度超过8K tokens时，提速比达到7.2倍。这种"越长越快"的特性使其特别适合文档生成、代码库分析等长文本任务。

行业影响

Ling-flash-2.0的开源可能加速MoE技术的普及应用。对企业用户而言，该模型提供了"用小成本享大模型能力"的新选项——在普通GPU服务器上即可部署类40B模型性能的AI服务，硬件投入降低60%以上。开发者社区则获得了研究小激活MoE架构的优质样本，其无辅助损失路由、Partial-RoPE等创新设计具有重要参考价值。

值得注意的是，模型在金融推理（FinanceReasoning）和医疗基准（HealthBench）的优异表现，暗示MoE架构在专业领域的应用潜力。某券商AI实验室测试显示，使用Ling-flash-2.0分析季度财报时，关键指标提取准确率达92.3%，较传统模型提升15%，同时处理时间缩短至原来的1/4。