蚂蚁联手人大搞出AI大模型新突破！LLaDA—MoE性能比肩主流，还要全球开源

蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型LLaDA—MoE，该模型通过非自回归掩码扩散机制，在代码、数学等17项基准测试中平均性能提升8.4%，接近主流自回归模型Qwen2.5—3B—Instruct水平。模型采用7B总参数（激活1.4B）架构，基于蚂蚁自研技术完成20T数据训练，并计划近期向全球开源模型权重及推理框架，蚂蚁集团表示将持续投入AGI领域，推动扩散模型成为通向AGI的主干道。