DiffuSpace开源Clover-35B-A3B:MoE扩散模型提速至680 tokens/s

又是一件科技圈大事,大家怎么看?

10月28日,扩散智能DiffuSpace正式发布并开源了扩散语言模型Clover-35B-A3B-Preview。这款模型采用MoE架构,总参数量达到350亿,但单次token激活仅需约30亿参数,同时支持128K上下文长度和块扩散生成。在智能体编程、工具调用等任务上,它的评测表现已经超过了Mercury 2.5以及同尺寸的Qwen3.6-35B-A3B。

技术路线上,Clover重构了门控Delta网络,通过递归状态来压缩历史上下文,并搭配双向注意力与可学习块大小校准,实现了块级并行去噪的适配。目前,模型的权重和代码已上架Hugging Face和GitHub,支持SGLang、llama.cpp等框架。内部测试显示,整体生成速度可达680 tokens/s,比同规模的自回归方案快了5到10倍。#大厂科技动态#

Previous:

Next: