美团LongCat-2.5模型正式开源:1.6万亿参数,支持国产算力部署

美团今天正式开源了其最新的大模型——LongCat-2.5,采用MIT协议,这意味着无论是商业推理部署还是二次训练,都无需额外授权。这头“猫”的核心定位相当明确:它是一款面向长程智能体任务的原生多模态模型。

从规模上看,LongCat-2.5 总参数量达到1.6万亿,但每个token仅激活约480亿参数,支持100万token的超长上下文。官方表示,长上下文带来的直接好处是,在复杂代码库开发、完整项目构建、Visual Coding 以及专业办公场景的端到端交付能力上,都有显著提升。

这种长程能力的飞跃并非通过单一技术捷径实现,而是对整个训练链路的系统性重构。数据层面,团队在训练语料中加入了大量长程任务轨迹,甚至将其Agent在真实环境中的失败“翻车经历”转化为可复现、可验证的训练任务,让模型从错误中学习而非回避问题。

在强化学习环节,美团引入了一项名为“partial rollout”的异步训练技术:对于那些耗时极长、未能一次跑完的任务,系统会保存进度允许后续继续执行。同时,通过动态调整过采样率过滤那些全对或全错的样本组,并利用跨检查点的旧轨迹进行梯度校正,有效降低了训练过程中的陈旧偏差。

美团 LongCat-2.5 参数图

一个颇为有趣的细节是:在训练过程中,任务环境会主动断网、清除git历史与文件缓存,以此堵住模型可能“偷懒”的捷径。同时,由LLM judge全程监督轨迹,对重复思考、重复调用工具以及过度思考等行为施加惩罚性约束——目的很纯粹,就是让模型学会高效地完成任务,而不是在参数空间里玩文字游戏。

视觉方面,LongCat-2.5没有外挂任何独立的视觉模块。它采用了一种多层级离散token的表示方法,将原生分辨率的视觉特征通过残差向量量化逐级补足细节。视觉码本与模型主干联合训练,视觉与文本共享同一套参数,在同一语义空间里协同完成代码生成与视觉理解。

美团 LongCat-2.5 推理图

推理层面,LongCat-2.5采用了W4A4量化方案,即专家权重与激活同时量化到4bit,并通过原生INT4矩阵乘法单元执行计算。官方声称,在已评测的下游任务中,其表现与量化前保持相当,没有出现明显的性能衰减。

更值得关注的是,美团针对国产算力进行了协同优化。针对显存与带宽受限的环境,团队通过分片策略将计算压力分散到超节点内的多张显卡上。配合混合词表并行、MoonEP动态专家复制与零拷贝通信技术,在单卡显存不足80GB的条件下,长序列SFT的单卡吞吐量相比传统DDP基线提升86%。这无疑为国内依赖国产芯片的AI生态提供了极具商业落地价值的参考方案。

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,可联系本站进行二次审核删除:fireflyrqh@163.com。
Like (0)
Previous 2026年11月9日 下午8:34
Next 2026年11月9日 下午11:03

相关推荐