近期,360集团低调开源的视觉语言对齐模型FG-CLIP2,在全球科技圈掀起热议。这款模型在涵盖长短文本图文检索、目标检测等在内的29项权威公开基准测试中,全面超越了科技巨头Google的SigLIP 2与Meta的MetaCLIP2,标志着中国在AI基础模型领域取得了又一突破性进展。
FG-CLIP 2性能雷达图
中文benchmark综合排名
从“看得见”到“看得清”:攻克AI视觉“细粒度”难题
如果说OpenAI在2021年提出的CLIP模型,为AI配上了一副能“看清世界”的普通眼镜;那么360的FG-CLIP2,则是为AI装备了一台“高精度光学显微镜”,使其能够“洞察入微”。它成功攻克了CLIP模型长期存在的“细粒度识别”痛点。
传统CLIP模型善于理解图像的全局概念,但在区分细微的物体属性、复杂的空间关系以及精准的语言表达时,往往力不从心。FG-CLIP2则实现了质的飞跃:它不仅能辨别出猫的具体品种,还能在遮挡情况下精准判断其状态;面对包含多个物体的复杂场景,其细节识别置信度仍高达96%。这种从“宏观”到“微观”的能力跃迁,是AI真正理解物理世界的关键一步。
FG-CLIP2效果案例
三大根本性创新,构筑技术护城河
在模型核心上,它实现了三大根本创新:第一,层次化对齐架构,让模型能像人眼一样,同时把握宏观场景与微观细节,实现从“看得见”到“看得清”的跨越。第二,动态注意力机制,使模型可以智能聚焦于图像关键区域,以最小算力代价换取精准的细节捕捉能力。第三,双语协同优化策略,从底层解决了中英文理解不平衡的难题,实现了真正的双语原生支持。
卓越的性能离不开强大的底层支撑。FG-CLIP2依托于自研的超大规模高质量数据集FineHARD。该数据集不仅包含详尽的全局描述和千万级的局部区域标注,还创新性地引入了由大模型生成的“难负样本”,极大地锤炼了模型的辨别能力。
在训练方法上,模型采用了革命性的两阶段策略。其关键的第二阶段摒弃了传统CLIP的“整体对整体”的粗放对齐模式,升级为“局部对局部”的精细对齐,这正是其实现细粒度理解的精髓所在。
通过这一系列紧密结合的技术创新,FG-CLIP2成功攻克了长期困扰行业的“细粒度识别”难题,并将其领先能力通过API等形式开放,赋能千行百业的智能化升级。
FG-CLIP2训练策略
告别“差不多”AI:细粒度视觉撬动产业新支点
FG-CLIP2的价值不仅在于实验室指标的领先,更在于其广泛而深远的行业应用潜力,推动AI从“感知”走向“认知”,从“可用”走向“好用”。
在电商领域,它能精准理解“白色蕾丝边、袖口有珍珠装饰的连衣裙”等复杂描述,实现“所想即所得”的精准搜索,彻底革新商品检索与推荐体验,减少退货率,直接提升商业转化。
在具身智能领域,它是机器人的“慧眼”,能精准执行“拿餐桌上的红色水杯”或“把玩具放进绿色收纳箱”等指令,通过精准识别物体属性与空间关系,让机器人在家庭、仓储等复杂场景中的操作成为可能。
此外,其能力同样赋能于AIGC内容生成、内容审核及安防监控等多个关键场景,通过洞察细节,确保生成内容的精准性、审核的可靠性以及安防检索的高效性,为各行各业的智能化升级奠定了坚实的视觉理解基石。
构建AI底层能力:360的AI长期主义
FG-CLIP2的技术突破并非偶然,而是360对AI底层能力的长期坚持。作为国内较早布局人工智能研究的企业,360人工智能研究院已持续深耕多模态领域多年。从21年起,在大模型方向上团队累计在ICML、NeurIPS、ICCV等顶级会议发表论文12篇,并在多项国际AI竞赛中夺冠。
此外,360依托浏览器、搜索、安全等丰富的业务生态,积累了百亿级的图文数据,并结合自研的大规模高质量数据集FineHARD,为训练FG-CLIP2这样的顶尖模型提供了独一无二的“数据燃料”。同时,强大的工程化能力确保了模型不仅在学术上领先,更能在实际业务中高效、稳定地运行,其推理速度达到同类模型的1.5倍。
此次开源FG-CLIP2,是360在AI基础模型领域的一次关键落子,其意义远不止于展示技术实力,更是为中国构建自主可控的AI技术体系,添上一块重要基石。
