360开源FG-CLIP2:登顶29项全球基准测试 重新定义视觉语言模型

近期,360集团低调开源的视觉语言对齐模型FG-CLIP2,在全球科技圈掀起热议。这款模型在涵盖长短文本图文检索、目标检测等在内的29项权威公开基准测试中,全面超越了科技巨头Google的SigLIP 2与Meta的MetaCLIP2,标志着中国在AI基础模型领域取得了又一突破性进展。

360开源FG-CLIP2:登顶29项全球基准测试 重新定义视觉语言模型

FG-CLIP 2性能雷达图

360开源FG-CLIP2:登顶29项全球基准测试 重新定义视觉语言模型

中文benchmark综合排名

从“看得见”到“看得清”:攻克AI视觉“细粒度”难题

如果说OpenAI在2021年提出的CLIP模型,为AI配上了一副能“看清世界”的普通眼镜;那么360的FG-CLIP2,则是为AI装备了一台“高精度光学显微镜”,使其能够“洞察入微”。它成功攻克了CLIP模型长期存在的“细粒度识别”痛点。

传统CLIP模型善于理解图像的全局概念,但在区分细微的物体属性、复杂的空间关系以及精准的语言表达时,往往力不从心。FG-CLIP2则实现了质的飞跃:它不仅能辨别出猫的具体品种,还能在遮挡情况下精准判断其状态;面对包含多个物体的复杂场景,其细节识别置信度仍高达96%。这种从“宏观”到“微观”的能力跃迁,是AI真正理解物理世界的关键一步。

360开源FG-CLIP2:登顶29项全球基准测试 重新定义视觉语言模型

FG-CLIP2效果案例

三大根本性创新,构筑技术护城河

在模型核心上,它实现了三大根本创新:第一,层次化对齐架构,让模型能像人眼一样,同时把握宏观场景与微观细节,实现从“看得见”到“看得清”的跨越。第二,动态注意力机制,使模型可以智能聚焦于图像关键区域,以最小算力代价换取精准的细节捕捉能力。第三,双语协同优化策略,从底层解决了中英文理解不平衡的难题,实现了真正的双语原生支持。

卓越的性能离不开强大的底层支撑。FG-CLIP2依托于自研的超大规模高质量数据集FineHARD。该数据集不仅包含详尽的全局描述和千万级的局部区域标注,还创新性地引入了由大模型生成的“难负样本”,极大地锤炼了模型的辨别能力。

在训练方法上,模型采用了革命性的两阶段策略。其关键的第二阶段摒弃了传统CLIP的“整体对整体”的粗放对齐模式,升级为“局部对局部”的精细对齐,这正是其实现细粒度理解的精髓所在。

通过这一系列紧密结合的技术创新,FG-CLIP2成功攻克了长期困扰行业的“细粒度识别”难题,并将其领先能力通过API等形式开放,赋能千行百业的智能化升级。

360开源FG-CLIP2:登顶29项全球基准测试 重新定义视觉语言模型

FG-CLIP2训练策略

告别“差不多”AI:细粒度视觉撬动产业新支点

FG-CLIP2的价值不仅在于实验室指标的领先,更在于其广泛而深远的行业应用潜力,推动AI从“感知”走向“认知”,从“可用”走向“好用”。

在电商领域,它能精准理解“白色蕾丝边、袖口有珍珠装饰的连衣裙”等复杂描述,实现“所想即所得”的精准搜索,彻底革新商品检索与推荐体验,减少退货率,直接提升商业转化。

在具身智能领域,它是机器人的“慧眼”,能精准执行“拿餐桌上的红色水杯”或“把玩具放进绿色收纳箱”等指令,通过精准识别物体属性与空间关系,让机器人在家庭、仓储等复杂场景中的操作成为可能。

此外,其能力同样赋能于AIGC内容生成、内容审核及安防监控等多个关键场景,通过洞察细节,确保生成内容的精准性、审核的可靠性以及安防检索的高效性,为各行各业的智能化升级奠定了坚实的视觉理解基石。

构建AI底层能力:360的AI长期主义

FG-CLIP2的技术突破并非偶然,而是360对AI底层能力的长期坚持。作为国内较早布局人工智能研究的企业,360人工智能研究院已持续深耕多模态领域多年。从21年起,在大模型方向上团队累计在ICML、NeurIPS、ICCV等顶级会议发表论文12篇,并在多项国际AI竞赛中夺冠。

此外,360依托浏览器、搜索、安全等丰富的业务生态,积累了百亿级的图文数据,并结合自研的大规模高质量数据集FineHARD,为训练FG-CLIP2这样的顶尖模型提供了独一无二的“数据燃料”。同时,强大的工程化能力确保了模型不仅在学术上领先,更能在实际业务中高效、稳定地运行,其推理速度达到同类模型的1.5倍。

此次开源FG-CLIP2,是360在AI基础模型领域的一次关键落子,其意义远不止于展示技术实力,更是为中国构建自主可控的AI技术体系,添上一块重要基石。

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,可联系本站进行二次审核删除:fireflyrqh@163.com。
Like (0)
Previous 2025年11月3日 下午3:22
Next 2025年11月3日 下午5:52

相关推荐