在 AI 多模态的发展历程中，OpenAI 的 CLIP 让机器第一次具备了“看懂”图像与文字的能力，为跨模态学习奠定了基础。如今，来自 360 人工智能研究院冷大炜团队的 FG-CLIP 2 正式发布并开源，在中英文双语任务上全面超越 MetaCLIP 2 与 SigLIP 2，并通过新的细粒度对齐范式，补足了第一代模型在细节理解上的不足。
统一多模态模型要求视觉表征必须兼顾语义（理解）和细节（生成 / 编辑）。早期 VAE 因语义不足而理解受限。近期基于 CLIP 的统一编码器，面临理解与重建的权衡：直接量化 CLIP 特征会损害理解性能；而为冻结的 CLIP 训练解码器，又因特征细节缺失而无法精确重建。例如，RAE 使用冻结的 DINOv2 重建，PSNR 仅 19.23。
多模态图片检索是计算机视觉和多模态机器学习领域很重要的一个任务。现在大家做多模态图片检索一般会用 CLIP/SigLIP 这种视觉语言大模型，因为他们经过了大规模的预训练，所以 zero-shot 的能力比较强。
昨天在 Copilot 秋季发布会上，微软正式推出了 Mico——一个全新的 Copilot 虚拟角色，它被视为 AI 时代的 Clippy。 这不仅是 Copilot 的一次大整容，也像是在说微软，要继续押注我们需要一个 AI 伴侣，希望 AI 成为一种社交体验。
苹果在 Hugging Face上放大招了！这次直接甩出两条多模态主线：FastVLM主打「快」，字幕能做到秒回；MobileCLIP2主打「轻」，在 iPhone 上也能起飞。更妙的是，模型和Demo已经全开放，Safari网页就能体验。大模型，真·跑上手机了。
智东西9月1日消息，苹果又公布了大模型研发新进展！ 8月28日，苹果在arXiv发布新论文，介绍新一代多模态基础模型MobileCLIP2及其背后的多模态强化训练机制，同天在GitHub、Hugging Face上开源了模型的预训练权重和数据生成代码。
在今年三月份，清华 AIR 和字节联合 SIA Lab 发布了 DAPO，即 Decoupled Clip and Dynamic sAmpling Policy Optimization（解耦剪辑和动态采样策略优化）。
在人工智能领域，对比语言 - 图像预训练（CLIP） 是一种流行的基础模型，由 OpenAI 提出
多模态对齐模型借助对比学习在检索与生成任务中大放异彩。最新趋势是用冻结的大语言模型替换自训文本编码器，从而在长文本与大数据场景中降低算力成本。LIFT首次系统性地剖析了此范式的优势来源、数据适配性、以及关键设计选择，在组合语义理解与长文本任务上观察到大幅提升。
最近，硅谷的一家新成立的名叫「Genesis AI」的公司吸引了我们的注意，他们在最近的种子轮融资中拿到了 1.05 亿美元。据外媒 TechCrunch 报道，这轮融资由美国顶级风投机构 Khosla Ventures、Eclipse 联合领投。前者是 OpenAI 的最早的机构投资者，后者是特斯拉产业背景团队机器人赛道的专业机构。
