HuggingFace教你怎样做出SOTA视觉模型
HuggingFace教你怎样做出SOTA视觉模型前有OpenAI的GPT-4o，后有谷歌的系列王炸，先进的多模态大模型接连炸场。
来自主题: AI技术研报
11534 点击 2024-05-17 17:49
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
前有OpenAI的GPT-4o，后有谷歌的系列王炸，先进的多模态大模型接连炸场。
今年的Google Shoreline圆形剧场 ，弥漫着一种前所未有的角斗场般的气息。
OpenaAI给2024年5月14日的这场发布会取名“春季功能更新”，就像它们形容当初ChatGPT的发布是一次“低调的研究预览”一样。
北京时间 5 月 14 日凌晨，备受期待的 OpenAI 春季更新发布会上，CTO Mira Murati 宣布发布新的模型迭代版本——GPT-4o，o 代表「omnimodel」（全能模型），原生多模态，改进了文本、视觉和音频的能力。
2023-2024年，以 GPT-4V、Gemini、Claude、LLaVA 为代表的多模态大模型（Multimodal LLMs）已经在文本和图像等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。
在机器学习和计算机视觉中，让机器准确地识别和理解手和物体之间的交互动作，那是相当费劲。
我们知道，球状星团是一种受引力束缚，成员由几万颗到数百万颗恒星组成的古老星团，在外观上大多呈球形，但也有可能受其他天体系统的引力影响使得形状偏离球形。球状星团的动力学演化过程，星族合成路径等是当今天文学界的研究热点。
根据路透社5月4日消息，著名华人计算机科学家李飞飞正在建立一家初创公司。这家公司会利用类似人类对视觉数据的处理，使 AI 能够进行高级推理。这种AI算法使用的概念被称为“空间智能”。至于新公司的名字，还没有向外界披露。
如今的生成式AI在人工智能领域迅猛发展，在计算机视觉中，图像和视频生成技术已日渐成熟，如Midjourney、Stable Video Diffusion [1]等模型广泛应用。然而，三维视觉领域的生成模型仍面临挑战。
自2021年诞生，CLIP已在计算机视觉识别系统和生成模型上得到了广泛的应用和巨大的成功。我们相信CLIP的创新和成功来自其高质量数据（WIT400M），而非模型或者损失函数本身。虽然3年来CLIP有大量的后续研究，但并未有研究通过对CLIP进行严格的消融实验来了解数据、模型和训练的关系。