ChatGPT以及硅谷AI大战终于升级，长出了“眼睛”和“嘴”。5月中旬，OpenAI和谷歌前后发布重磅AI多模态更新，从基于文字交互的ChatGPT全面升级，实现了“声音，文字和视觉”三者全面结合的人工智能新交互功能，而这，也标志着硅谷科技巨头的生成式AI之战正式进入到第二轮。新一轮竞争，只会更加激烈、更加全面。
OpenAI半小时的发布会让很多人第一反应是直呼「失望」，但随着官网放出更多demo以及更多网友开始试用，大家才发现GPT-4o真的不可小觑，不仅在各种基准测试中稳拿第一，而且有很多发布会从未提及的惊艳功能。
GPT-4o发布不到一周，首个敢于挑战王者的新模型诞生！最近，Meta团队发布了「混合模态」Chameleon，可以在单一神经网络无缝处理文本和图像。10万亿token训练的34B参数模型性能接近GPT-4V，刷新SOTA。
许多临床任务需要了解专业数据，例如医学图像、基因组学，这类专业知识信息在通用多模态大模型的训练中通常不存在。
前有OpenAI的GPT-4o，后有谷歌的系列王炸，先进的多模态大模型接连炸场。
2024年5月17日，智源研究院举办大模型评测发布会，正式推出科学、权威、公正、开放的智源评测体系，发布并解读国内外140余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。
多模态体验，正在开始成为大模型产品的交互标准
与之前的版本相比，GPT-4o最大改进在于它在整合方面的精细度，它将所有模态集成在一个端到端的模型中（All in One）。
北京时间 5 月 14 日凌晨，备受期待的 OpenAI 春季更新发布会上，CTO Mira Murati 宣布发布新的模型迭代版本——GPT-4o，o 代表「omnimodel」（全能模型），原生多模态，改进了文本、视觉和音频的能力。
5月14日凌晨，OpenAI终于发布了Sam Altman提前造势的“Magic（魔法）”，主要包括三个重点发布，ChatGPT新UI、桌面版GPT、以及最重要的，新的多模态模型GPT-4o。
