智谱AI的“类GPT-4o”，让我看到了作业帮、小红书、下厨房的影子
智谱AI的“类GPT-4o”，让我看到了作业帮、小红书、下厨房的影子智谱AI发布新视觉模型，看得懂视频，也看得透网页源代码。
来自主题: AI资讯
10156 点击 2024-08-31 15:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
智谱AI发布新视觉模型，看得懂视频，也看得透网页源代码。
在视觉模型的热潮中，有差异化优势才好生存。
来自复旦大学视觉与学习实验室的研究者们提出了一种新型的面向视频模型的对抗攻击方法 - 基于扩散模型的视频非限制迁移攻击（ReToMe-VA）。该方法采用逐时间步对抗隐变量优化策略，以实现生成对抗样本的空间不可感知性；同时，在生成对抗帧的去噪过程中引入了递归 token 合并策略，通过匹配及合并视频帧之间的自注意力 token，显著提升了对抗视频的迁移性和时序一致性。
本文对AI增强的VR在医疗应用中的技术细节、工作流程和下游应用进行了全面审视，并提出了一个系统性的分类方法，将相关工作分为医学视觉增强、VR医学数据处理和VR辅助干预三个主要类别，为未来跨学科研究提供了基础。
微软Phi 3.5系列上新了！mini模型小而更美，MoE模型首次亮相，vision模型专注多模态。
现在，长上下文视觉语言模型（VLM）有了新的全栈解决方案 ——LongVILA，它集系统、模型训练与数据集开发于一体。
本期我们邀请到了 纽约大学计算机科学院博士 童晟邦 带来【多模态大模型：视觉为中心的探索】的主题分享。
作为基础的视觉语言任务，指代表达理解（referring expression comprehension, REC）根据自然语言描述来定位图中被指代的目标。REC 模型通常由三部分组成：视觉编码器、文本编码器和跨模态交互，分别用于提取视觉特征、文本特征和跨模态特征特征交互与增强。
过去几年间，Transformer 架构已经取得了巨大的成功，同时其也衍生出了大量变体，比如擅长处理视觉任务的 Vision Transformer（ViT）。本文要介绍的 Body Transformer（BoT） 则是非常适合机器人策略学习的 Transformer 变体。
在未来，从大语言模型的角度，「Canva可画」会向着更加垂直、更加深耕的方向来发展。