将图像自动文本化，图像描述质量更高、更准确了
将图像自动文本化，图像描述质量更高、更准确了在当今的多模态大模型的发展中，模型的性能和训练数据的质量关系十分紧密，可以说是 “数据赋予了模型的绝大多数能力”。
来自主题: AI技术研报
5444 点击 2024-06-28 11:28
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在当今的多模态大模型的发展中，模型的性能和训练数据的质量关系十分紧密，可以说是 “数据赋予了模型的绝大多数能力”。
此前Stability AI曾陷入债务危机，经营亏损，多位高层人员流失。
工具使用（Tool Use）和个性化记忆（Personalization Memory）是目前AI Agent最重要的基础设施
能抗衡AlphaFold 3的生命科学大模型终于出现了。初创公司Evolutionary Scale AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理，团队还在实验中发现，它设计的新蛋白质相当于模拟自然界5亿年的进化。
近日，清华大学与密歇根大学联合提出的自动驾驶汽车安全性「稀疏度灾难」问题，发表在了顶刊《Nature Communications》上。研究指出，安全攸关事件的稀疏性导致深度学习模型训练难度大增，提出了密集学习、模型泛化改进和车路协同等技术路线以应对挑战。
天津大学量子智能与语言理解团队创新性地将量子计算引入隐式神经表征领域，提出了量子隐式表征网络（Quantum Implicit Representation Network, QIREN）。
当前的多模态和多任务基础模型，如 4M 或 UnifiedIO，显示出有希望的结果。然而，它们接受不同输入和执行不同任务的开箱即用能力，受到它们接受训练的模态和任务的数量（通常很少）的限制。
在生成式模型的迅速发展中，Image Tokenization 扮演着一个很重要的角色，例如Diffusion依赖的VAE或者是Transformer依赖的VQGAN。这些Tokenizers会将图像编码至一个更为紧凑的隐空间（latent space），使得生成高分辨率图像更有效率。
按部就班 vs. 好奇心驱动，哪个更容易出研究成果？
芯东西6月21日消息，据The Information报道，研发出世界最大芯片的明星AI芯片独角兽Cerebras Systems已向证券监管机构秘密申请IPO。