AI资讯新闻榜单内容搜索-长文本能力

关键词: AI,模型训练,人工智能,RoPE

长文本能力对语言模型（LM，Language Model）尤为重要，试想，如果 LM 可以处理无限长度的输入文本，我们可以预先把所有参考资料都喂给 LM，或许 LM 在应对人类的提问时就会变得无所不能。

关键词: AI,LIFT,模型训练,人工智能

长文本任务是当下大模型研究的重点之一。在实际场景和应用中，普遍存在大量长序列（文本、语音、视频等），有些甚至长达百万级 tokens。

关键词: AI,LongPPL,模型训练,人工智能

随着大模型在长文本处理任务中的应用日益广泛，如何客观且精准地评估其长文本能力已成为一个亟待解决的问题。

关键词: MLPD,长文本能力,模型训练,GPT-4。Kimi Chat

大模型长文本能力测试，又有新方法了！

关键词: CLIP,长文本能力,多模态,模型训练

CLIP长文本能力被解锁，图像检索任务表现显著提升！一些关键细节也能被捕捉到。上海交大联合上海AI实验室提出新框架Long-CLIP。

关键词: 长文本,大模型,AI Lab,林达华

“据我了解，国内多个一线大模型机构，都已经突破了兆级的长文本能力。”以上，是“2024全球开发者先锋大会”大模型前沿论坛会间隙，上海人工智能实验室领军科学家林达华与量子位的交谈剪影。

关键词: 大模型,长文本能力,Lora,Temp-Lora

来看一个奇妙新解：和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。