AI资讯新闻榜单内容搜索-大型语言模型

关键词: 大模型,文档截断,模型训练,AI学术

在大型语言模型的训练过程中，数据的处理方式至关重要。

关键词: Medusa2,AI,模型训练,LLMs,顺序解码器

传统上，大型语言模型（LLMs）被认为是顺序解码器，逐个解码每个token。

关键词: AI数学,MUSTARD,LLM,大模型, LLMs

近年来，大型语言模型（LLM）在数学应用题和数学定理证明等任务中取得了长足的进步。数学推理需要严格的、形式化的多步推理过程，因此是 LLMs 推理能力进步的关键里程碑， 但仍然面临着重要的挑战。

关键词: AI,AI论坛,AlphaFold,人工智能

人工智能（AI）工具正在改变科学研究的方式。AlphaFold基本解决了蛋白质结构预测难题；DeepMD大大提高了分子模拟的效率和精度；而新兴的大型语言模型，如ChatGPT等，也正在科学研究领域开疆拓土。

关键词: OctopusV3,AI大模型,GPT-4V,GPT-4,多模态模型

多模态 AI 系统的特点在于能够处理和学习包括自然语言、视觉、音频等各种类型的数据，从而指导其行为决策。近期，将视觉数据纳入大型语言模型 (如 GPT-4V) 的研究取得了重要进展，但如何有效地将图像信息转化为 AI 系统的可执行动作仍面临挑战。

关键词: LLM,微调,LongRoPE,模型训练,上下文

大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token

关键词: openai,Q*,Q函数,chatGPT,AGI

在对齐大型语言模型（LLM）与人类意图方面，最常用的方法必然是根据人类反馈的强化学习（RLHF）

关键词: LLM,Patchscopes,AI框架,谷歌,谷歌AI

虽然大型语言模型（LLM）在各种常见的自然语言处理任务中展现出了优异的性能，但随之而来的幻觉，也揭示了模型在真实性和透明度上仍然存在问题。

关键词: Mamba,MLLM,模型权重,Transformer,GPT-4

近年来，多模态大型语言模型（MLLM）在各个领域的应用取得了显著的成功。然而，作为许多下游任务的基础模型，当前的 MLLM 由众所周知的 Transformer 网络构成，这种网络具有较低效的二次计算复杂度。

关键词: 大模型,token,模型训练,幻觉,AI学术

如今，大型语言模型（LLM）已经成为了我们生活中的好帮手