AI资讯新闻榜单内容搜索-长上下文

关键词: 月之暗面,Kimi,国产大模型,超长上下文

半年时间，月之暗面把 AI 模型支持的上下文长度提升了一个数量级，实现了 200 万字上下文的「无损压缩」。

关键词: 零一万物,Chat,多模态,李开复,零一万物大模型

3月，国内外模型公司动作频频。国产大模型独角兽“五小虎”之一零一万物也有诸多新动作。

关键词: NLP,清华NLP,InfLLM,超长上下文,token,模型训练

挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。

关键词: Gemini 1.5,谷歌AI,多模态AI,超长上下文

这两天，几乎整个AI圈的目光都被OpenAI发布Sora模型的新闻吸引了去。其实还有件事也值得关注，那就是Google继上周官宣Gemini 1.0 Ultra 后，火速推出下一代人工智能模型Gemini 1.5。

关键词: Mamba,MoE-Mamba,MoE,模型训练

状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色，成为了基于注意力的 Transformer 架构的一大有力替代架构。

关键词: 书生·浦语2.0,InternLM2,国产大模型

新一代国产开源大语言模型来了！200K超长上下文「完美」支持，20B版本综合性能全面领先。

关键词: 大模型,上下文限制,AI,LLM

作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。

关键词: 百川智能,192K上下文,5000万tokens

就在昨天，百川智能正式发布Baichuan2-Turbo系列API，192K的超长上下文窗口+搜索增强知识库，解决了困扰行业已久的大模型商用落地难问题。

关键词: GPT-4 Turbo,RAG,LLM

RAG或许就是大模型能力飙升下一个未来。RAG+GPT-4，4%的成本，便可拥有卓越的性能。

关键词: Baichuan2-192K,百川大模型,文心一言

百川智能发布Baichuan2-192K大模型，上下文窗口长度高达192K，是目前全球最长的上下文窗口。Baichuan2-192K能够一次处理约35万个汉字，是目前支持长上下文窗口最优秀大模型Claude2（支持100K上下文窗口，实测约8万字）的4.4倍，更是GPT-4（支持32K上下文窗口，实测约 2.5万字）的14倍。