AI资讯新闻榜单内容搜索-上下文

关键词: 模型训练,token,上下文,AI学术

自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。

关键词: Kimi Chat,Sam Altman,AI ,AI周易,AI算命

最近，Kimi Chat 的上下文长度从 20 万汉字升级到了 200 万汉字，10 倍的差距已经足够产生一次质变，做很多之前做不了的事情。感谢月之暗面给了提前测试的机会，我们直接开测！

关键词: 32k上下文,Mistral 7B ,Mistral 7B v0.2,基模型,Mistral AI

刚刚，Mistral AI 的模型又更新了。 这次开源一如既往地「突然」，是在一个叫做 Cerebral Valley 的黑客松活动上公布的。

关键词: AI,AI大模型,Gemini,RAG,上下文

本文讨论了AI大模型的长上下文在生成式人工智能中的意义和影响。通过对Gemini 1.5和RAG技术的对比和分析，文章指出Gemini在处理长文档和长上下文方面表现出色，因此有人认为RAG技术已经过时。

关键词: token,向量数据库,RAG,Claude 3,Gemini 1.5

“Claude 3、Gemini 1.5，是要把RAG（检索增强生成）给搞死了吗？”

关键词: 月之暗面,Kimi,国产大模型,超长上下文

半年时间，月之暗面把 AI 模型支持的上下文长度提升了一个数量级，实现了 200 万字上下文的「无损压缩」。

关键词: 万亿大模型,阶跃星辰,阶跃星辰大模型,Step-1V,Step-2

首先先来看看模型底座，阶跃星辰发布了两款，分别是Step-1V和Step-2。其中Step-1V具有千亿参数，支持多模态能力，和GPT4-Turbo一样，128K上下文，不过这款不算惊艳，只能算主流大模型中的正常水平。

关键词: 零一万物,Chat,多模态,李开复,零一万物大模型

3月，国内外模型公司动作频频。国产大模型独角兽“五小虎”之一零一万物也有诸多新动作。

关键词: NLP,清华NLP,InfLLM,超长上下文,token,模型训练

挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。

关键词: Llama-2,羊驼大模型,上下文限制,CEPE,并行编码上下文扩展

陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。