AI资讯新闻榜单内容搜索-Token

关键词: token,模型训练,Mamba

模型通过学习这些 token 的上下文关系以及如何组合它们来表示原始文本或预测下一个 token。

关键词: tokens,Mistral,MiniCPM,面壁智能

一个体量仅为2B的大模型，能有什么用？答案可能超出你的想象。

关键词: MiniCPM,Mistral-7B,Llama2-13B,token,小模型

2B性能小钢炮来了！刚刚，面壁智能重磅开源了旗舰级端侧多模态模型MiniCPM，2B就能赶超Mistral-7B，还能越级比肩Llama2-13B。成本更是低到炸裂，170万tokens成本仅为1元！

关键词: 多模态大模型,MoE-LLaVA,LLaVA-1.5-7B

对于大型视觉语言模型（LVLM）而言，扩展模型可以有效提高模型性能。然而，扩大参数规模会显著增加训练和推理成本，因为计算中每个 token 都会激活所有模型参数。

关键词: 哄哄模拟器,AI社交,聊天AI,大模型商业化

24 小时涌入超过 60 万用户，消耗了大模型十几亿 token，发生 2000 万次对话，而事情的起源却是一次吵架。

关键词: AI大模型,token,NLP,GPT

我基于结合大量示例及可视化的图形手段给大家科普了AI大模型的相关算法和核心概念。

关键词: 大模型,模型训练,语料库,MathPile

当前智能对话模型的发展中，强大的底层模型起着至关重要的作用。这些先进模型的预训练往往依赖于高质量且多样化的语料库，而如何构建这样的语料库，已成为行业中的一大挑战。

关键词: Mixtral 8x7B,小参赛模型,Mistral AI,Llama 2

爆火社区的Mixtral 8x7B模型，今天终于放出了arXiv论文！所有模型细节全部公开了。

关键词: StreamingLLM,SwiftInfer,上下文

22倍加速还不够，再来提升46%，而且方法直接开源！这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。

关键词: LLM,StreamingLLM

在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM，能够在不牺牲推理速度和生成效果的前提下，可实现多轮对话总共 400 万个 token 的流式输入，22.2 倍的推理速度提升。