AI资讯新闻榜单内容搜索-长上下文

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 长上下文
Jamba 1.5发布,最长上下文,非Transformer架构首次成功领先

Jamba 1.5发布,最长上下文,非Transformer架构首次成功领先

Jamba 1.5发布,最长上下文,非Transformer架构首次成功领先

Jamba是第一个基于 Mamba 架构的生产级模型。Mamba 是由卡内基梅隆大学和普林斯顿大学的研究人员提出的新架构,被视为 Transformer 架构的有力挑战者。

来自主题: AI资讯
7897 点击    2024-08-24 10:07
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频

支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频

支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频

现在,长上下文视觉语言模型(VLM)有了新的全栈解决方案 ——LongVILA,它集系统、模型训练与数据集开发于一体。

来自主题: AI技术研报
9431 点击    2024-08-21 14:20
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

当今的LLM已经号称能够支持百万级别的上下文长度,这对于模型的能力来说,意义重大。但近日的两项独立研究表明,它们可能只是在吹牛,LLM实际上并不能理解这么长的内容。

来自主题: AI资讯
4947 点击    2024-07-23 16:10
速度秒杀GPT-4o!Mistral开源首个22B代码模型破记录,支持80+编程语言

速度秒杀GPT-4o!Mistral开源首个22B代码模型破记录,支持80+编程语言

速度秒杀GPT-4o!Mistral开源首个22B代码模型破记录,支持80+编程语言

就在刚刚,法国AI初创公司Mistral发布了自家首款代码生成模型Codestral。不仅支持32K长上下文窗口以及80多种编程语言,而且还用22B的参数量取得了与70B的Llama 3相近的性能。目前,已经开放API与IDE插件供用户使用。

来自主题: AI技术研报
9654 点击    2024-05-30 15:16
极长序列、极快速度:面向新一代高效大语言模型的LASP序列并行

极长序列、极快速度:面向新一代高效大语言模型的LASP序列并行

极长序列、极快速度:面向新一代高效大语言模型的LASP序列并行

从国际顶流 GPT-4 128K、Claude 200K 到国内「当红炸子鸡」支持 200 万字上下文的 Kimi Chat,大语言模型(LLM)在长上下文技术上不约而同地卷起来了

来自主题: AI技术研报
5492 点击    2024-04-16 18:08
谷歌:假如AI大模型支持无限长上下文,会如何?

谷歌:假如AI大模型支持无限长上下文,会如何?

谷歌:假如AI大模型支持无限长上下文,会如何?

为解决大模型(LLMs)在处理超长输入序列时遇到的内存限制问题,本文作者提出了一种新型架构:Infini-Transformer,它可以在有限内存条件下,让基于Transformer的大语言模型(LLMs)高效处理无限长的输入序列。实验结果表明:Infini-Transformer在长上下文语言建模任务上超越了基线模型,内存最高可节约114倍。

来自主题: AI资讯
8370 点击    2024-04-14 11:32