AI资讯新闻榜单内容搜索-语言模型

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 语言模型
深度解析RAG大模型知识冲突,清华西湖大学港中文联合发布

深度解析RAG大模型知识冲突,清华西湖大学港中文联合发布

深度解析RAG大模型知识冲突,清华西湖大学港中文联合发布

随着人工智能和大型模型技术的迅猛发展,检索增强生成(Retrieval-Augmented Generation, RAG)已成为大型语言模型生成文本的一种主要范式。

来自主题: AI技术研报
9237 点击    2024-07-10 18:43
大模型最强架构TTT问世!斯坦福UCSD等5年磨一剑, 一夜推翻Transformer

大模型最强架构TTT问世!斯坦福UCSD等5年磨一剑, 一夜推翻Transformer

大模型最强架构TTT问世!斯坦福UCSD等5年磨一剑, 一夜推翻Transformer

超越Transformer和Mamba的新架构,刚刚诞生了。斯坦福UCSD等机构研究者提出的TTT方法,直接替代了注意力机制,语言模型方法从此或将彻底改变。

来自主题: AI技术研报
5559 点击    2024-07-09 15:41
Adam有了mini版:内存占用少一半,吞吐量提升50%

Adam有了mini版:内存占用少一半,吞吐量提升50%

Adam有了mini版:内存占用少一半,吞吐量提升50%

在训练大型语言模型(LLM)时,Adam(W) 基本上已经成为了人们默认使用的优化器。

来自主题: AI技术研报
8490 点击    2024-07-06 19:01
避免黑产使用大模型推断用户隐私已迫在眉睫

避免黑产使用大模型推断用户隐私已迫在眉睫

避免黑产使用大模型推断用户隐私已迫在眉睫

瑞士苏黎世联邦理工学院的研究者发现,为ChatGPT等聊天机器人提供支持的大型语言模型可以从看似无害的对话中,准确推断出数量惊人的用户个人信息,包括他们的种族、位置、职业等。

来自主题: AI资讯
6540 点击    2024-07-06 15:52
谷歌DeepMind全新ToT基准:全面评估LLM时间推理能力

谷歌DeepMind全新ToT基准:全面评估LLM时间推理能力

谷歌DeepMind全新ToT基准:全面评估LLM时间推理能力

近日,来自谷歌DeepMind的研究人员,推出了专门用于评估大语言模型时间推理能力的基准测试——Test of Time(ToT),从两个独立的维度分别考察了LLM的时间理解和算术能力。

来自主题: AI技术研报
9564 点击    2024-07-05 16:35
GPT-4o竟是「道德专家」?解答50道难题,比纽约大学教授更受欢迎

GPT-4o竟是「道德专家」?解答50道难题,比纽约大学教授更受欢迎

GPT-4o竟是「道德专家」?解答50道难题,比纽约大学教授更受欢迎

大语言模型有道德推理能力吗?不仅有,甚至可能在道德推理方面超越普通人和专家学者!最新研究发现:GPT-4o针对道德难题给出的建议比人类专家更让人信服。

来自主题: AI技术研报
9539 点击    2024-07-05 16:30
少即是多!10亿参数「小巨人」击败ChatGPT

少即是多!10亿参数「小巨人」击败ChatGPT

少即是多!10亿参数「小巨人」击败ChatGPT

只有10亿参数的xLAM-1B在特定任务中击败了LLM霸主:OpenAI的GPT-3.5 Turbo和Anthropic的Claude-3 Haiku。上个月刚发布的苹果智能模型只有30亿参数,就连奥特曼都表示,我们正处于大模型时代的末期。那么,小语言模型(SLM)会是AI的未来吗?

来自主题: AI技术研报
6517 点击    2024-07-04 16:25
ICML 2024高分论文 | 零阶优化器微调大模型,大幅降低内存

ICML 2024高分论文 | 零阶优化器微调大模型,大幅降低内存

ICML 2024高分论文 | 零阶优化器微调大模型,大幅降低内存

开源大语言模型(LLM)百花齐放,为了让它们适应各种下游任务,微调(fine-tuning)是最广泛采用的基本方法。基于自动微分技术(auto-differentiation)的一阶优化器(SGD、Adam 等)虽然在模型微调中占据主流,然而在模型越来越大的今天,却带来越来越大的显存压力。

来自主题: AI技术研报
9853 点击    2024-07-04 13:35