无损加速最高5x，EAGLE-2让RTX 3060的生成速度超过A100
无损加速最高5x，EAGLE-2让RTX 3060的生成速度超过A100自回归解码已经成为了大语言模型（LLMs）的事实标准，大语言模型每次前向计算需要访问它全部的参数，但只能得到一个token，导致其生成昂贵且缓慢。
来自主题: AI技术研报
11455 点击 2024-07-17 20:33
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
自回归解码已经成为了大语言模型（LLMs）的事实标准，大语言模型每次前向计算需要访问它全部的参数，但只能得到一个token，导致其生成昂贵且缓慢。
网友很好奇，Mathstral能不能搞定「9.11和9.9谁大」这一问题。
整个市场不再追求大而全，都在走小而精的路线了。
在国内市场，这既是技术之争、其实也是路线之争。
近日，快手可灵大模型团队开源了名为LivePortrait的可控人像视频生成框架，该框架能够准确、实时地将驱动视频的表情、姿态迁移到静态或动态人像视频上，生成极具表现力的视频结果。
arXiv 不是同行评审期刊，所以发在 arXiv 上的论文不必被引用，这合理吗？
2024年欧洲杯如火如荼进行之际，一则由法国电信公司 Orange 创作的足球比赛视频也迅速走红。
AI发展的浪潮席卷之下，大量媒体和电台的角色已经开始被廉价的人工智能克隆所取代。澳大利亚配音演员协会甚至表示，估计有5000名配音演员面临失业风险。
最近，7B小模型又成为了AI巨头们竞相追赶的潮流。继谷歌的Gemma2 7B后，Mistral今天又发布了两个7B模型，分别是针对STEM学科的Mathstral，以及使用Mamaba架构的代码模型Codestral Mamba。
离职OpenAI五个月后，AI大神Karpathy终于宣布自创业了。一家专注于AI+教育原生学校Eureka Labs，未来将面向全球80亿人，从0按需辅导AI。从产业界转身教育事业，是Karpathy近20年来的终极梦想，现如愿成真。