
4GB 显存单卡居然能跑 70B 大模型了!
4GB 显存单卡居然能跑 70B 大模型了!大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗?可以的话,最低多少显存?70B大语言模型仅参数量就有130GB,仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。
大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗?可以的话,最低多少显存?70B大语言模型仅参数量就有130GB,仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。
哈工深发布全新多模态大语言模型九天(JiuTian-LION),融合细粒度空间感知和高层语义视觉知识,在13个评测任务上实现了sota性能。
大语言模型「拍马屁」的问题到底要怎么解决?最近,LeCun转发了Meta发布的一篇论文,研究人员提出了新的方法,有效提升了LLM回答问题的事实性和客观性。我们一起来看一下吧。
今年,大型语言模型改变了自动驾驶技术路线的竞争格局。特斯拉开始探索自动驾驶的世界模型,而中国企业加速推进自动驾驶技术,超过美国。
我们都知道,大语言模型(LLM)能够以一种无需模型微调的方式从少量示例中学习,这种方式被称为「上下文学习」(In-context Learning)。这种上下文学习现象目前只能在大模型上观察到。比如 GPT-4、Llama 等大模型在非常多的领域中都表现出了杰出的性能,但还是有很多场景受限于资源或者实时性要求较高,无法使用大模型。
最近,除了大语言模型继续持续刷屏,视频生成技术也取得了重大进展,多家公司相继发布了新模型。首先,作为最早探索视频生成领域的领头羊之一,Runway 升级了其 Gen-2 模型,带来了电影级别的高清晰度,令人瞩目,并称视频生成的一致性得到了重大改进。
微软AI4Science部门发布230页报告,详细描述了GPT-4为代表的大语言模型在生物,药物发现,计算化学,偏微分方程,材料设计等5个科研领域的应用潜力。而且,作者还把目前GPT-4表现不好的地方也贴心地标记出来,防止科研人员踩雷。
现代认知科学认为,人类会在头脑中构建关于周围真实世界的抽象模型——世界模型(world model)。获取“世界模型”的问题一直是人工智能研究的焦点。OpenAI 联合创始人兼首席科学家 Ilya Sutskever 认为, ChatGPT 已经学到了关于真实世界的复杂抽象模型。
最近,Google DeepMind发布了一段小视频,据说是在向普通人展示大语言模型的工作原理。网友看后纷纷表示:懂得都懂。
大模型赛道已经吸引了大量企业或创业者投入,那么,目前大模型赛道都有哪些主流研究方向和共同挑战?这篇文章里,作者梳理了LLM研究的十大挑战,一起来看看