陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
来自主题: AI技术研报
11097 点击 2024-02-29 13:27
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
2月16日，OpenAI推出了堪称“王炸”的文生视频大模型Sora，AI军备竞赛的战场加速向多模态转移，这意味着相比寻常LLM更为丰富的场景与机会。此外，2024年将成为AI硬件元年的共识也基本形成，业界对AI在智能终端的应用寄予厚望，将其视为提振消费电子市场的关键。
成立仅9个月，法国Mistral AI拿出仅次于GPT-4的大模型。
全新消费级显卡，专为提速笔记本大模型应用而生。
谷歌罕见open的AI，给开源大模型到底带来了什么？
这两天，Sora横空出世让字节也跟着上了热搜。有传言称，字节跳动在Sora引爆文生视频赛道之前，已经研发“中文版Sora”：一款名为Boximator的创新性视频模型。紧接着，字节快速辟谣，积极否认。
城市通用智能该如何发展？如何解决概念定义模糊、缺乏系统文献述评和通用解决方案等难题？
随着大语言模型（LLMs）在近年来取得显著进展，它们的能力日益增强，进而引发了一个关键的问题：如何确保他们与人类价值观对齐，从而避免潜在的社会负面影响？
大模型的成功很大程度上要归因于 Scaling Law 的存在，这一定律量化了模型性能与训练数据规模、模型架构等设计要素之间的关系，为模型开发、资源分配和选择合适的训练数据提供了宝贵的指导。
多模态大模型，首次本地部署在安卓手机上了！