调整训练数据出场顺序，大模型就能变聪明！无需扩大模型/数据规模
调整训练数据出场顺序，大模型就能变聪明！无需扩大模型/数据规模模型训练重点在于数据的数量与质量？其实还有一个关键因素—— 数据的出场顺序。
来自主题: AI技术研报
5596 点击 2025-09-07 11:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
模型训练重点在于数据的数量与质量？其实还有一个关键因素—— 数据的出场顺序。
注意力机制的「平方枷锁」，再次被撬开！一招Fenwick树分段，用掩码矩阵，让注意力焕发对数级效率。更厉害的是，它无缝对接线性注意力家族，Mamba-2、DeltaNet 全员提速，跑分全面开花。长序列处理迈入log时代！
最新模型增量压缩技术，一个80G的A100 GPU能够轻松加载多达50个7B模型，节省显存约8倍，同时模型性能几乎与压缩前的微调模型相当。