内存占用小，训练表现也要好……大模型训练成功实现二者兼得。 来自北理、北大和港中文MMLab的研究团队提出了一种满足低秩约束的大模型全秩训练框架——Fira，成功打破了传统低秩方法中内存占用与训练表现的“非此即彼”僵局。
中科大成果，拿下图学习“世界杯”单项冠军！ 由中科大王杰教授团队（MIRA Lab）提出的首个具有最优性保证的大语言模型和图神经网络分离训练框架，在国际顶级图学习标准OGB（Open Graph Benchmark）挑战赛的蛋白质功能预测任务上斩获「第一名」，该纪录从2023年9月27日起保持至今。
LLM数学水平不及小学生怎么办？CMU清华团队提出了Lean-STaR训练框架，在语言模型进行推理的每一步中都植入CoT，提升了模型的定理证明能力，成为miniF2F上的新SOTA。
在上一篇文章「Unsloth微调Llama3-8B，提速44.35%，节省42.58%显存，最少仅需7.75GB显存」中，我们介绍了Unsloth，这是一个大模型训练加速和显存高效的训练框架，我们已将其整合到Firefly训练框架中，并且对Llama3-8B的训练进行了测试，Unsloth可大幅提升训练速度和减少显存占用。
LAMM (Language-Assisted Multi-Modal) 旨在建设面向开源学术社区的多模态指令微调及评测框架，其包括了高度优化的训练框架、全面的评测体系，支持多种视觉模态。
本文探讨了大模型套壳的问题，解释了大模型的内核和预训练过程。同时，介绍了“原创派”和“模仿派”两种预训练框架的差异，并讨论了通过“偷”聊天模型数据进行微调的现象。最后，提出了把“壳”做厚才是竞争力的观点。
