Adam有了mini版：内存占用少一半，吞吐量提升50%
Adam有了mini版：内存占用少一半，吞吐量提升50%在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。
来自主题: AI技术研报
8438 点击 2024-07-06 19:01
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。
瑞士苏黎世联邦理工学院的研究者发现，为ChatGPT等聊天机器人提供支持的大型语言模型可以从看似无害的对话中，准确推断出数量惊人的用户个人信息，包括他们的种族、位置、职业等。
1981年，对冲基金传奇人物雷·达利欧提出，若存在一台存储世上所有事实数据并运行完美程序的计算机，未来即可被准确预测。 尽管我们尚未达到这一水平，但技术进步迅猛，以ChatGPT为代表的大型语言模型，已展现出预测未来的潜力。
自 ChatGPT 发布以来，大型语言模型（LLM）已经成为推动人工智能发展的关键技术。
香港大学推出的XRec模型通过融合大型语言模型的语义理解和协同过滤技术，增强了推荐系统的可解释性，使用户能够理解推荐背后的逻辑。这一创新成果不仅提升了用户体验，也为推荐技术的未来发展提供了新方向和动力。
基于 Transformer架构的大型语言模型在各种基准测试中展现出优异性能，但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数，采用FP16存储，模型大小约为350GB，而即使是英伟达最新的B200 GPU 内存也只有192GB ，更不用说其他GPU和边缘设备。
近些年，语言建模领域进展非凡。Llama 或 ChatGPT 等许多大型语言模型（LLM）有能力解决多种不同的任务，它们也正在成为越来越常用的工具。
大型语言模型（LLM）的一个主要特点是「大」，也因此其训练和部署成本都相当高，如何在保证 LLM 准确度的同时让其变小就成了非常重要且有价值的研究课题。
从大规模网络爬取、精细过滤到去重技术，通过FineWeb的技术报告探索如何打造高质量数据集，为大型语言模型（LLM）预训练提供更优质的性能。
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。