微软6页论文爆火：三进制LLM，真香！
微软6页论文爆火：三进制LLM，真香！现在，大语言模型（LLM）迎来了“1-bit时代”。
来自主题: AI技术研报
3476 点击 2024-02-29 13:31
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
现在，大语言模型（LLM）迎来了“1-bit时代”。
英伟达在2024年2月14号的时候推出了这么一个产品，叫做Chat with RTX。顾名思义，就是和英伟达的显卡聊天。简单来说Chat with RTX是一个本地部署的大语言模型工具，可以实现和大语言模型对话，还支持处理多种文件类型，用户可以与其进行文本、PDF、Word文档等多种格式内容的交互。
随着大语言模型（LLMs）在近年来取得显著进展，它们的能力日益增强，进而引发了一个关键的问题：如何确保他们与人类价值观对齐，从而避免潜在的社会负面影响？
大语言模型之大，成本之高，让模型的稀疏化变得至关重要。
尽管收集人类对模型生成内容的相对质量的标签，并通过强化学习从人类反馈（RLHF）来微调无监督大语言模型，使其符合这些偏好的方法极大地推动了对话式人工智能的发展。
简单粗暴的理解，就是语言能力足够强大之后，它带来的泛化能力直接可以学习图像视频数据和它体现出的模式，然后还可以直接用学习来的图像生成模型最能理解的方式，给这些利用了引擎等已有的强大而成熟的视频生成技术的视觉模型模块下指令，最终生成我们看到的逼真而强大的对物理世界体现出“理解”的视频。
普林斯顿大学和DeepMind的科学家用严谨的数学方法证明了大语言模型不是随机鹦鹉，规模越大能力一定越大。
检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？微软的这篇论文供你选择时进行参考。
最近来自香港科技大学（HKUST）、南洋理工大学（NTU）与加利福尼亚大学洛杉矶分校（UCLA）的研究者们提供了新的思路：他们发现大语言模型如 ChatGPT 可以理解传感器信号进而完成物理世界中的任务。该项目初步成果发表于 ACM HotMobile 2024。
大型语言模型（LLM）的成功离不开「基于人类反馈的强化学习（RLHF）」。RLHF 可以大致可以分为两个阶段，首先，给定一对偏好和不偏好的行为，训练一个奖励模型，通过分类目标为前者分配更高的分数。