MATRIX：社会模拟推动大模型价值自对齐，比GPT4更「体贴」
MATRIX：社会模拟推动大模型价值自对齐，比GPT4更「体贴」随着大语言模型（LLMs）在近年来取得显著进展，它们的能力日益增强，进而引发了一个关键的问题：如何确保他们与人类价值观对齐，从而避免潜在的社会负面影响？
来自主题: AI技术研报
9185 点击 2024-02-27 14:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着大语言模型（LLMs）在近年来取得显著进展，它们的能力日益增强，进而引发了一个关键的问题：如何确保他们与人类价值观对齐，从而避免潜在的社会负面影响？
大语言模型之大，成本之高，让模型的稀疏化变得至关重要。
尽管收集人类对模型生成内容的相对质量的标签，并通过强化学习从人类反馈（RLHF）来微调无监督大语言模型，使其符合这些偏好的方法极大地推动了对话式人工智能的发展。
简单粗暴的理解，就是语言能力足够强大之后，它带来的泛化能力直接可以学习图像视频数据和它体现出的模式，然后还可以直接用学习来的图像生成模型最能理解的方式，给这些利用了引擎等已有的强大而成熟的视频生成技术的视觉模型模块下指令，最终生成我们看到的逼真而强大的对物理世界体现出“理解”的视频。
普林斯顿大学和DeepMind的科学家用严谨的数学方法证明了大语言模型不是随机鹦鹉，规模越大能力一定越大。
检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？微软的这篇论文供你选择时进行参考。
最近来自香港科技大学（HKUST）、南洋理工大学（NTU）与加利福尼亚大学洛杉矶分校（UCLA）的研究者们提供了新的思路：他们发现大语言模型如 ChatGPT 可以理解传感器信号进而完成物理世界中的任务。该项目初步成果发表于 ACM HotMobile 2024。
大型语言模型（LLM）的成功离不开「基于人类反馈的强化学习（RLHF）」。RLHF 可以大致可以分为两个阶段，首先，给定一对偏好和不偏好的行为，训练一个奖励模型，通过分类目标为前者分配更高的分数。
当前有不少的大语言模型已经拥有了高准确度的天气预测能力。相比传统的天气预测技术，这些被称为大型 AI 气象预测模型（Large AI Weather forecast Model，LWMs）在极端天气预测方面有着更好的效果。
去年 6 月，JetBrains 宣布所有基于 IntelliJ 的 IDE 和 .NET 工具都将集成一个新功能：AI 助手（AI Assistant）——该功能由 JetBrains AI 服务提供支持，可连接不同的大语言模型（LLM），并表示会将它整合到 IDE 的核心工作流中。