MATRIX：社会模拟推动大模型价值自对齐，比GPT4更「体贴」
MATRIX：社会模拟推动大模型价值自对齐，比GPT4更「体贴」随着大语言模型（LLMs）在近年来取得显著进展，它们的能力日益增强，进而引发了一个关键的问题：如何确保他们与人类价值观对齐，从而避免潜在的社会负面影响？
来自主题: AI技术研报
9256 点击 2024-02-27 14:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着大语言模型（LLMs）在近年来取得显著进展，它们的能力日益增强，进而引发了一个关键的问题：如何确保他们与人类价值观对齐，从而避免潜在的社会负面影响？
大模型的成功很大程度上要归因于 Scaling Law 的存在，这一定律量化了模型性能与训练数据规模、模型架构等设计要素之间的关系，为模型开发、资源分配和选择合适的训练数据提供了宝贵的指导。
SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解，测算出其持有成本依然高达现有H100的10倍，看来要赶上老黄的步伐，初创公司还有很多要做。
Dwarkesh 预计，有 70% 左右的概率人们能够通过 scaling 在 2024 年之前实现更强的 AI，这种 AI 能够实现大量认知劳动的自动化，进而促进 AI 的进一步发展。但如果 scaling law 失效，那么实现 AGI 的过程会非常漫长和艰难。
视频生成进展如火如荼，Pika迎来一位大将——谷歌研究员Omer Bar-Tal，担任Pika创始科学家。
今日份炸弹又来了！深夜，Stability AI放出了Stable Diffusion 3.0，它采用了和爆火Sora同样的DiT架构，画面质量、文字渲染、复杂对象理解大提升，Midjourney、DALL-E 3都显得黯然失色了。
2023年，AI成了科技圈的热词，新老玩家云集。到了2024年，其热度持续飙升。首先是OpenAI创始人山姆·奥特曼欲为AI芯片项目寻求5-7万亿美元的资金，随后，OpenAI推出了一款视频生成模型“Sora”，引发全球大讨论。
2024年的开年震撼同样来自OpenAI。节后还没开工，Altman就带着继ChatGPT的第二个杀手级应用Sora大杀四方。我们看完那条长达60s的演示视频后，脑中只有一句话：大家谁都别想玩了。
大模型内卷时代，也不断有人跳出来挑战Transformer的统治地位，RWKV最新发布的Eagle 7B模型登顶了多语言基准测试，同时成本降低了数十倍
从文本生成模型 GPT、文生图模型 DALL·E，到文生视频模型 Sora，OpenAI 可以说成功跑通了 AGI 的所有技术栈，为什么是 OpenAI 而不是谷歌、Meta？