想玩AI？先问问这家电力巨头
想玩AI？先问问这家电力巨头人工智能大模型的高耗电，会让很多国家玩不起。
来自主题: AI技术研报
2916 点击 2024-03-19 13:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
人工智能大模型的高耗电，会让很多国家玩不起。
【新智元导读】利用文本生成图片（Text-to-Image, T2I）已经满足不了人们的需要了，近期研究在T2I模型的基础上引入了更多类型的条件来生成图像，本文对这些方法进行了总结综述。
以脉冲神经网络（SNN）为代表的脑启发神经形态计算（neuromorphic computing）由于计算上的节能性质在最近几年受到了越来越多的关注 [1]。受启发于人脑中的生物神经元，神经形态计算通过模拟并行的存内计算、基于脉冲信号的事件驱动计算等生物特性，能够在不同于冯诺依曼架构的神经形态芯片上以低功耗实现神经网络计算。
全球首个开源的类Sora架构视频生成模型，来了！
马斯克说到做到： 旗下大模型Grok现已开源
深度学习模型因其能够从大量数据中学习潜在关系的能力而「彻底改变了科学研究领域」。然而，纯粹依赖数据驱动的模型逐渐暴露出其局限性，如过度依赖数据、泛化能力受限以及与物理现实的一致性问题。
Fast-DetectGPT 同时做到了高准确率、高速度、低成本、通用，扫清了实际应用的障碍！
说到做到，马斯克承诺的开源版大模型 Grok 终于来了！
不久前 OpenAI Sora 以其惊人的视频生成效果迅速走红，在一众文生视频模型中突出重围，成为全球瞩目的焦点。继 2 周前推出成本直降 46% 的 Sora 训练推理复现流程后，Colossal-AI 团队全面开源全球首个类 Sora 架构视频生成模型 「Open-Sora 1.0」，涵盖了整个训练流程，包括数据处理、所有训练细节和模型权重，携手全球 AI 热爱者共同推进视频创作的新纪元。
本文编译自播客节目a16z。Stability AI的科学家Andreas Blattmann和Robin Rombach与a16z的合伙人Anjney Midha共同探讨从文本到视频人工智能的前沿世界。
AI游戏，不拼技术先拼情绪价值
无论工具最初的建议看起来有多好，团队都应该跟进更多更具体的问题。
全球首个AI程序员Devin的横空出世，可能成为软件和AI发展史上一个重要的节点。
为了Musk的开源承诺，熬了个夜，结果是果然没让人失望。 我是喜爱Musk大于Altman的（比如咱们的logo等设计，均是跟Grok一样黑白风格），喜欢他的幽默，喜欢他的真性情，喜欢他的性狡黠而守义，尽管Grok并没有那么易用
哈工大联合度小满推出针对多模态模型的自适应剪枝算法 SmartTrim，论文已被自然语言处理顶级会议 COLING 24 接收。
早在 2020 年，陶大程团队就发布了《Knowledge Distillation: A Survey》，详细介绍了知识蒸馏在深度学习中的应用，主要用于模型压缩和加速。随着大语言模型的出现，知识蒸馏的作用范围不断扩大，逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
谷歌 DeepMind 和美国 Janelia 研究园区（霍华德・休斯医学研究所成立的神经科学研究机构）共同研究出的一个虚拟果蝇，它能像真实的果蝇一样行走和飞行。
MIT新晋副教授何恺明，新作新鲜出炉：瞄准一个横亘在AI发展之路上十年之久的问题：数据集偏差。数据集偏差之战，在2011年由知名学者Antonio Torralba和Alyosha Efros提出——
「OpenAI机器人」一出世惊艳众人！最近，李飞飞团队打造了一个开源便携式手部动捕系统——DexCap，成本仅3600美元，就能让机械灵巧手完成花样任务。
TimesFM针对时序数据设计，输出序列长于输入序列，在1000亿时间点数据进行预训练后，仅用200M参数量就展现出超强零样本学习能力！
StepCoder将长序列代码生成任务分解为代码完成子任务课程来缓解强化学习探索难题，对未执行的代码段以细粒度优化；还开源了可用于强化学习训练的APPS+数据集。
虽然我从来没见过你，但是我有可能「认识」你 —— 这是人们希望人工智能在「一眼初见」下达到的状态。
今年以来，苹果显然已经加大了对生成式人工智能（GenAI）的重视和投入。此前在 2024 苹果股东大会上，苹果 CEO 蒂姆・库克表示，今年将在 GenAI 领域实现重大进展。此外，苹果宣布放弃 10 年之久的造车项目之后，一部分造车团队成员也开始转向 GenAI。
港大发布通用图基座模型OpenGraph，巧妙从LLM中蒸馏零样本图泛化能力。
LLM开源从Infra做起！Meta公布了自己训练Llama 3的H100集群细节，看来Llama 3快来了。
为了让AI更像科学家，他们将人类知识注入大模型…
3月，国内外模型公司动作频频。国产大模型独角兽“五小虎”之一零一万物也有诸多新动作。
数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。
2024 年，大模型领域的一个趋势越来越清晰：重视优化，面向应用。
ChatGPT横空出世的2023年，欧洲能喊得上名号的全球性AI峰会有近20个，大约是美国的3倍、中国的5倍[1]。在人工智能权威杂志（AI Magazine）年末总结的“2023 Top10 AI Events”中，欧洲承办的会议占比高达70%[2]。