Sigmoid注意力一样强，苹果开始重新审视注意力机制
Sigmoid注意力一样强，苹果开始重新审视注意力机制注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。将查询与所有键进行点积，然后通过 softmax 函数归一化，会得到每个键对应的注意力权重。
来自主题: AI技术研报
6068 点击 2024-09-19 11:10
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。将查询与所有键进行点积，然后通过 softmax 函数归一化，会得到每个键对应的注意力权重。
金融大模型产业发展与应用趋势分析。
随便给张图就能从更多视角查看全景了？！
关注o1必备的GitHub库，它来了！
研究人员提出了一个新的胸部X光图像数据集，该数据集包含临床不确定性和严重性感知的标签，并通过多关系图学习方法进行分析，以提高疾病分类的准确性，扩展了现有的疾病标签信息。
除了蛋白质设计和药物发现，Nature上最近刊登的一篇论文又解锁了AlphaFold这类生物大模型的新用途——揭示生物的亲缘关系和进化史。
刚刚，OpenAI重金押注的人形机器人初创1X终于揭秘了背后的「世界模型」——它能够根据真实数据，生成针对不同场景的中的行为预测！机器人领域的ChatGPT时刻，或许真的要来了。
优秀的 GitHub 项目啊！有关 OpenAI ο1 的一切都在这里
斯坦福大学的最新研究通过大规模实验发现，尽管大型语言模型（LLMs）在新颖性上优于人类专家的想法，但在可行性方面略逊一筹，还需要进一步研究以提高其实用性。
大型语言模型（LLMs）虽然进展很快，很强大，但是它们仍然存在会产生幻觉、生成有害内容和不遵守人类指令等问题。一种流行的解决方案就是基于【自我纠正】，大概就是看自己输出的结果，自己反思一下有没有错，如果有错就自己改正。目前自己纠正还是比较关注于让大模型从错误中进行学习。
前些天，OpenAI 发布了 ο1 系列模型，它那「超越博士水平的」强大推理性能预示着其必将在人们的生产生活中大有作为。但它的使用成本也很高，以至于 OpenAI 不得不限制每位用户的使用量：每位用户每周仅能给 o1-preview 发送 30 条消息，给 o1-mini 发送 50 条消息。
比LoRA更高效的模型微调方法来了——
一家刚成立6个月的初创公司Chai Discovery最近发布了能对打甚至超越AlphaFold 3的模型Chai-1，而且放出了模型权重和推理代码。不开源的DeepMind这回还能坐得住吗？
MMMU-Pro通过三步构建过程（筛选问题、增加候选选项、引入纯视觉输入设置）更严格地评估模型的多模态理解能力；模型在新基准上的性能下降明显，表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。
AI 工具的强大功能，令人难以置信。但如果你试图打开引擎盖并了解它们在做什么，你通常会一无所获。AI 常常被视为「黑匣子」。
OpenAI博士级别的智能，真的实现了！一位UCI物理学博士实测o1，发现自己用时1年完成的博士论文代码，竟被AI在1个小时之内实现了。
KAN的诞生，开启了机器学习的新纪元！而这背后，竟是MIT华人科学家最先提出的实践想法。从KAN到KAN 2.0，这个替代MLP全新架构正在打开神经网络的黑盒，为下一步科学发现打开速通之门。
OpenAI o1 在数学、代码、长程规划等问题取得显著的进步。一部分业内人士分析其原因是由于构建足够庞大的逻辑数据集 <问题，明确的正确答案> ，再加上类似 AlphaGo 中 MCTS 和 RL 的方法直接搜索，只要提供足够的计算量用于搜索，总可以搜到最后的正确路径。然而，这样只是建立起问题和答案之间的更好的联系，如何泛化到更复杂的问题场景，技术远不止这么简单。
大语言模型（如 GPT-4）具备强大的语言处理能力，但其独立运作时仍存在局限性，如无法进行复杂计算，获取不到实时信息，难以提供专业定制化功能等。而大语言模型的工具调用能力使其不仅限于文字处理，更能提供全面、实时、精确的服务，极大地扩展了其应用范围和实际价值。
一个高质量的人脸识别训练集要求身份 (ID) 有高的分离度（Inter-class separability）和类内的变化度（Intra-class variation）。
高效多页文档理解，阿里通义实验室mPLUG团队拿下新SOTA。
字节和浙大联合研发的项目Loopy火了！
小型创业团队打造的“最强开源模型”，发布才一周就被质疑造假——
Jiajun Xu : Meta AI科学家，专注大模型和智能眼镜开发。南加州大学博士，Linkedin Top AI Voice，畅销书作家。他的AI科普绘本AI for Babies (“宝宝的人工智能”系列，双语版刚在国内出版) 畅销硅谷，曾获得亚马逊儿童软件、编程新书榜榜首。
本篇综述的作者包括来自复旦大学 CodeWisdom 团队的研究生刘俊伟、王恺欣、陈逸轩和彭鑫教授、娄一翎青年副研究员，以及南洋理工大学的陈震鹏研究员和伊利诺伊大学厄巴纳 - 香槟分校（UIUC）的张令明教授。
北京时间凌晨一点左右，OpenAI o1 横空出世，即是之前宣传已久的草莓模型。
本篇是「AGIX 投什么」系列的第 5 篇。AGIX 指数是拾象设计的追踪 AGI 科技革命的指数，是我们在全球科技上市公司中精选出的“高 AI 纯度”公司的组合。AGIX 指数是定位 AI 进程的坐标，也为投资人捕捉 AI-alpha 提供了一个价值工具。在「AGIX 投什么」板块，我们既会对 AGIX Index 的组合公司进行深度分析，也会以一二级融合的视角为市场输出全面的 AI 投资参考。
今年毫无疑问是AI应用层的创业元年。
X-Gaussian是一种新型的3D Gaussian Splatting框架，专为X光新视角合成而设计，以减少医疗成像中的X光辐射剂量，通过高效的渲染技术，能够在保持图像质量的同时显著减少训练时间和提升推理速度。
就在刚刚，The Information曝出：OpenAI的草莓将于两周内上线！收费疑似200刀一个月，最大的特色就是比其他模型多思考10到20秒。然而因为「狼来了」太多回，网友们忍不住吐槽：OpenAI现在就是个炒作公司。