就在刚刚，又一位元老级人物官宣离职OpenAI了。 o1推理模型贡献者之一Luke Metz发文称，「我即将离开OpenAI，结束这段超过两年的奇妙旅程」。
继首台DGX H200之后，OpenAI再次收到了英伟达的首批工程版DGX B200。外媒爆料称，由于微软提供算力不足，OpenAI正与甲骨文开始谈判了。
随着诺贝尔物理学奖颁给了「机器学习之父」Geoffrey Hinton，另一个借鉴物理学概念的模型架构也横空出世——微软清华团队的最新架构Differential Transformer，从注意力模块入手，实现了Transformer的核心能力提升。
随着大规模语言模型的快速发展，如 GPT、Claude 等，LLM 通过预训练海量的文本数据展现了惊人的语言生成能力。然而，即便如此，LLM 仍然存在生成不当或偏离预期的结果。这种现象在推理过程中尤为突出，常常导致不准确、不符合语境或不合伦理的回答。为了解决这一问题，学术界和工业界提出了一系列对齐（Alignment）技术，旨在优化模型的输出，使其更加符合人类的价值观和期望。
Transformer 的强大实力已经在诸多大型语言模型（LLM）上得到了证明，但该架构远非完美，也有很多研究者致力于改进这一架构，比如机器之心曾报道过的 Reformer 和 Infini-Transformer。
生成式AI（GenAI），尤其是以OpenAI的ChatGPT为代表，人们发现，这些大模型在一年多后的性能表现远不及刚发布时那样令人惊艳了。
Transformer计算，竟然直接优化到乘法运算了。MIT两位华人学者近期发表的一篇论文提出：Addition is All You Need，让LLM的能耗最高降低95%。
这样一套组合拳打下去，AI厂商大概率就会乖乖向网站付费了。
通用机器人模型，目前最大的障碍便是「异构性」。
解决跨域小样本物体检测问题，入选ECCV 2024。
