上下文学习 (in-context learning, 简写为 ICL) 已经在很多 LLM 有关的应用中展现了强大的能力，但是对其理论的分析仍然比较有限。人们依然试图理解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的能力。
在现实世界的机器学习应用中，随时间变化的分布偏移是常见的问题。这种情况被构建为时变域泛化（EDG），目标是通过学习跨领域的潜在演变模式，并利用这些模式，使模型能够在时间变化系统中对未见目标域进行良好的泛化。然而，由于 EDG 数据集中时间戳的数量有限，现有方法在捕获演变动态和避免对稀疏时间戳的过拟合方面遇到了挑战，这限制了它们对新任务的泛化和适应性。
来自浙江大学和伊利诺伊大学厄巴纳-香槟分校的研究者发表了他们关于「表格语言模型」（Tabular Language Model）的研究成果
随着大语言模型（LLM）的快速发展，其在文本生成、翻译、总结等任务中的应用日益广泛。如微软前段时间发布的Copilot+PC允许使用者利用生成式AI进行团队内部实时协同合作，通过内嵌大模型应用，文本内容可能会在多个专业团队内部快速流转，对此，为保证内容的高度专业性和传达效率，同时平衡内容追溯、保证文本质量的LLM水印方法显得极为重要。
Saprot在proteingym蛋白质突变预测任务公开基准榜（由牛津大学计算机与哈佛医学院设立）排名第一。相比，其他排名靠前的算法都是混合模型，专门针对突变任务设计，而Saprot不仅是单模型，而且是通用模型。
大模型回答如何更可靠？MIT研究团队设计出「共识博弈」，将数学家常用的博弈论引入LLM改进中。没想到，LLaMA-7B的表现，击败了LLaMA-65B，甚至与PaLM-540B相媲美。
昨天刚刚在顶会ICLR作为特邀演讲（Invited Talk）中“国内唯一”的大模型玩家智谱AI，今天又放出了一个好消息
在刚刚举行的 ICLR 2024 大会上，智谱AI的大模型技术团队公布了面向激动人心的AGI通用人工智能前景的三大技术趋势，同时预告了GLM的后续升级版本。
当地时间5月7日，ICLR 2024颁发了自大会举办以来的首个「时间检验奖」！
这几天，AI届的盛会——ICLR在维也纳举办。
