能抗衡AlphaFold 3的生命科学大模型终于出现了。初创公司Evolutionary Scale AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理，团队还在实验中发现，它设计的新蛋白质相当于模拟自然界5亿年的进化。
1981年，对冲基金传奇人物雷·达利欧提出，若存在一台存储世上所有事实数据并运行完美程序的计算机，未来即可被准确预测。 尽管我们尚未达到这一水平，但技术进步迅猛，以ChatGPT为代表的大型语言模型，已展现出预测未来的潜力。
大语言模型绝不会是通往AGI之路上的最后一个重大技术突破。
在人工智能领域的发展过程中，对大语言模型（LLM）的控制与指导始终是核心挑战之一，旨在确保这些模型既强大又安全地服务于人类社会。早期的努力集中于通过人类反馈的强化学习方法（RLHF）来管理这些模型，成效显著，标志着向更加人性化 AI 迈出的关键一步。
自 ChatGPT 发布以来，大型语言模型（LLM）已经成为推动人工智能发展的关键技术。
香港大学推出的XRec模型通过融合大型语言模型的语义理解和协同过滤技术，增强了推荐系统的可解释性，使用户能够理解推荐背后的逻辑。这一创新成果不仅提升了用户体验，也为推荐技术的未来发展提供了新方向和动力。
基于 Transformer架构的大型语言模型在各种基准测试中展现出优异性能，但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数，采用FP16存储，模型大小约为350GB，而即使是英伟达最新的B200 GPU 内存也只有192GB ，更不用说其他GPU和边缘设备。
大语言模型提示中，竟有不少「怪癖」：重复某些内容，准确性就大大提高；人名变匿名，准确性就大大下降。最近，马里兰OpenAI等机构的30多位研究者，首次对LLM的提示技术进行了大规模系统研究，并发布75页详尽报告。
大语言模型（LLM）的迅速发展，引发了关于如何评估其公平性和可靠性的热议。
当前主流的视觉语言模型（VLM）主要基于大语言模型（LLM）进一步微调。因此需要通过各种方式将图像映射到 LLM 的嵌入空间，然后使用自回归方式根据图像 token 预测答案。
