LLM本质上是一个基于概率输出的神经网络模型。但这里的“概率”来自哪里？今天我们就来说说语言模型中一个重要的角色：Softmax函数。（相信我，本文真的只需要初等函数知识）
块离散去噪扩散语言模型（BD3-LMs）结合自回归模型和扩散模型的优势，解决了现有扩散模型生成长度受限、推理效率低和生成质量低的问题。通过块状扩散实现任意长度生成，利用键值缓存提升效率，并通过优化噪声调度降低训练方差，达到扩散模型中最高的预测准确性，同时生成效率和质量优于其他扩散模型。
3月24日，从自然资源部获悉，国家海洋环境预报中心联合海洋出版社有限公司和三六零数字安全科技集团有限公司，以360智脑13B和Deepseek-R1-70B大模型为基座成功开发了海洋垂直领域大语言模型——“瀚海智语”（英文名称OceanDS）。
当前，传统生物制造方法在知识整合、数据处理和实验设计方面面临诸多挑战，限制了其在工业化应用中的效率和可扩展性。
华人学者、斯坦福大学副教授 James Zou 领导的团队提出了 TextGrad ，通过文本自动化“微分”反向传播大语言模型（LLM）文本反馈来优化 AI 系统。只需几行代码，你就可以自动将用于分类数据的“逐步推理”提示转换为一个更复杂的、针对特定应用的提示。
清华智能产业研究院（AIR）博三在读，去年六月份，出于对语言模型 LLM 的强烈兴趣，加入了字节 as Top Seed Intern，在人工智能的最前沿进行探索。刚好这个话题和我现在做的工作强相关，我分享一下自己的观点和亲身体验。
本文探讨基于树搜索的大语言模型推理过程中存在的「过思考」与「欠思考」问题，并提出高效树搜索框架——Fetch。本研究由腾讯 AI Lab 与厦门大学、苏州大学研究团队合作完成。
RAG工作发展时间线（2020年至今）。展示了RAG相关研究的三个主要领域：基础（包括RAG学习和RAG框架）、进阶和评估。关键的语言模型（GPT-3、GPT-4等）发展节点标注在时间线上。
今天，百图生科宣布开源其领先的xTrimo V2中的蛋白质语言模型xTrimoPGLM，7个不同参数量的模型均已发布在huggingface和github，供全球用户自由获取和使用。xTrimoPGLM是全球首个千亿参数的蛋白质语言模型，性能超越了ESM-2、ProGen2等此前业界领先的蛋白质模型，并在药物分子设计和优化、抗体工程与疫苗开发、酶工程和生物催化剂设计等领域展现出广泛应用前景。
EgoNormia基准可以评估视觉语言模型在物理社会规范理解方面能力，从结果上看，当前最先进的模型在规范推理方面仍远不如人类，主要问题在于规范合理性和优先级判断上的不足。
