清华大学NLP实验室联合北京师范大学、中国科学院大学、东北大学等机构的研究人员推出了全新的评测方法 RAGEval，通过快速构建场景化评估数据实现对检索增强生成（RAG）系统的“精准诊断”。
让 LLM 在自我进化时也能保持对齐。
2024年10月24日，全球生命科学行业云软件领导者Veeva Systems (NYSE: VEEV) 在上海举“2024 Veeva中国商务峰会”，活动现场，Veeva宣布了其基于中国市场洞察的一系列业务进展。
TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。
随着对现有互联网数据的预训练逐渐成熟，研究的探索空间正由预训练转向后期训练（Post-training），OpenAI o1 的发布正彰显了这一点。
RAG（Retrieval-Augmented Generation）是一种结合信息检索与文本生成的技术，旨在提高大型语言模型（LLM）在回答复杂查询时的表现。它通过检索相关的上下文信息来增强生成答案的质量和准确性。解读RAG测评：关键指标与应用分析
在AI的世界里，模型的评估往往被看作是最后的「检查点」，但事实上，它应该是确保AI模型适合其目标的基础。
Google DeepMind的SCoRe方法通过在线多轮强化学习，显著提升了大型语言模型在没有外部输入的情况下的自我修正能力。该方法在MATH和HumanEval基准测试中，分别将自我修正性能提高了15.6%和9.1%。
当前流行的基于嵌入检索的RAG（Retrieval-Augmented Generation）技术由Meta在2020年首次提出，最初应用于开放领域的抽取式问答。
快速更迭的开源大模型领域，又出现了新王：Reflection 70B。 横扫 MMLU、MATH、IFEval、GSM8K，在每项基准测试上都超过了 GPT-4o，还击败了 405B 的 Llama 3.1。 这个新模型 Reflection 70B，来自 AI 写作初创公司 HyperWrite。
