基准测试揭秘大模型“字数危机”：26个模型长文本生成普遍拉胯，最大输出长度过度宣传
基准测试揭秘大模型“字数危机”：26个模型长文本生成普遍拉胯，最大输出长度过度宣传你是否曾对大语言模型（LLMs）下达过明确的“长度指令”？
来自主题: AI技术研报
7973 点击 2025-05-29 15:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
你是否曾对大语言模型（LLMs）下达过明确的“长度指令”？
过度依赖CoT思维链推理会降低模型性能，有新解了！ 来自字节、复旦大学的研究人员提出自适应推理框架CAR，能根据模型困惑度动态选择短回答或详细的长文本推理，最终实现了准确性与效率的最佳平衡。
推理大模型开卷新方向，阿里开源长文本深度思考模型QwenLong-L1，登上HuggingFace今日热门论文第二。
来自香港科技大学、腾讯西雅图AI Lab、爱丁堡大学、Miniml.AI、英伟达的研究者联合提出了MMLongBench，旨在全面评估多模态模型的长文本理解能力。
在端侧设备上处理长文本常常面临计算和内存瓶颈。
北大DeepSeek联合发布的NSA论文，目前已被ACL 2025录用并获得了极高评分，甚至有望冲击最佳论文奖。该技术颠覆传统注意力机制，实现算力效率飞跃，被誉为长文本处理的革命性突破。
在当前大模型推理愈发复杂的时代，如何快速、高效地产生超长文本，成为了模型部署与优化中的一大核心挑战。
长文本能力对语言模型（LM，Language Model）尤为重要，试想，如果 LM 可以处理无限长度的输入文本，我们可以预先把所有参考资料都喂给 LM，或许 LM 在应对人类的提问时就会变得无所不能。
Nemotron-H模型混合了Transformer和Mamba架构，使长文本推理速度提升3倍，同时还能保持高性能，开源版本包括8B和56B尺寸。训练过程采用FP8训练和压缩技术，进一步提高了20%推理速度
2025年4月16日，Cohere 发布了其最新一代多模态搜索模型 Embed 4，在多模态数据处理、长文本建模和跨模态检索能力上实现了显著提升，进一步巩固了其在企业级 AI 搜索领域的领先地位。