LLM一个突出的挑战是如何有效处理和理解长文本。就像下图所示，准确率会随着上下文长度显著下降，那么究竟应该怎样提升LLM对长文本理解的准确率呢？
2 月 18 日，月之暗面发布了一篇关于稀疏注意力框架 MoBA 的论文。MoBA 框架借鉴了 Mixture of Experts（MoE）的理念，提升了处理长文本的效率，它的上下文长度可扩展至 10M。并且，MoBA 支持在全注意力和稀疏注意力之间无缝切换，使得与现有的预训练模型兼容性大幅提升。
谈到大模型的“国货之光”，除了DeepSeek之外，阿里云Qwen这边也有新动作——首次将开源Qwen模型的上下文扩展到1M长度。
随着大模型（LLMs）的发展，AI 写作取得了较大进展。然而，现有的方法大多依赖检索知识增强生成（RAG）和角色扮演等技术，其在信息的深度挖掘方面仍存在不足，较难突破已有知识边界，导致生成的内容缺乏深度和原创性。
大模型长序列的处理能力已越来越重要，像复杂长文本任务、多帧视频理解任务、以及 OpenAI 近期发布的 o1、o3 系列模型的高计算量模式，需要处理的输入 + 输出总 token 数从几万量级上升到了几百万量级。
长文本向量模型能够将十页长的文本编码为单个向量，听起来很强大，但真的实用吗？ 很多人觉得... 未必。 直接用行不行？该不该分块？怎么分才最高效？本文将带你深入探讨长文本向量模型的不同分块策略，分析利弊，帮你避坑。
在闭着眼睛听一首歌的时候，你有没有在脑海里想象过，应该搭配什么画面？ Kimi 内测的最新功能「创作音乐视频」，就是奔着当 MV 导演去的。长文本领先的 Kimi，默不作声地「跨界」了。APPSO 也受邀首批体验了这一新功能。
随着大语言模型在长文本场景下的需求不断涌现，其核心的注意力机制（Attention Mechanism）也获得了非常多的关注。
善智者，动于九天之上。
在当今的人工智能领域，Transformer 模型已成为解决诸多自然语言处理任务的核心。然而，Transformer 模型在处理长文本时常常遇到性能瓶颈。传统的位置编码方法，如绝对位置编码（APE）和相对位置编码（RPE），虽然在许多任务中表现良好，但其固定性限制了其在处理超长文本时的适应性和灵活性。
