大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token
从国际顶流 GPT-4 128K、Claude 200K 到国内「当红炸子鸡」支持 200 万字上下文的 Kimi Chat，大语言模型（LLM）在长上下文技术上不约而同地卷起来了
就在刚刚，马斯克Grok大模型宣布重大升级。
【新智元导读】马斯克「搞笑」模型刚刚升级到Grok-1.5，推理性能暴涨，支持128k长上下文。最重要的是，Grok-1.5的数学和代码能力大幅提升。
马斯克搞大模型，速度也奇快。
首先先来看看模型底座，阶跃星辰发布了两款，分别是Step-1V和Step-2。其中Step-1V具有千亿参数，支持多模态能力，和GPT4-Turbo一样，128K上下文，不过这款不算惊艳，只能算主流大模型中的正常水平。
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
Hyena处理长序列输入比FlashAttention速度高100倍！最新发布的StripedHyena模型可能成下一代AI架构的新标准？
OpenAI的CEO Altman在分享了GPT-4的数十项新增功能和改进，并降低了平台许多服务的定价： 新的GPT-4 Turbo模型，功能更强大、更便宜并支持128K上下文窗口。 最为关键的是，发布了GPTs功能，能让每个用户自己制作自己「定制化的ChatGPT」，还能通过即将发布的「GPT Store」来让自己定制的GPT为自己挣钱！
OpenAI在首届开发者日上，正式公布自定义GPT。与此同时，现有的GPT-4也迎来一大波更新。 新版本GPT-4 Turbo，支持128k上下文，知识截止更新到2023年4月，视觉能力、DALL·E3，文字转语音TTS等等全都对API开放…… API价格还打了3-5折。
