如何将 LLM 的上下文扩展至百万级？
如何将 LLM 的上下文扩展至百万级？在2023年初，即便是当时最先进的GPT-3.5，其上下文长度也仅限于2k。然而，时至今日，1M的上下文长度已经成为衡量模型技术先进性的重要标志之一。
来自主题: AI技术研报
7358 点击 2024-07-19 10:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在2023年初，即便是当时最先进的GPT-3.5，其上下文长度也仅限于2k。然而，时至今日，1M的上下文长度已经成为衡量模型技术先进性的重要标志之一。
高考过去大半个月，马上各地的高校录取就要拉开帷幕——今年的考生们，先是要在语文卷上写人工智能，在人生答卷上，还要考虑人工智能。
今天凌晨，OpenAI 突然发布了他们的“最具性价比”的新一代模型 GPT-4o mini。
Agent 是什么
大模型测试能拿高分，实际场景中却表现不佳的问题有解了。
OpenAI超级对齐团队遗作：两个大模型博弈一番，输出更好懂了
离开快手创业后，「李岩」悄悄拿到了快手联合创始人宿华、红点创投以及经纬创投的3200万美金种子轮融资。
只需激活60%的参数，就能实现与全激活稠密模型相当的性能。
还记得去年 AI 大牛 Andrej Karpathy 大力宣传的「AutoGPT」项目吗？它是一个由 GPT-4 驱动的实验性开源应用程序，可以自主实现用户设定的任何目标，展现出了自主 AI 的发展趋势。
好家伙！为了揭秘Transformer内部工作原理，陈丹琦团队直接复现——