
大模型性能掺水严重?北大交出答卷:交互评估+动态出题,死记硬背也没用 | ACL 2024
大模型性能掺水严重?北大交出答卷:交互评估+动态出题,死记硬背也没用 | ACL 2024当前大语言模型(LLM)的评估方法受到数据污染问题的影响,导致评估结果被高估,无法准确反映模型的真实能力。北京大学等提出的KIEval框架,通过知识基础的交互式评估,克服了数据污染的影响,更全面地评估了模型在知识理解和应用方面的能力。
当前大语言模型(LLM)的评估方法受到数据污染问题的影响,导致评估结果被高估,无法准确反映模型的真实能力。北京大学等提出的KIEval框架,通过知识基础的交互式评估,克服了数据污染的影响,更全面地评估了模型在知识理解和应用方面的能力。
自从大模型爆火以来,语义检索也逐渐成为一项热门技术。尤其是在 RAG(retrieval augmented generation)应用中,检索结果的相关性直接决定了 AI 生成的最终效果。
基于 Transformer架构的大型语言模型在各种基准测试中展现出优异性能,但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数,采用FP16存储,模型大小约为350GB,而即使是英伟达最新的B200 GPU 内存也只有192GB ,更不用说其他GPU和边缘设备。
智东西4月19日消息,Meta推出迄今为止能力最强的开源大模型Llama 3系列,发布8B和70B两个版本。 Llama 3在一众榜单中取得开源SOTA(当前最优效果)。Llama 3 8B在MMLU、GPQA、HumanEval、GSM-8K等多项基准上超过谷歌Gemma 7B和Mistral 7B Instruct。
就在刚刚,马斯克Grok大模型宣布重大升级。
阿里大模型,再次开源大放送——发布Qwen1.5版本,直接放出六种尺寸。
百川智能又对产品进行了一次大更新,发布了Baichuan 3模型。这次更新后,在多个权威通用能力评测CMMLU、GAOKAO和AGI-Eval中,其英文能力已经逼近 GPT-4,在中文任务表现上甚至超越了GPT-4:
欢迎再次加入我们的“RAG 系统高级掌握”系列!我们将深入了解构建企业级 RAG (Retrieval-Augmented Generation) 系统的复杂世界。
IMF在报告中写到,人工智能技术将会进一步加剧不同国家之间、不同收入阶层之间的贫富差距。IMF主席克里斯塔利娜·格奥尔基耶娃(Kristalina Georgieva)在文章中表示:“在大多数情况下,人工智能可能会加剧整体不平等。这是一个令人不安的趋势,政策制定者必须积极应对,以防止这项技术进一步加剧社会紧张局势。”
2023 年 5 月中旬,小冰公司在中国和日本市场悄悄启动了一项 “克隆人” 计划。最近,这项计划正式被揭开了面纱。