超70%代码基准没有质量保证!港科大最新「指南」全面调研10年274个评测集
超70%代码基准没有质量保证!港科大最新「指南」全面调研10年274个评测集近年来,代码评测集数量激增,但质量参差不齐。为规范其开发,香港科技大学联合多所高校研究了过去十年的274个代码评测集,发现诸多问题,如数据重复、测试用例错误、隐私信息未删除等。基于此,他们推出了《代码评测集发展指南55项》(How2Bench),涵盖设计、构建、评测、分析、发布五大阶段,旨在提升代码评测集的质量与可靠性。
近年来,代码评测集数量激增,但质量参差不齐。为规范其开发,香港科技大学联合多所高校研究了过去十年的274个代码评测集,发现诸多问题,如数据重复、测试用例错误、隐私信息未删除等。基于此,他们推出了《代码评测集发展指南55项》(How2Bench),涵盖设计、构建、评测、分析、发布五大阶段,旨在提升代码评测集的质量与可靠性。
OpenAI 又有重量级员工出走!这次是后训练负责人、研究副总裁 William Fedus。今天凌晨,Fedus 在 X 上发表了一则公开离职信,讲述了他离职的原因以及今后的去向。
长文本任务是当下大模型研究的重点之一。在实际场景和应用中,普遍存在大量长序列(文本、语音、视频等),有些甚至长达百万级 tokens。
最近的研究强调了扩散模型与表征学习之间的相互作用。扩散模型的中间表征可用于下游视觉任务,同时视觉模型表征能够提升扩散模型的收敛速度和生成质量。然而,由于输入不匹配和 VAE 潜在空间的使用,将视觉模型的预训练权重迁移到扩散模型中仍然具有挑战性。
AI搜索工具正席卷美国,近四分之一的人已抛弃传统搜索引擎。然而,最新研究揭露,这些工具在引用新闻时错误率高达60%,令人大跌眼镜。
自由与好奇心是学术研究最宝贵的特质,正是对未知的执着探索,才能孕育改变世界的创新。
AI-Researcher是一个开源的科研智能体框架,它能从文献搜集一路包办至论文撰写,彻底改变了科研方式,让科研自动化触手可及。
谷歌Gemini全新升级!深度研究全球免费体验,还将支持45余种语言。谷歌旗下App与Gemini互联,正在2.0 Flash Thinking Experimental中上线。利用Gems更是可以量身定制「AI专家」:家教、健身教练、编程搭档都不在话下!
大模型架构研究进展太快,数据却快要不够用了,其中问题数据又尤其缺乏。
「压缩即智能」。这并不是一个新想法,著名 AI 研究科学家、OpenAI 与 SSI 联合创始人 Ilya Sutskever 就曾表达过类似的观点。