超70%代码基准没有质量保证!港科大最新「指南」全面调研10年274个评测集
超70%代码基准没有质量保证!港科大最新「指南」全面调研10年274个评测集近年来,代码评测集数量激增,但质量参差不齐。为规范其开发,香港科技大学联合多所高校研究了过去十年的274个代码评测集,发现诸多问题,如数据重复、测试用例错误、隐私信息未删除等。基于此,他们推出了《代码评测集发展指南55项》(How2Bench),涵盖设计、构建、评测、分析、发布五大阶段,旨在提升代码评测集的质量与可靠性。
搜索
近年来,代码评测集数量激增,但质量参差不齐。为规范其开发,香港科技大学联合多所高校研究了过去十年的274个代码评测集,发现诸多问题,如数据重复、测试用例错误、隐私信息未删除等。基于此,他们推出了《代码评测集发展指南55项》(How2Bench),涵盖设计、构建、评测、分析、发布五大阶段,旨在提升代码评测集的质量与可靠性。
Salesforce 的CEO马克·贝尼奥夫上个月宣布 2025 年为“Agentforce 的绝对之年”,这是这家软件公司去年秋天推出的一款产品,旨在帮助客户实现客户服务和其他业务功能的自动化。
3月17日上午,零一万物发布万智企业大模型平台,并宣布全面拥抱DeepSeek。这是继DeepSeek引发行业巨震后,作为大模型六小虎之一的零一万物首次对外发声。李开复明确表示,公司的未来重点方向在于ToB业务。虎嗅获悉,零一万物将在2025年进行战略收缩,并尽快完成战略聚焦,资源向ToB大力倾斜。
OpenAI 又有重量级员工出走!这次是后训练负责人、研究副总裁 William Fedus。今天凌晨,Fedus 在 X 上发表了一则公开离职信,讲述了他离职的原因以及今后的去向。
“大模型推广大神”陶哲轩又来分享他的亲测体验了。这一次o3-mini一眼识破并且纠正了他的一个错误,然后在它的帮助下快速完成了一道数学题的解答。
DeepSeek爆火续写了AI行业的神话,但融资时对标OpenAI的百川智能,却并未迎来春天。
第一家全面拥抱DeepSeek的“六小虎”,出现了! 不卖关子,它就是李开复亲任CEO的零一万物。 今日正式上线万智企业大模型一站式平台,宣布提供企业级DeepSeek部署定制解决方案。
谷歌的Gemini 2.0 Flash凭一句话PS的功能,还在全网不断掀起新的风暴!广告业直接被颠覆,模特从此彻底不存在了。去水印、梗图、交叉图像,已经被网友玩疯。甚至有人预言:谷歌已全面超越OpenAI,将率先实现AGI。
“零基础”也能弹奏出好听和弦的无弦吉他,能监测睡眠呼吸和血氧的智能戒指,能听音乐、打电话、做翻译的AI眼镜……近日,位于徐汇西岸的大模型创新生态社区“模速空间”联手潮流电子新零售品牌Z·Pilot,推出上海首家全球AI潮品体验店。500多平方米的店内汇集了500多件科技潮品,让每一位尝鲜者大呼过瘾。
大模型同样的上下文窗口,只需一半内存就能实现,而且精度无损? 前苹果ASIC架构师Nils Graef,和一名UC伯克利在读本科生一起提出了新的注意力机制Slim Attention。