“大海捞针”out！“数星星”成测长文本能力更精准方法，来自鹅厂
“大海捞针”out！“数星星”成测长文本能力更精准方法，来自鹅厂大模型长文本能力测试，又有新方法了！
来自主题: AI技术研报
9514 点击 2024-04-02 11:36
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型长文本能力测试，又有新方法了！
扣子是字节跳动出品的 Agent 创作平台，不了解 Coze /扣子的朋友，可以先看看我们往期的文章
作为 Meta 的前 CTO，Quora CEO Adam D'Angelo 目前还是 OpenAI 的董事会成员，在 Quora 之外推出的 Poe，成为当下接入大模型最多的 Chatbot 平台：GPT-4、Claude3、Mistral 等模型都有，用户也可以在上面搭建自己的 Chatbot 机器人，如果有别的用户使用，还可以产生收益。
OpenAI狠狠地open了一把就在刚刚，OpenAI狠狠地open了一把：从今天起，ChatGPT打开即用，无需再注册帐号和登录了！
随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。
2022 年底，随着 ChatGPT 的爆火，人类正式进入了大模型时代。然而，训练大模型需要的时空消耗依然居高不下，给大模型的普及和发展带来了巨大困难。面对这一挑战，原先在计算机视觉领域流行的 LoRA 技术成功转型大模型 [1][2]，带来了接近 2 倍的时间加速和理论最高 8 倍的空间压缩，将微调技术带进千家万户。
OpenAI 从未放慢前进的脚步，DALL・E 3 将支持对生成后的图片进行再次编辑。
搞 AI 大模型，实在太烧钱了。我们知道，如今的生成式 AI 有很大一部分是资本游戏，科技巨头利用自身强大的算力和数据占据领先位置，并正在使用先进 GPU 的并行算力将其推广落地。这么做的代价是什么？最近《华尔街日报》一篇有关明星创业公司的报道里给出了答案：投入是产出的 17 倍。
CLIP长文本能力被解锁，图像检索任务表现显著提升！一些关键细节也能被捕捉到。上海交大联合上海AI实验室提出新框架Long-CLIP。
【新智元导读】OpenAI机器人理解力虽强，却无法进行非语言交流。最近，哥伦比亚大学华人团队打造了全新的机器人Emo，不仅可以提前预测和模拟人类表情，还可以进行眼神交流。
【新智元导读】在英伟达统治AI时代硬件的当下，谷歌的TPU却开辟了另一条道路。今天，小编带你了解第一块TPU的前世今生，同时揭开TPU架构的神秘面纱。
目前，Video Pose Transformer（VPT）在基于视频的三维人体姿态估计领域取得了最领先的性能。近年来，这些 VPT 的计算量变得越来越大，这些巨大的计算量同时也限制了这个领域的进一步发展，对那些计算资源不足的研究者十分不友好。例如，训练一个 243 帧的 VPT 模型通常需要花费好几天的时间，严重拖慢了研究的进度，并成为了该领域亟待解决的一大痛点。
首个AI软件工程师Devin正式亮相，立即引爆了整个技术界。
OpenAI雪藏的新产品——语音合成引擎Voice Engine，终于被正式揭幕。 有了它，只需15秒的语音样本，就能克隆出一个人的声音，而且还能跨越语言！ APP版ChatGPT中的语音对话功能，也正是由这项技术所驱动。
研究人员开发了一种由 AI 驱动的发声贴片，可以非侵入性地粘附在喉部帮助发声。
AI 智能体是去年很火的一个话题，但是 AI 智能体到底有多大的潜力，很多人可能没有概念。 最近，斯坦福大学教授吴恩达在演讲中提到，他们发现，基于 GPT-3.5 构建的智能体工作流在应用中表现比 GPT-4 要好。当然，基于 GPT-4 构建的智能体工作流效果更好。由此看来，AI 智能体工作流将在今年推动人工智能取得巨大进步，甚至可能超过下一代基础模型。这是一个值得所有人关注的趋势。
对于普通人来说，写一首歌是一件难事： 作词、作曲、编曲、录制这套流程下来，不仅要有乐理知识，也要对各个乐器的理解度，而且对于设备的要求也很高。
【新智元导读】AI淘汰人类的紧迫感越来越近了！最近，在音乐剧《妈妈咪呀》饰演主角女星，被一封BBC邮件告知：不用来了，AI替代了你。
【新智元导读】大模型的幻觉问题怎么解？谷歌DeepMind：用AI来做同行评审！事实核验正确率超过人类，而且便宜20倍。
【新智元导读】炸裂消息！据外媒透露，微软和OpenAI正豪掷超千亿美元，欲打造一台「星际之门」超算。最快在2028年，「星际之门」就要启动了。而它对电力的需求，将达到前所未有的程度。
精彩精彩，第一个把爆火Mamba架构真正扩展到足够大的工作来了。 520亿参数，还是Mamba+Transformer混合架构。 它的名字叫Jamba。
还记得黑客帝国经典的子弹时间吗？IDEA研究院最新检测模型T-Rex2，可以齐刷刷给全部识别出来~
就在刚刚，马斯克Grok大模型宣布重大升级。
中国大模型产业该怎么看？
【新智元导读】52B的生产级Mamba大模型来了！这个超强变体Jamba刚刚打破世界纪录，它能正面硬刚Transformer，256K超长上下文窗口，吞吐量提升3倍，权重免费下载。
【新智元导读】马斯克「搞笑」模型刚刚升级到Grok-1.5，推理性能暴涨，支持128k长上下文。最重要的是，Grok-1.5的数学和代码能力大幅提升。
【新智元导读】Stability AI在大佬出走后似乎并未受到影响，最近又官宣了新的代码模型Stable Code Instruct 3B，在之前的基础上更进一步，干掉了所有同级竞品，甚至能和7B、15B的模型掰手腕。
【新智元导读】从今天起，千元级就能解锁专属大模型了！这款搭载首颗纯国产14nm Chiplet大模型推理芯片的「深目」AI模盒，可以轻松实现百亿级参数多模态大模型的推理+微调。各种碎片化长尾算法，直接秒级生成！
【新智元导读】过去25年，半导体工艺制程不断逼近极限，才有了ChatGPT的诞生。如今世界最强英伟达GPU已有超2080亿个晶体管。台积电大佬预测，未来十年，1万亿晶体管GPU将问世。
一张照片 + 一段视频，就能让照片活起来！