AI资讯新闻榜单内容搜索-Phi

关键词: GenAI,AI,大模型,人工智能

面对GenAI的技术浪潮，很多人都会在不断迭代更新的技术中逐渐迷失。站在潮头的Sapphire、Emergence、Menlo等风投公司，又会如何看待这场AI变局的现状与走向？

关键词: RAG,Phi-3,大模型,AI,小模型

Build大会召开两周之后，微软更新了Phi-3系列模型的技术报告。不仅加入最新的基准测试结果，而且对小模型、高性能的实现机制做出了适当的揭示。

关键词: Mixtral,Llama 3,Phi-3,OpenELM,大模型

深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mixtral、Meta AI 的 Llama 3、微软的 Phi-3 和苹果的 OpenELM。

关键词: GPT-3.5,微软,Phi-3,微软AI,Scaling Laws

过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。

关键词: 小模型,过拟合,Phi-3,Mixtral 8x22B,模型训练

当前最火的大模型，竟然三分之二都存在过拟合问题？

关键词: LLM,微调,LongRoPE,模型训练,上下文

大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token

关键词: 苹果,OpenELM,Llama 3,Phi-3,Transformer

从Llama 3到Phi-3，蹭着开源热乎劲儿，苹果也来搞事情了。

关键词: 微软,Phi-3,Llama-3,微软AI,大模型

Llama-3 刚发布没多久，竞争对手就来了，而且是可以在手机上运行的小体量模型。

关键词: chatGPT,大模型,openai,GPT-3.5,Phi-3

Llama 3发布刚几天，微软就出手截胡了？

关键词: ICLR,深度学习,模型训练,HLOP

以脉冲神经网络（SNN）为代表的脑启发神经形态计算（neuromorphic computing）由于计算上的节能性质在最近几年受到了越来越多的关注 [1]。受启发于人脑中的生物神经元，神经形态计算通过模拟并行的存内计算、基于脉冲信号的事件驱动计算等生物特性，能够在不同于冯诺依曼架构的神经形态芯片上以低功耗实现神经网络计算。