Attention Sink产生的起点?清华&美团首次揭秘MoE LLM中的超级专家机制
Attention Sink产生的起点?清华&美团首次揭秘MoE LLM中的超级专家机制稀疏激活的混合专家模型(MoE)通过动态路由和稀疏激活机制,极大提升了大语言模型(LLM)的学习能力,展现出显著的潜力。基于这一架构,涌现出了如 DeepSeek、Qwen 等先进的 MoE LLM。
搜索
稀疏激活的混合专家模型(MoE)通过动态路由和稀疏激活机制,极大提升了大语言模型(LLM)的学习能力,展现出显著的潜力。基于这一架构,涌现出了如 DeepSeek、Qwen 等先进的 MoE LLM。
在图像生成领域,自回归(Autoregressive, AR)模型与扩散(Diffusion)模型之间的技术路线之争始终未曾停歇。大语言模型(LLM)凭借其基于「预测下一个词元」的优雅范式,已在文本生成领域奠定了不可撼动的地位。
随着 Gemini-Diffusion,Seed-Diffusion 等扩散大语言模型(DLLM)的发布,这一领域成为了工业界和学术界的热门方向。但是,当前 DLLM 存在着在推理时必须采用预设固定长度的限制,对于不同任务都需要专门调整才能达到最优效果。
7月15日,Heron宣布完成了1600万美元的A轮融资,由Insight Partners领投,Y Combinator、BoxGroup和Flex Capital参投。这家专注于自动化文档密集型工作流程的公司,正在重新定义AI在保险、借贷和金融领域的应用方式。
对大公司来说,钱不值钱,最值钱的是时间。本期播客,我们邀请在硅谷专注 AI 企业级应用、医疗和工业自动化早期投资的风险投资机构 Fusion Fund 创始合伙人张璐,梳理上半年硅谷的科技大事件,以及从 Windsurf 收购案入手,分析这件事折射出了硅谷的初创生态在发生的变化,以及从 Meta 到 Google、再到苹果、亚马逊、微软,上半年的一些关键动作意味着哪些战略选择。
Tavily,一家为AI提供企业级安全搜索API的初创公司,于近日完成2000万美元的A轮融资,由Insight Partners领投,公司累计融资额达2500万美元。Tavily源自其创始人在2023年创建的、在GitHub上广受欢迎的开源项目GPT Researcher,专注于解决AI智能体在访问互联网时面临的合规与安全挑战。
融资10亿美元,要在开源上挑战Deepseek! 前谷歌DeepMind成员、AlphaGo开发者创立Reflection AI,致力于开发开源大语言模型。
AI大模型浪潮汹涌澎湃,00后创业者正一步步走上创业舞台,成为这场技术革新的主心骨。身处这股技术新浪潮之中的Celine和Kejin,两个刚走出校园里的年轻人瞄准的是AI教育。
SkinVision 是一家于 2011 年在荷兰阿姆斯特丹成立的数字健康公司,致力于通过人工智能(AI)驱动的移动解决方案,实现皮肤癌的早期检测与个性化皮肤健康管理。
近日,ChatGPT 用户们震惊地发现,自己与该人工智能模型的聊天记录竟出现在了谷歌搜索结果中。有用户发现,他们可以通过谷歌搜索“ site:chatgpt.com/share ”来查找数千条陌生人与人工智能助手的对话。