用光学让AI算力集群提速数十倍，Lightmatter融资4亿美元
用光学让AI算力集群提速数十倍，Lightmatter融资4亿美元传统计算架构的潜力开发已接近极限 要实现超强的AI能力，需要超大规模的模型，要训练超大规模的AI模型，需要数千，甚至上万的GPU协同工作。
来自主题: AI资讯
5108 点击 2024-10-24 09:52
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
传统计算架构的潜力开发已接近极限 要实现超强的AI能力，需要超大规模的模型，要训练超大规模的AI模型，需要数千，甚至上万的GPU协同工作。
现有的大模型主要依赖固定的参数和数据来存储知识，一旦训练完成，修改和更新特定知识的代价极大，常常因知识谬误导致模型输出不准确或引发「幻觉」现象。因此，如何对大模型的知识记忆进行精确控制和编辑，成为当前研究的前沿热点。
让大模型依靠群体的智能。
Time-MoE采用了创新的混合专家架构，能以较低的计算成本实现高精度预测。研发团队还发布了Time-300B数据集，为时序分析提供了丰富的训练资源，为各行各业的时间序列预测任务带来了新的解决方案。
在NLP领域，研究者们已经充分认识并认可了表征学习的重要性，那么视觉领域的生成模型呢？最近，谢赛宁团队发表的一篇研究就拿出了非常有力的证据：Representation matters！
RAG通过纳入外部文档可以辅助LLM进行更复杂的推理，降低问题求解所需的推理深度，但由于文档噪声的存在，其提升效果可能会受限。中国人民大学的研究表明，尽管RAG可以提升LLM的推理能力，但这种提升作用并不是无限的，并且会受到文档中噪声信息的影响。通过DPrompt tuning的方法，可以在一定程度上提升LLM在面对噪声时的性能。
让 AI 与人类价值观对齐一直都是 AI 领域的一大重要且热门的研究课题，甚至很可能是 OpenAI 高层分裂的一大重要原因 ——CEO 萨姆・奥特曼似乎更倾向于更快实现 AI 商业化，而以伊尔亚・苏茨克维（Ilya Sutskever）为代表的一些研究者则更倾向于先保证 AI 安全。
最近，DeepMind 今年 2 月份的一篇论文在社交媒体上掀起了一些波澜。
10 月 4 日，播客节目 BG2（Brad Gerstner 和 Clark Tang）邀请到了英伟达 CEO 黄仁勋，他们一起讨论了 AGI、机器学习加速、英伟达的竞争优势、推理与训练的重要性、AI 领域未来的市场动态、AI 对各个行业的影响、工作的未来、AI 提高生产力的潜力、开源与闭源之间的平衡、马斯克的 Memphis 超级集群、X.ai、OpenAI、AI 的安全开发等。
近日，来自乔治梅森大学和腾讯AI实验室的研究团队在这一领域取得了重大突破。他们提出了一种名为DOTS（Dynamic Optimal Trajectory Search）的创新方法，通过最佳推理轨迹搜索，显著提升LLMs的动态推理能力。