LLM 很强大，但也存在一些明显缺点，比如幻觉问题、可解释性差、抓不住问题重点、隐私和安全问题等。检索增强式生成（RAG）可大幅提升 LLM 的生成质量和结果有用性。
来自微软、MIT等机构的学者提出了一种创新的训练范式，攻破了大模型的推理缺陷。他们通过因果模型构建数据集，直接教模型学习公理，结果只有67M参数的微型Transformer竟能媲美GPT-4的推理能力。
Kevin Scott表示，过去20年里，人工智能领域最重要的进步都与“规模”有关；OpenAI的潜力在于未来可能成为构建AI平台的基础；数据的质量比数量更重要。
已经与OpenAI合作多年的微软，以及刚刚透露要加入董事会的苹果，这两天突然毫无征兆地宣布放弃董事会观察员席位。难道OpenAI真的要终止合作、决定单飞了？
就在昨天，OpenAI正式封锁了中国地区API，但微软却向开发者们大方伸出橄榄枝：速来Azure！与此同时，中国大模型，已经准备好了一波爆发。
微软的这项研究让开发者可以在单卡机器上以 10 倍的速度处理超过 1M 的输入文本。
套壳生意，被国产大模型快要打没了。
Scaling Law 持续见效，让算力就快跟不上大模型的膨胀速度了。「规模越大、算力越高、效果越好」成为行业圭皋。主流大模型从百亿跨越到 1.8 万亿参数只用了1年，META、Google、微软这些巨头也从 2022 年起就在搭建 15000 卡以上的超大集群。「万卡已然成为 AI 主战场的标配。」
AI模型大市场，需求侧精细化逐渐成为趋势，科技巨头间的动态竞争为用户提供更多选择。
尽管存在竞争，苏莱曼坦言与OpenAI有着深厚的伙伴关系，并表示对奥特曼的工作充满敬意和信任，坚信这种伙伴关系将在未来持续发展，同时强调这种既紧密又独立的伙伴关系的重要性。
