AI资讯新闻榜单内容搜索-模型训练

关键词: Gemini,文心一言,模型训练

在谷歌Vertex AI平台使用该模型进行中文对话时，Gemini-Pro直接表示自己是百度语言大模型。

关键词: 小模型训练,LLM训练,上下文训练

我们都知道，大语言模型（LLM）能够以一种无需模型微调的方式从少量示例中学习，这种方式被称为「上下文学习」（In-context Learning）。这种上下文学习现象目前只能在大模型上观察到。比如 GPT-4、Llama 等大模型在非常多的领域中都表现出了杰出的性能，但还是有很多场景受限于资源或者实时性要求较高，无法使用大模型。

关键词: OpenAI,山姆奥特曼

本文探讨了AI对齐在OpenAI公司中被忽视的一部分，以及AI对齐在大模型训练中的重要性和影响。文章揭示了OpenAI内部因AI对齐而产生的分歧，并阐述了AI对齐在保证AI按照人类意图和价值观运作方面的作用。同时，文章指出AI对齐在大模型训练中存在的性能阉割和对齐税等问题，以及AI对齐在大模型发展中的隐藏模型和重要性。

关键词: Scaling Law,模型训练,LLM训练

计划训练一个10B的模型，想知道至少需要多大的数据？收集到了1T的数据，想知道能训练一个多大的模型？老板准备1个月后开发布会，给的资源是100张A100，那应该用多少数据训一个多大模型最终效果最好？

关键词: H200,AI芯片,AI硬件

英伟达老黄，带着新一代GPU芯片H200再次炸场。官网毫不客气就直说了，“世界最强GPU，专为AI和超算打造”。

关键词: Weights&Biases,AI训练,模型微调,MLOps

有一家公司，OpenAI、Anthropic、Cohere、Aleph Alpha（欧洲顶尖大模型公司）和Hugging Face的模型训练和微调都离不开它，NVIDIA和谷歌云（GCP）都是它的深度合作伙伴，它是支持生成式AI明星公司们训练模型的幕后英雄。

关键词: 大语言模型,AI模型,模型训练

即便大语言模型的参数规模日渐增长，其模型中的参数到底是如何发挥作用的还是让人难以琢磨，直接对大模型进行分析又费钱费力。针对这种情况，微软的两位研究员想到了一个绝佳的切入点

关键词: 幻觉,模型训练

相比于一味规避“有毒”数据，以毒攻毒，干脆给大模型喂点错误文本，再让模型剖析、反思出错的原因，反而能够让模型真正理解“错在哪儿了”，进而避免胡说八道。

关键词: 微调,逐步微调,Distilling Step-by-Step,LLMs

大型语言模型能力惊人，但在部署过程中往往由于规模而消耗巨大的成本。华盛顿大学联合谷歌云计算人工智能研究院、谷歌研究院针对该问题进行了进一步解决，提出了逐步微调（Distilling Step-by-Step）的方法帮助模型训练。

关键词: AI,数据标注,模型训练,chatGPT

而在AI大模型的相关市场竞争中，除了底层的算法、架构外，“语料”则是一个被反复提及的关键要素。