AI资讯新闻榜单内容搜索-预训练

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 预训练
自回归科学基座模型 BigBang-Proton,提出实现 AGI 的新路线

自回归科学基座模型 BigBang-Proton,提出实现 AGI 的新路线

自回归科学基座模型 BigBang-Proton,提出实现 AGI 的新路线

近日,专注于研发物质世界基座模型的公司超越对称(上海)技术有限公司(超对称)发布了新版基座模型 BigBang-Proton,成功实现多个真实世界的专业学科问题与 LLM 的统一预训练和推理,挑战了 Sam Altman 和主流的 AGI 技术路线。

来自主题: AI技术研报
8435 点击    2025-11-07 15:03
具身智能一步踏入Scaling Law!10B+基础模型,27万小时真实数据

具身智能一步踏入Scaling Law!10B+基础模型,27万小时真实数据

具身智能一步踏入Scaling Law!10B+基础模型,27万小时真实数据

当前机器人领域,基础模型主要基于「视觉-语言预训练」,这样可将现有大型多模态模型的语义泛化优势迁移过来。但是,机器人的智能确实能随着算力和数据的增加而持续提升吗?我们能预测这种提升吗?

来自主题: AI技术研报
6350 点击    2025-11-05 16:42
字节Seed团队发布循环语言模型Ouro,在预训练阶段直接「思考」,Bengio组参与

字节Seed团队发布循环语言模型Ouro,在预训练阶段直接「思考」,Bengio组参与

字节Seed团队发布循环语言模型Ouro,在预训练阶段直接「思考」,Bengio组参与

现代 LLM 通常依赖显式的文本生成过程(例如「思维链」)来进行「思考」训练。这种策略将推理任务推迟到训练后的阶段,未能充分挖掘预训练数据中的潜力。

来自主题: AI技术研报
8810 点击    2025-11-04 16:12
字节发布通用游戏智能体!5000亿token训练,用鼠标键盘吊打GPT-5!

字节发布通用游戏智能体!5000亿token训练,用鼠标键盘吊打GPT-5!

字节发布通用游戏智能体!5000亿token训练,用鼠标键盘吊打GPT-5!

Game-TARS基于统一、可扩展的键盘—鼠标动作空间训练,可在操作系统、网页与模拟环境中进行大规模预训练。依托超5000亿标注量级的多模态训练数据,结合稀疏推理(Sparse-Thinking) 与衰减持续损失(decaying continual loss),大幅提升了智能体的可扩展性和泛化性。

来自主题: AI技术研报
7813 点击    2025-11-01 09:42
高效训练新标杆!华人团队开源原生VLM-NEO,以少数据追平顶级模型

高效训练新标杆!华人团队开源原生VLM-NEO,以少数据追平顶级模型

高效训练新标杆!华人团队开源原生VLM-NEO,以少数据追平顶级模型

当下主流的视觉语言模型(Vision-Language Models, VLM),通常都采用这样一种设计思路:将预训练的视觉编码器与大语言模型通过投影层拼接起来。这种模块化架构成就了当前 VLM 的辉煌,但也带来了一系列新的问题——多阶段训练复杂、组件间语义对齐成本高,不同模块的扩展规律难以协调。

来自主题: AI技术研报
7342 点击    2025-10-30 10:55
牛津VGG、港大、上交发布ELIP:超越CLIP等,多模态图片检索的增强视觉语言大模型预训练

牛津VGG、港大、上交发布ELIP:超越CLIP等,多模态图片检索的增强视觉语言大模型预训练

牛津VGG、港大、上交发布ELIP:超越CLIP等,多模态图片检索的增强视觉语言大模型预训练

多模态图片检索是计算机视觉和多模态机器学习领域很重要的一个任务。现在大家做多模态图片检索一般会用 CLIP/SigLIP 这种视觉语言大模型,因为他们经过了大规模的预训练,所以 zero-shot 的能力比较强。

来自主题: AI技术研报
6374 点击    2025-10-30 10:42
前天猫精灵总裁彭超创业,想从运动AI硬件实现通用智能

前天猫精灵总裁彭超创业,想从运动AI硬件实现通用智能

前天猫精灵总裁彭超创业,想从运动AI硬件实现通用智能

彭超曾在华为印度、阿里任消费硬件业务1号位;联合创始人齐炜祯为Multi-token架构开创学者,被Deepseek、Qwen引入预训练方法。

来自主题: AI资讯
6537 点击    2025-10-28 10:43
GPT-5≈o3.1!OpenAI首次详解思考机制:RL+预训练才是AGI正道

GPT-5≈o3.1!OpenAI首次详解思考机制:RL+预训练才是AGI正道

GPT-5≈o3.1!OpenAI首次详解思考机制:RL+预训练才是AGI正道

在某种程度上,GPT-5可以被视作是o3.1。 该观点出自OpenAI研究副总裁Jerry Tworek的首次播客采访,而Jerry其人,正是o1模型的主导者之一。

来自主题: AI资讯
7172 点击    2025-10-20 15:26