
资源多到什么程度,才能创业追 OpenAI?
资源多到什么程度,才能创业追 OpenAI?xAI 今天宣布推出 Grok-2 和 Grok-2 mini 测试版,官方说,它的表现比 Claude 3.5 Sonnet 和 GPT-4-Turbo 更好。
xAI 今天宣布推出 Grok-2 和 Grok-2 mini 测试版,官方说,它的表现比 Claude 3.5 Sonnet 和 GPT-4-Turbo 更好。
开源还是闭源,这是个问题。
Grok误报特朗普暗杀事件,暴露AI局限。
MoE已然成为AI界的主流架构,不论是开源Grok,还是闭源GPT-4,皆是其拥趸。然而,这些模型的专家,最大数量仅有32个。最近,谷歌DeepMind提出了全新的策略PEER,可将MoE扩展到百万个专家,还不会增加计算成本。
马斯克为Grok 3要豪掷近40亿美元狂买10万张H100,GPT-6的训练则可能要耗资百亿。然而红杉和高盛近日都给行业泼了冷水:每年要挣6000亿美元才能支付的巨额硬件支出,换来的却只是OpenAI 34亿美元的收入,绝大多数初创连1亿美元都达不到。而如果全世界的AI泡沫都被戳破,很可能就会导致新的经济危机。
马斯克连回两条推文为xAI造势,宣布8月发布Grok 2,年底将推出在10万张H100上训练的Grok 3,芯片加持创新数据训练,打造对标GPT的新一代大语言模型。
昨晚,谷歌正式开源了自家最强的开源模型Gemma 2,直指为全球范围研究开发者提供实用部署工具。
马斯克最近哭穷表示,xAI需要部署10万个H100才能训出Grok 3,影响全球的大模型算力荒怎么解?昨天开源的这款MoE大模型,只用了1/19算力、1/19激活参数,性能就直接全面对标Llama 3-70B!
最近,许久没有新动向的马斯克放出了大消息——他旗下的人工智能初创公司xAI将投入巨资建造一个超算中心,以保证Grok 2及之后版本的训练。这个「超级计算工厂」预计于2025年秋季建成,规模将达到目前最大GPU集群的四倍。
这段时间,AI模型界是真的热闹,新的模型不断涌现,不管是开源还是闭源,都在刷新成绩。就在前几天,Meta就上演了一出“重夺开源铁王座”的好戏。发布了Llama 3 8B和70B两个版本,在多项指标上都超越了此前开源的Grok-1和DBRX,成为了新的开源大模型王者。