Transformer挑战者出现！斯坦福CMU联合团队，开源模型及代码，公司已创办
Transformer挑战者出现！斯坦福CMU联合团队，开源模型及代码，公司已创办现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。
来自主题: AI技术研报
7504 点击 2023-12-05 17:32
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。
浪潮信息发布源2.0基础大模型，并一口气开源了1026亿、518亿、21亿三个大模型！而在编程、推理、逻辑这些老大难问题上，源2.0都表现出了令人印象深刻的性能。
刚刚，英伟达发布了目前世界最强的AI芯片H200，性能较H100提升了60%到90%，还能和H100兼容。算力荒下，大科技公司们又要开始疯狂囤货了。
11月10日，2023年世界互联网大会乌镇峰会正式闭幕，这是乌镇峰会走过的第十个年头。 回顾往年的大会，来自阿里、腾讯、百度、字节跳动等公司的互联网领军人物，往往是峰会的一个特殊群体，从他们登台演讲的“金句”、到场外的“饭局”，都备受关注。人们期待能从他们的语言中，拼凑出互联网的未来。
提及人工智能AI相关的算力芯片，现在绝大多数人的第一反应都是英伟达NVIDIA的GPU，作为AI模型搭建的基础，英伟达的A100/H100几乎成为了一块块“金砖”，深受业界喜爱。
过去一百年里，全球电动机消耗掉的电量就占到了总发电量的一半，而现在的大模型就相当于新时代的电机。
全球算力发展应用多元化、供需不平衡的挑战仍在持续，以AIGC为代表的人工智能大模型等新应用、新需求的崛起，推动算力规模快速增长、计算技术多元创新、产业格局加速重构。
算力紧缺、成本制约、商业变现，这或许也是几乎所有AI企业所面临的现状。
在目前阶段，超算与AI计算的融合是大势所趋。为了将AI模型与AI计算融入超算体系，一轮新的超算变革正在酝酿发生。
GPT-4太吃算力，微软被爆内部制定了Plan B，训练更小、成本更低的模型，进而摆脱OpenAI。