简单的任务，传统的Transformer却错误率极高。Meta FAIR团队重磅推出多token注意力机制（MTA），精准捕捉复杂信息，带来模型性能飞升！
自2022年11月，美国硅谷初创公司OpenAI推出首款基于大语言模型的现象级聊天机器人ChatGPT以来，AI技术与我们的生活日益紧密。然而，大模型降世两年多，人们却吃惊地发现，自己最终的那个梦想，一个有强大AI为人类工作的社会，一个有更多的闲暇，上四休三甚至每周工作更短时间的世界，却仿佛更遥远了，我们变得更忙了，而且，这个事实居然在数据上得到了确认。
2024年5月，归元堂生物获得君融健康产业投资超1000万元的天使轮投资，用于中医皮肤健康管理AI大模型研发。紧接着，12月，吾征智能完成数千万元的Pre-A轮融资，由仁毅资本领投，该公司致力于利用医学生物特征计算AI技术把“望闻问切”搬上互联网。
随着DeepSeek R1、OpenAI GTP-4o、Antropic Claude3.7、xAI Grok3纷至沓来，AI大模型已然变成巨头的游戏，“百模大战”也成为了过去式。到了2025年，让用户先把AI用起来，也已经成为了一众厂商的共识。
谷歌DeepMind研发的DreamerV3实现重大突破：无需任何人类数据，通过强化学习与「世界模型」，自主完成《我的世界》中极具挑战的钻石收集任务。该成果被视为通往AGI的一大步，并已登上Nature。
这两年，大家的目光几乎被“大模型”三个字牢牢吸住了，谁超越了谁、榜单排名第一，少有人关注模型之外的东西。
随着人工智能合成视频（AIGC）技术的飞速发展，我们正步入一个由 AI 主导的视频创作时代。
通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
在InternVL-2.5上实现10倍吞吐量提升，模型性能几乎无损失。
视觉Token可以与LLMs词表无缝对齐了！
