T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。
有CPU就能跑大模型，性能甚至超过NPU/GPU！
在 2024 年全球开发者大会上，苹果重磅推出了 Apple Intelligence，这是一个全新的个性化智能系统， 可以提供实用的智能服务，覆盖 iPhone、iPad 和 Mac，并深度集成在 iOS 18、iPadOS 18 和 macOS Sequoia 中。
华盛顿大学和Allen AI最近发表的论文提出了一种新颖有趣的数据合成方法。他们发现，充分利用LLM的自回归特性，可以引导模型自动生成高质量的指令微调数据。
万万没想到，Mac变成AI PC，原来就差了一个豆包电脑版。
假如你有闲置的设备，或许可以试一试。
英伟达投的Sora竞品，服务器又双叒被挤爆了！
今天凌晨，OpenAI官方账号宣布，ChatGPT MAC版本桌面应用程序今日起向公众免费开放使用，但原定于6月底向Plus用户开放的语音功能将推迟一个月上线，据悉这是出于安全因素和用户体验的保证。
这几天，最新发布的Stable Diffusion 3和Luma AI的视频生成模型Dream Machine相继发布，但这两个模型却用非常独特的方式震撼到了网友们。Dream Machine加上二创脑洞成为快乐源泉，SD3输出的诡异图片却散发着浓浓的「黑色幽默」。
发布不到2天，那个号称“下一代”文生视频的Dream Machine（来自Luma AI），大大大大翻车。
