对代码大模型而言，比能做编程题更重要的，是看是能不能适用于企业级项目开发，是看在实际软件开发场景中用得顺不顺手、成本高不高、能否精准契合业务需求，后者才是开发者关心的硬实力。
过去一年，AI大模型技术飞速发展，如何用好大模型实现降本增效、推动业务增长，成为了企业真正关心的问题。据Gartner预测，2026年，将有超过80%企业会使用生成式AI的API或模型，或在生产环境中部署支持生成式AI的应用，产业发展迎来巨大的机遇与挑战。
最近一份美国市场研究机构发布的报告火了。报告详细分析了OpenAI部署Sora所需的硬件资源，计算得出，在峰值时期Sora需要高达72万张英伟达H100 来支持，对应成本是1561亿人民币。
当OepnAI和马斯克连日互杠、Google因文化偏见麻烦缠身、号称抢走GPT-4王位的Claude 3全力瞄准企业级部署的时候，在另一个角落，致力于「为每个人开发服务型AI」的人工智能初创公司Inflection AI，悄悄更新了他们的聊天机器人Pi，以及为之提供支持的新一代大模型Inflection-2.5。
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。
Mac用户，终于不用羡慕N卡玩家有专属大模型Chat with RTX了！
英伟达在2024年2月14号的时候推出了这么一个产品，叫做Chat with RTX。顾名思义，就是和英伟达的显卡聊天。简单来说Chat with RTX是一个本地部署的大语言模型工具，可以实现和大语言模型对话，还支持处理多种文件类型，用户可以与其进行文本、PDF、Word文档等多种格式内容的交互。
多模态大模型，首次本地部署在安卓手机上了！
2023 年，大型语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。
Meta的第二代自研芯片正式投产！小扎计划今年部署Artemis AI芯片为AI提供算力，以减少对英伟达GPU的依赖。
