Mac专属大模型框架来了！两行代码部署，能聊本地数据，还支持中文
Mac专属大模型框架来了！两行代码部署，能聊本地数据，还支持中文Mac用户，终于不用羡慕N卡玩家有专属大模型Chat with RTX了！
来自主题: AI资讯
8623 点击 2024-03-04 15:32
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Mac用户，终于不用羡慕N卡玩家有专属大模型Chat with RTX了！
英伟达在2024年2月14号的时候推出了这么一个产品，叫做Chat with RTX。顾名思义，就是和英伟达的显卡聊天。简单来说Chat with RTX是一个本地部署的大语言模型工具，可以实现和大语言模型对话，还支持处理多种文件类型，用户可以与其进行文本、PDF、Word文档等多种格式内容的交互。
多模态大模型，首次本地部署在安卓手机上了！
2023 年，大型语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。
Meta的第二代自研芯片正式投产！小扎计划今年部署Artemis AI芯片为AI提供算力，以减少对英伟达GPU的依赖。
南京大学周志华教授提出的「学件」范式通过模型 + 规约的思路构建学件市场（现称学件基座系统），让用户根据需求从中统一地选择和部署模型。如今学件范式迎来了首个开源的基础平台 —— 北冥坞（Beimingwu）。
YC昨天投的那家公司，VectorShift，是一家AI应用自动化构建平台。他们利用人工智能来搜索知识库、生成文档并部署聊天机器人和助手，以帮助任何组织构建企业级AI应用程序。
本文将介绍 MoE 的构建模块、训练方法以及在使用它们进行推理时需要考虑的权衡因素。
近日，CMU Catalyst 团队推出了一篇关于高效 LLM 推理的综述，覆盖了 300 余篇相关论文，从 MLSys 的研究视角介绍了算法创新和系统优化两个方面的相关进展。
近日，美团、浙大等推出了能够在移动端部署的多模态大模型，包含了 LLM 基座训练、SFT、VLM 全流程。也许不久的将来，每个人都能方便、快捷、低成本的拥有属于自己的大模型。