最开始，我们 CTO 计划选择 Coze，但查了下，Coze 整个项目还是比较大，而且后端是 Golang 编写的。我考虑了下，估计后续维护和开发对于中小团队来说比较吃力。各种权衡之后，我们选择了科大讯飞的 Astron Agent。主要原因有两个：
DeepSeek-OCR这段时间非常火，但官方开源的文件是“按 NVIDIA/CUDA 习惯写的 Linux 版推理脚本+模型权重”，而不是“跨设备跨后端”的通吃实现，因此无法直接在苹果设备上运行，对于Mac用户来说，在许多新模型诞生的第一时间，往往只能望“模”兴叹。
在本周MIT报告揭露“绝大多数企业投资AI尚未盈利”引发市场哗然之际，另一项出乎意料的现象也浮出水面：企业部署先进人工智能成本下降的趋势在2025年突然停滞。
今天 ，OpenAI 开源了俩模型：120B/20B 117B 的 gpt-oss-120b 对标 o4-min，按官方说法至少需要 80G 内存，推荐使用单卡 H100 GPU 而刚买的的游戏本，刚好满足gpt-oss-120b 的部署条件
vivo AI研究院联合港中文以及上交团队为了攻克这些难题，从训练数据和模型结构两方面，系统性地分析了如何在MLLM训练中维持纯语言能力，并基于此提出了GenieBlue——专为移动端手机NPU设计的高效MLLM结构方案。
AI非上云不可、非集群不能？万字实测告诉你，32B卡不卡？70B是不是智商税？要几张卡才能撑住业务？ 全网最全指南教你如何用最合适的配置，跑出最强性能。
众所周知，大语言模型（LLM）往往对硬件要求很高。
还在为部署RAG系统的庞大体积和高性能门槛困扰吗？港大黄超教授团队最新推出的轻量级MiniRAG框架很好地解决了这一问题。通过优化架构设计，MiniRAG使得1.5B级别的小模型也能高效完成RAG任务，为端侧AI部署提供了更多可能性。
随着2024年生成式AI大爆发，推理端成本呈指数级激增，推动了泛智能硬件端持续增长，“端云混合AI部署”模式正走向主流，端侧智能则加速了终端“换机热潮”：AI PC、AI手机、AIoT设备、智能座舱。
基于公司私有组件生成代码，这个问题的本质是：由于大模型的训练数据集不包含你公司的私有组件数据，因此不能够生成符合公司私有组件库的代码。
