一种基于DeepSeekR1大模型的轻量化优化方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于DeepSeekR1大模型的轻量化优化方法
申请号:CN202511117627
申请日期:2025-08-11
公开号:CN120911617A
公开日期:2025-11-07
类型:发明专利
摘要
一种基于DeepSeekR1大模型的轻量化优化方法,其特征是将词元向量维度设定为最多1024个维度,只保留核心语义;设置局部选窗窗口,每个词元仅聚焦关注相邻最多256个词元;按领域分组固化专家路由;限定专家能力,只保留普适性即高频存在的知识方案;根据高频关联词直接生成完整意义的短语,仅验证核心术语不被颠覆即可即句意完全相反,仅保留普适方案。能够有效降低大模型运转时的算力需求,内部数据交换时的带宽需求小,功耗、发热小,能耗设备成本低,利于本地部署,通过牺牲30%的深度泛化能力,如政策分析、工业减排,换取速度提升和能效优化,让减碳建议从"专家报告"变为"随身指南"。
技术关键词
核心 网络模块 术语 阶段 语义 文本 关键词 单路 答案 能效 档位 报告 功耗 分层 能耗 编码 工业 模式 参数