基于稀疏注意力的大模型底层数据处理方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于稀疏注意力的大模型底层数据处理方法及系统
申请号:CN202511564042
申请日期:2025-10-30
公开号:CN121029778A
公开日期:2025-11-28
类型:发明专利
摘要
本发明提出了基于稀疏注意力的大模型底层数据处理方法及系统,涉及数据处理技术领域,获取待处理需求数据,根据所述待处理需求数据设置任务特征编码,进行特征有用和无用的分析,获取优先级系数,进行优先级评分,生成动态稀疏掩码;根据动态稀疏掩码的密度信息对所述长文本进行多层级窗口划分,获得多层级局部窗口及其窗口稀疏掩码,对每个局部窗口进行注意力分析,获取窗口关键节点,建立多窗口关键节点连接网络;获取待处理需求数据的更新数据,根据所述更新数据获取更新稀疏编码,与动态稀疏掩码,本发明实现对底层数据处理的高效高精度灵活分析处理。
技术关键词
注意力 数据处理方法 节点 多窗口 编码 动态 文本 层级 低阈值 密度 网络 高效高精度 语义主题 数值 数据处理系统 数据处理技术 矩阵 数据更新 分析模块