大模型环境下实现私有知识模型与互联网数据管理的方法、装置、处理器及其存储介质
申请号:CN202510752885
申请日期:2025-06-06
公开号:CN120632320A
公开日期:2025-09-12
类型:发明专利
摘要
本发明涉及一种大模型环境下实现私有知识模型与互联网数据管理的方法,包括多渠道获取公开知识模型数据集,并把知识数据以pdf、txt或json文件进行储存,建立FAISS矢量数据库,同时进行数据清洗;部署开源大模型,并对该模型进行微调参数因子以及超参数;将私有知识矢量数据库与所述的开源大模型进行结合,构建私有知识模型;将所述的私有知识模型在私有知识场景下进行检索测试;对用户输入数据进行高效索引、数据融合、补充检索以及数据操作与管理处理。本发明还涉及一种相应的装置、处理器及其存储介质。采用了本发明的该方法、装置、处理器及其存储介质,实现高效数据管理与利用、增强数据安全性、提升知识管理能力及优化用户体验等多重优势。
技术关键词
互联网数据管理
控制平台
计算机可执行指令
互联网数据信息
处理器
ANN技术
数据管理功能
分布式存储系统
优化用户体验
资源调度器
后台管理系统
权限管理模块
索引策略
监控面板
超参数
数据安全性
检索算法