一种多模态大语言模型神经元归因方法及相关设备

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种多模态大语言模型神经元归因方法及相关设备
申请号:CN202411009888
申请日期:2024-07-26
公开号:CN118761476A
公开日期:2024-10-11
类型:发明专利
摘要
本发明公开了一种多模态大语言模型神经元归因方法及相关设备,所述方法包括:利用MLLMs模型生成的具有特定语义的图像,获取图像中与特定语义相关的特定区域;评估MLLMs模型图像生成模块输入的每个维度与生成图像中特定区域的相关性;获取神经元对最后表示的贡献,并整合每个维度的贡献分数,将贡献分数最高的神经元作为I‑神经元;获取神经元对文本输出归因评分,将归因评分最高的神经元作为T‑神经元。本发明不依赖于梯度计算和因果效应等耗时且对存储要求极高的技术,同时可以排除生成图像中自带的语义噪声信息干扰,针对特定语义概念,通过解耦找到对于不同输出模态的关键神经元,实现高效、准确的神经元归因。
技术关键词
大语言模型 归因 语义 图像 多模态 非暂态计算机可读存储介质 文本 模块 噪声信息 处理器 元素 概念 存储器 电子设备 效应 算法 程序