基于多模态大语言模型的智能工具柜系统及控制方法

本发明属于人工智能与智能系统技术领域，尤其涉及一种基于多模态大语言模型的智能工具柜系统及控制方法。包括：核心处理模块获取智能工具柜的状态图像，并将状态图像输入至多模态识别模块；提示词工程模块向多模态识别模块输入提示词，提示词包括角色信息、输出格式信息和空间分布引导词；多模态识别模块集成有多模态大语言模型，多模态大语言模型基于智能工具柜的状态图像和提示词，实现工具名称与借还状态的识别；数据处理模块接收多模态识别模块的识别结果，完成工具取用和/或归还记录的提取和存储。本发明基于多模态大语言模型和提示词工程解决了现有技术存在的初始投入成本高和准确率受限的问题。