摘要
本发明提供了一种基于沙箱‑LLM会话双向绑定的并发调试方法和系统,方法包括:为每个大型语言模型LLM会话分配全局唯一会话标识;将全局唯一会话标识与沙箱实例标识写入分布式内存数据库形成双向绑定表,初始状态标记为绑定状态;通过环境变量及HTTP/gRPC头字段实现全链路全局唯一会话标识的透传;当沙箱热迁移时,旧实例通过分布式互斥锁将绑定表条目状态原子性更新为迁移状态,新实例在预设时间内完成预热后写入绑定状态;日志代理按沙箱实例标识聚合指标,按预设频率采集平均生成延迟、累计数据采集数及GPU显存占用;周期性轮询绑定表,对超过分布式互斥锁预设阈值且状态为回收的条目执行清理。