基于沙箱-LLM会话双向绑定的并发调试方法和系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于沙箱-LLM会话双向绑定的并发调试方法和系统
申请号:CN202511220809
申请日期:2025-08-29
公开号:CN120723618B
公开日期:2025-11-28
类型:发明专利
摘要
本发明提供了一种基于沙箱‑LLM会话双向绑定的并发调试方法和系统,方法包括:为每个大型语言模型LLM会话分配全局唯一会话标识;将全局唯一会话标识与沙箱实例标识写入分布式内存数据库形成双向绑定表,初始状态标记为绑定状态;通过环境变量及HTTP/gRPC头字段实现全链路全局唯一会话标识的透传;当沙箱热迁移时,旧实例通过分布式互斥锁将绑定表条目状态原子性更新为迁移状态,新实例在预设时间内完成预热后写入绑定状态;日志代理按沙箱实例标识聚合指标,按预设频率采集平均生成延迟、累计数据采集数及GPU显存占用;周期性轮询绑定表,对超过分布式互斥锁预设阈值且状态为回收的条目执行清理。
技术关键词
沙箱 分布式内存数据库 调试方法 调试系统 标识 会话 滑动时间窗口 灵敏度参数 条目 日志 压缩算法 速率 基线 周期性 标记 文本 背压 链路 客户端