Lifeboat

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
Lifeboat
访问
60
25379

用您已有的 GPU,多运行 2–6 倍的智能体


Lifeboat 是一款专为多智能体场景打造的 GPU 推理引擎,无需量化即可在同一张显卡上并发运行 2–6 倍数量的 Agent,全程保持完整模型精度。它原生支持 ROCm 并兼容 OpenAI 接口,内置 TEE 远程认证与使用中权重加密的机密计算能力,可灵活部署在从桌面级 DGX Spark 到机架级 B300 的各类硬件上。