大模型服务的部署方法、装置、介质及设备

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
大模型服务的部署方法、装置、介质及设备
申请号:CN202411037896
申请日期:2024-07-30
公开号:CN118963776A
公开日期:2024-11-15
类型:发明专利
摘要
本公开提供了一种大模型服务的部署方法、装置、介质及设备,涉及人工智能技术领域,尤其涉及服务部署、深度学习、自然语言处理技术领域。实现方案为:响应于待配置的多个服务器中的第一服务器接收到来自客户端的配置请求,基于配置请求中有关第一服务器的配置信息,在第一服务器部署剧本编排模块;由剧本编排模块,根据预设的剧本文件以及配置请求中的配置描述,生成针对多个服务器的配置计划;以及向多个服务器中的各个服务器按照配置计划依次分发对应的配置任务,使各个服务器逐步完成相应的环境配置和软件安装,以基于配置完成的多个服务器构建能够提供大模型服务的集群。
技术关键词
负载均衡节点 集群 服务器 多模态 软件 语义向量 环境配置信息 客户端 计划 数据 离线 信息检索 摘要 在线 处理器 资源 人工智能技术 模块 计算机