快速低成本构建应用,浪潮信息把企业大模型落地门槛打下来了

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
快速低成本构建应用,浪潮信息把企业大模型落地门槛打下来了
2881点击    2024-04-25 16:46

百模大战愈演愈烈,各大厂商卷出了不同形态:


有的大秀肌肉,在文本长度上一骑绝尘;有的与搜索等功能深度融合,成为了全能型AI助手……琳琅满目的大模型产品令人目不暇接。


但对于企业用户而言,尽管这些通用大模型各有各的特色,但在解决行业任务时,表现得却并非那么完美。


究其“不能胜任”的原因,主要是通用大模型在特定行业的知识储备并不充足,甚至存在严重的幻觉。


为了弥补这样的缺陷,需要大量的行业数据,模型算法也需要进行优化,而这又会牵扯出算力问题……


也是这种背景之下,为了帮助企业用户更好地实现大模型应用落地,浪潮信息提出了集算法、算力、数据和互联为一体的端到端解决方案。


大模型进入2.0时代,但落地依旧困难


随着人工智能技术的快速发展,AI正在变得无处不在,影响着各种计算设备和平台。


从服务器到个人电脑(PC),甚至是移动设备,AI算力正在渗透进每一个计算设备,面向人工智能的算力范式不断革新。


除了这种“一切计算皆AI”的大背景,人工智能的代表性产品——大模型也进入了2.0时代


这意味着将会出现更大的模型,随之而来的是更多的数据需求,以及对算力资源的更大需求


算法、算力和数据正是人工智能发展的“三驾马车”,但从当今发展来看,发展得都不充分。


首先,由于大模型的训练成本极其高昂,导致试错代价极高,进而出现了在大模型时代对于算法的创新依旧有所保守的局面


算力的资源也并不均衡,北京智源研究院副院长兼总工程师林咏华认为,大模型2.0时代,不能只关注单颗芯片的能力,而是需要考虑从芯片到服务器集群,再到数据中心的存储和计算关系,以及整个网络的协同。


数据方面的情况一样不乐观,随着大模型对计算规模的需求增加,人类产生的已知数据,对于大模型而言即将甚至已经不足


除了大模型自身发展受到算力和数据等方面的桎梏,对于企业用户来说,大模型落地还存在更多的现实问题。


一是大模型缺少专业的行业数据,不可避免地导致了幻觉问题,难以适用于企业场景。


另一方面,有些企业应用场景中,对模型窗口长度需求极大,现有的模型可能无法满足需求。


此外,开发难度大、技术门槛高,也是企业实现大模型落地的一个重要壁垒。


想要解决这些痛点难点,需要从上到下的整个生态为之发力,而浪潮信息正是企业大模型落地助推者中的一份子。


端到端开发企业大模型应用


第十届IPF浪潮信息生态伙伴大会上,浪潮信息AI软件研发总监吴韶华隆重发布了企业大模型开发平台元脑企智EPAI


EPAI平台提供了端到端的企业大模型落地解决方案,解决了企业大模型应用开发流程复杂、门槛高等困难。


快速低成本构建应用,浪潮信息把企业大模型落地门槛打下来了


大模型2.0时代,数据就是资产,掌握数据就等于掌握了话语权。


而EPAI提供了上亿条基础知识数据,同时还包含了自动化的数据处理工具,可以帮助用户整理行业数据和专业数据,生成高质量的微调数据和行业/企业知识库,进而打造企业专属数据资产。


有优质的基础+行业+企业数据作为支撑,大模型生成内容的准确性和可靠性就有了保证,幻觉问题将大幅缩减


同时,结合检索增强生成(RAG)技术,EPAI可以解决企业知识库更新频率高但大模型微调耗时长、频率低的矛盾,保证模型能够及时获得处理最新知识的能力。


另一方面,EPAI还提供了高效的微调工具,支持千亿参数模型面向产业知识的快速再学习,并让模型具备百万Token的长文档处理能力,解决窗口长度不足的问题,快速打造领域大模型。


快速低成本构建应用,浪潮信息把企业大模型落地门槛打下来了


好马当配好鞍,EPAI不仅拥有强大的企业大模型开发功能,在易用性方面也帮助开发者降低了使用门槛


使用方式上,EPAI支持API、对话UI和智能体三种使用方式,可以面对不同的业务场景需求,并让不同技术水平的开发者都能拥有与自己能力相匹配的开发方式。


甚至是非专业开发人员,也能在几天培训之后快速掌握平台的使用方法,摆脱专业知识的限制。EPAI实现了大模型应用开发的普及化,降低了企业的用工成本


吴韶华举例说,假如要开发一个“智能编程助手”,即使是经验非常丰富的工程师可能也需要两到三周的时间,但用了EPAI,可以非常快速地执行。


而且EPAI既支持包括CPU和各种GPU在内的多元算力,又支持包括自研的“源”大模型和其他主流开源、闭源模型,适配快,迁移成本低,为企业提供了丰富的模型和算力选择


此外,企业用户最担心的数据安全问题,EPAI也提供了坚实保障,通过权限管理、数据加密、内容审查等多种技术手段,确保数据和模型安全,做到了隐私信息不泄露。


快速低成本构建应用,浪潮信息把企业大模型落地门槛打下来了


相较于其他开发平台,浪潮信息的一个独特优势是,从“左手”的算力、模型等底层技术提供者,到“右手”的各行业软件开发商,都是浪潮信息生态中的伙伴


这意味着,EPAI平台可以上承算力,下接应用,成为整个生态的“交通枢纽”,加速面向应用的快速创新。


EPAI为企业用户很好地解决了算法和数据问题,但浪潮信息提供的支持不止于此,而是集算法、算力、数据、存储、互联为一体的全面布局


在算力方面,面向越来越多的大模型推理场景,浪潮信息还联合英特尔发布可运行千亿参数大模型的AI通用服务器;存储方面,发布分布式全闪存储AS13000G7,解决大模型训练数据挑战;互联方面,发布国内首款超级AI以太网交换机 X400,加速大模型训练推理……


浪潮信息的这一系列布局,或将给大模型行业带来新的格局。


EPAI将促进大模型产业协作


谈及EPAI平台的意义,吴韶华介绍到,EPAI平台提供的是工具箱和方法论,让用户可以尽可能地发挥自己企业的价值。


而且,EPAI平台将能够实现对于开发者的普惠,企业不必再花费大量资金构建一个高精尖的团队,也可以做起大模型。


通过EPAI和其所提供的方法论,企业用户可以从自己做起,掌握这样一套方法和工具,然后再去服务好、支持好他们行业的客户。


只有借助最适合、最高效的工具,让它在工作的时候拥有很高的效率和成功率,才能真正把产业快速地做大。


对此,浪潮信息高级副总裁刘军表示,EPAI“让我们看到大模型的另外一面,它的产业化落地的这一面”。


此外,EPAI对于整个产业的协作也大有裨益——


过去,恨不得每个人都想做大模型企业,都想自己从头彻尾都搞一套工具,但事实上不可能所有人都能把生意做大。


只有依靠优质的产业协作分工,大家都做自己最擅长的事情,形成多元多样化的、共同去促进的生态,才能让产业AI真正落地。


—  —


本文来自微信公众号“量子位”


快速低成本构建应用,浪潮信息把企业大模型落地门槛打下来了

AITNT-国内领先的一站式人工智能新闻资讯网站
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI代理

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。

项目地址:https://github.com/browser-use/browser-use


2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

3
知识库

【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。

项目地址:https://github.com/labring/FastGPT

4
RAG

【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址:https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。

项目地址:https://github.com/langgenius/dify


【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。

项目地址:https://github.com/infiniflow/ragflow/tree/main


【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目

项目地址:https://github.com/phidatahq/phidata


【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。

项目地址:https://github.com/TaskingAI/TaskingAI

5
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner