一种基于自增ID和顺序传输的分布式图计算加速方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于自增ID和顺序传输的分布式图计算加速方法
申请号:CN202411518412
申请日期:2024-10-29
公开号:CN119402501A
公开日期:2025-02-07
类型:发明专利
摘要
本发明提供了一种加速图计算系统中节点间信息同步的方法;通过将原始的string型Vertex ID转换为int型自增ID并按顺序将顶点的Value进行序列化反序列化,减少数据传输量及算力开销;图计算框架中,master节点负责协商调度,worker节点负责执行计算,使用hash算法将Vertex分配到worker节点,并由master节点协商分配自增Vertex ID段,计算完成后,仅传输Vertex Value数据,通过固定大小的反序列化方法获取Vertex Value数据,显著提升性能并减少网络资源开销,此方法能有效降低数据传输量,提高了图计算系统的整体效率。
技术关键词
顶点 网络资源开销 hash算法 序列化方法 节点间信息 哈希算法 框架 数据 关系