您的位置:首页 >资讯>老年保健

京东云推出 vGPU 池化方案,可令“大模型推理大幅降本”

2023-08-16 15:32:22 来源:IT之家 收藏


(资料图片仅供参考)

IT之家 8 月 15 日消息,据京东云官方公众号报道,京东云日前推出 vGPU 池化方案,官方表示,“该方案可提供一站式 GPU 算力池化能力,令 GPU 利用率最高提升 70%,大幅降低大模型推理成本”。

▲ 图源 京东云 官方公众号

京东云表示,凭借其“自主研发的混合多云操作系统云舰”,京东云在原有支持混合多云 CPU 算力池化能力基础上,针对大模型训练所需的泛算力池化能力,进一步增加了针对 AI 应用所需的调度管理能力,包括卡管理、节点管理、异构资源调度管理等,为包括大模型训练在内的多种 AI 应用,提供一站式算力池化解决方案,从而全面提升资源利用率。

京东云同时称,自家池化方案具有四大优势,IT之家转录相关内容如下:

算力切分灵活:支持任意比例切分和动态调整机制,可实现按显卡算力、显存做细粒度切分,一张物理卡可供多个容器使用,与整卡算力相比,性能衰减在 2% 以内。 精细化配额管理:支持灵活的配额管理,按显卡型号 / label 配额,有效保障资源按需分配,提升推理稳定性和训练性能。 多场景适配:适配主流 CUDA 版本和不同 GPU 芯片适配,支持 TensorFlows、Pytorch 等行业主流的 AI 训练框架。 多节点管理:支持节点虚拟分组和节点组指定应用使用,全面提升大模型训练效率。

京东云表示,在使用场景中,开发者可以根据卡型号申请资源,按算力和显存切分,统一由控制器根据用户指定的调度策略调整。仅在训练、微调和推理任务启动时进行动态分配,在任务结束即可以释放,支持多任务算力隔离和任务冷启动。

从实践效果看,通过 GPU 异构资源池化,AI 运行效率显著提高,整体 GPU 利用率提升 70%。结合任意切分和按需分配,在同等 GPU 数量的前提下,实现了数倍业务量扩展和资源共享,降低了硬件采购成本,使用更少的 AI 芯片支撑了更多的训练和推理任务。

关键词:

相关的文章>>

标签:
IT之家8月15日消息,据京东云官方公众号报道,京东云日前推出vGPU池化[ 查看全文 ]
标签:
8月15日,是日本战败并宣布无条件投降78周年。日本的广岛被世人所熟知[ 查看全文 ]
标签:
鄂州不动产司法查解封登记实现“不见面”办理---鄂州不动产司法查解封[ 查看全文 ]
标签:
文 羊城晚报全媒体记者林园图 主办方提供为促进深港澳青少年广泛交往、[ 查看全文 ]
标签:
此外国际石油在最近两个月呈现上涨趋势,这将让俄罗斯石油和其他国家进[ 查看全文 ]
标签:
美股银行股表现疲软,摩根大通跌2 59%,高盛跌1 67%,花旗跌2 02%,摩[ 查看全文 ]
标签:
喝茶就是一件舒心自在的事情,大可不必把它搞的那么复杂,首先博主要对[ 查看全文 ]
标签:
钾是人体不可缺少的元素,可调节细胞内适宜的渗透压和体液酸碱平衡,维[ 查看全文 ]
标签:
分析人士认为,如果没有俄央行加息干预,或是强制出口商们出售出口收入[ 查看全文 ]
标签:
为持续提升服务“三农”能力,交行海南省分行通过数字化服务,加大线上[ 查看全文 ]
标签:
  从贵州省互联网违法和不良信息举报中心获悉,贵州持续开展“清朗”[ 查看全文 ]
标签:
洪泰基金投资人周光涛表示,碳化硅行业已从导入期进入成长期,下游电动[ 查看全文 ]
标签:
今天“【特斯拉ModelY降价续航版起售价从31 39万元调整为29 99万元具体[ 查看全文 ]
标签:
8月15日,广州天河区黄云路AT1003011、AT1003072地块在历经23轮竞价后[ 查看全文 ]
标签:
锂电领域又现疯狂扩产企业,IPO超募150%获45亿仅半年,湖南裕能(30135[ 查看全文 ]
标签:
1、有 距离你那里有好远就不知道拉 反正你要去那个火车站有2条路线 一[ 查看全文 ]
标签:
方程豹汽车是比亚迪旗下的全球新能源汽车专业个性化品牌,凝聚比亚迪集[ 查看全文 ]
标签:
【创新在一线】原标题:一些企业盲目开展创新活动,不仅不能促进生产,[ 查看全文 ]
标签:
新华社北京8月15日电国家发展改革委15日发布消息称,国家发展改革委当[ 查看全文 ]
标签:
河南石佛寺是位于中国河南省的一座佛教寺庙,以石雕佛像而闻名。寺庙中[ 查看全文 ]

热门标签

热门搜索:

春季养生 健康问答 资讯

资讯

更多
  • 京东云推出 vGPU...

  • “毒气岛”记录战...

  • “湾区少年营”暨...

  • 喝茶前要先了解哪...

  • 缺钾吃什么好?

  • 媒体称俄罗斯讨论...

图说健康

更多

体育健身

更多