(资料图片仅供参考)
IT之家 8 月 15 日消息,据京东云官方公众号报道,京东云日前推出 vGPU 池化方案,官方表示,“该方案可提供一站式 GPU 算力池化能力,令 GPU 利用率最高提升 70%,大幅降低大模型推理成本”。
▲ 图源 京东云 官方公众号
京东云表示,凭借其“自主研发的混合多云操作系统云舰”,京东云在原有支持混合多云 CPU 算力池化能力基础上,针对大模型训练所需的泛算力池化能力,进一步增加了针对 AI 应用所需的调度管理能力,包括卡管理、节点管理、异构资源调度管理等,为包括大模型训练在内的多种 AI 应用,提供一站式算力池化解决方案,从而全面提升资源利用率。
京东云同时称,自家池化方案具有四大优势,IT之家转录相关内容如下:
算力切分灵活:支持任意比例切分和动态调整机制,可实现按显卡算力、显存做细粒度切分,一张物理卡可供多个容器使用,与整卡算力相比,性能衰减在 2% 以内。 精细化配额管理:支持灵活的配额管理,按显卡型号 / label 配额,有效保障资源按需分配,提升推理稳定性和训练性能。 多场景适配:适配主流 CUDA 版本和不同 GPU 芯片适配,支持 TensorFlows、Pytorch 等行业主流的 AI 训练框架。 多节点管理:支持节点虚拟分组和节点组指定应用使用,全面提升大模型训练效率。
京东云表示,在使用场景中,开发者可以根据卡型号申请资源,按算力和显存切分,统一由控制器根据用户指定的调度策略调整。仅在训练、微调和推理任务启动时进行动态分配,在任务结束即可以释放,支持多任务算力隔离和任务冷启动。
从实践效果看,通过 GPU 异构资源池化,AI 运行效率显著提高,整体 GPU 利用率提升 70%。结合任意切分和按需分配,在同等 GPU 数量的前提下,实现了数倍业务量扩展和资源共享,降低了硬件采购成本,使用更少的 AI 芯片支撑了更多的训练和推理任务。
关键词:
相关的文章>>
热门搜索:
资讯
更多图说健康
更多疏风解毒胶囊的作用与功效是什么?疏风解毒胶囊可以起到解毒利咽...
艾叶的功效与作用有哪些?1、散寒止痛艾叶为菊科蒿属植物艾的叶...
治疗白发的偏方有哪些?1 桑白皮30克,五倍子15克,青葙子60...
紫癜性肾炎是什么病?所谓的紫癜性肾炎,就是由于患者对于某些东...
维生素ad是什么?维生素AD是指维生素A和D的混合制剂,是两种脂溶...
乙肝小三阳严重吗?乙肝小三阳有些比较严重,也有些不太严重的,...
常见疾病
更多体育健身
更多8月15日,广州天河区黄云路AT1003011、AT1003072地块在历经23轮竞价后
温和的美国CPI数据并没有引发美元持续的周期性下跌,欧元空头仍...
香港电视广播日前发布盈利警告。
国家统计局:1—7月份,全国固定资产投资(不含农户)285898亿元...
连日来,郑州市气温居高不下,很多人骑共享单车前会先摸一摸车...
(徐巧明李月英)8月12日晚,保定市徐水区王铁庄村“老调周末大舞...