Zhitong
2024.01.16 14:01

蚂蚁集团:自研 GMLake 已被 PyTorch 集成,可提升 33% GPU 可用显存

近日,蚂蚁集团向自研的 GPU 显存 + 传输优化开源项目 GLake 上集成了一种高效的动态显存组合技术框架——GMLake,同时宣布 GMLake 已被深度学习主流框架 PyTorch 集成,对上层模型代码和框架代码完全透明,模型不需要修改任何代码即可使用。据介绍,GMLake 能够在大模型训练、推理框架底层以及系统层对显存和传输进行一体优化,将碎片化的显存灵活地拼接起来,最高提高 33% 的 GPU 可用显存,使显存使用更为高效。