DeepSpeed

DeepSpeed 是面向大规模深度学习的开源优化库，重点解决分布式训练的效率、扩展和工程操作问题。它通过配置与 PyTorch 等训练框架结合，在现有模型工作流中提供 ZeRO、三维并行、混合专家和卸载等系统能力，而不是充当直接生成内容的聊天应用。

该项目服务于训练或部署大型模型的机器学习工程师与研究团队，并同时覆盖训练、推理、模型压缩和科学计算相关工具。使用前需要具备可运行的深度学习代码、受支持的框架与计算环境，并按任务配置并行、精度、优化器和硬件选项；实际收益取决于模型结构、集群和配置。