https://github.com/microsoft/DeepSpeed
教程文档：https://www.deepspeed.ai/
DeepSpeed是一个由微软开发的开源深度学习优化库，旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。DeepSpeed还提供了一些辅助工具，如分布式训练管理、内存优化和模型压缩等，以帮助开发者更好地管理和优化大规模深度学习训练任务。此外，deepspeed基于pytorch构建，只需要简单修改即可迁移。DeepSpeed已经在许多大规模深度学习项目中得到了应用，包括语言模型、图像分类、目标检测等等。
DeepSpeed有四大创新支柱：
DeepSpeed提供了一系列系统创新，使大规模DL培训变得有效和高效，大大提高了易用性，并在可能的规模方面重新定义了DL培训景观。这些创新，如ZeRO，3D-Mecelism，DeepSpeed-MoE，ZeRO-Infinity等都属于DeepSpeed-Training支柱。了解更多：DeepSpeed-Training
DeepSpeed汇集了张量、流水线、专家和ZeRO-parallelism等并行技术的创新，并将其与高性能自定义推理内核、通信优化和异构内存技术相结合，以前所未有的规模实现推理，同时实现无与伦比的延迟、吞吐量和成本降低。这种推理系统技术的系统组成DeepSpeed-Inference。了解更多：DeepSpeed-Inference
为了进一步提高推理效率，DeepSpeed为研究人员和从业者提供了易于使用和灵活组合的压缩技术，以压缩他们的模型，同时提供更快的速度，更小的模型大小，并显着降低压缩成本。此外，SoTA在压缩方面的创新，如ZeroQuant和XTC，都包含在DeepSpeed-Compression支柱下。了解更多：DeepSpeed-Compression
DeepSpeed库将DeepSpeed训练、推理和压缩支柱中的创新和技术实现并打包到一个易于使用的开源存储库中。它允许在单个训练，推理或压缩管道中轻松组合多种功能。DeepSpeed库被DL社区广泛采用，并已用于启用一些最强大的模型（请参阅DeepSpeed采用）。
Model Implementations for Inference（MII）是一个开源的存储库，通过减轻应用复杂系统优化技术的需求，使所有数据科学家都可以访问低延迟和高吞吐量的推理。开箱即用，MII为数千种广泛使用的DL模型提供支持，使用DeepSpeed-Inference进行优化，可以使用几行代码进行部署，同时与其香草开源版本相比，实现了显着的延迟减少。
DeepSpeed已与几种不同的流行开源DL框架集成，例如：
