Skip to content

PaddleFleetX v2.4.0rc
Compare
Choose a tag to compare
@ForFishes ForFishes released this 29 Nov 08:32
· 119 commits to release/2.4 since this release
v2.4.0rc
13b4341
This commit was created on GitHub.com and signed with GitHub’s verified signature. The key has expired.
GPG key ID: 4AEE18F83AFDEB23
Expired
Learn about vigilant mode.

1、环境部署
开发支持包括 Docker/PyPI 等多种二次开发和部署环境，提升使用易用性，可被其他套件或平台安装集成

2、动态图训练

  • 开源GPT大模型分布式训练代码及345M模型参数
  • 开源了 ViT-B/16 在 Imagenet1K 上的预训练代码以及Checkpoint，并达到谷歌官方ViT公布的精度
  • 开源Imagen模型代码，实现 Imagen 397M、2B 文图生成算法以及 256x256、1024x1024 2个超分扩散模型组网、训练、评估和推理功能

3、自动并行
实现GPT『动转静+自动并行』大模型训练，支持常见并行策略、优化策略和两者的任意组合使用，其中并行策略包括数据并行、张量并行、流水线并行和混合并行，优化策略包括重计算、混合精度（1/2/3）、梯度累加、Sharding（1/2/3）

4、推理部署

  • 支持动转静模型导出和InferenceEngine推理部署通用能力
  • 支持GPT系列模型导出和推理部署

5、量化压缩

  • 支持动态图量化训练功能
  • GPT-345M模型经过INT8量化，在LAMBDA任务上精度无损。（Baseline Accuracy: 44.17%; INT8量化后 Accuracy: 44.38%）

6、性能

  • 训练：GPT-345M模型下，八卡性能超越竞品Megatron-LM 14.2%。GPT-1.3B模型下，八卡性能超越竞品Megatron-LM 5.6%
  • 推理：Imagen对齐了 T5-11B 文本推理模型，性能超越 PyTorch 20%。解决 Imagen 1024x1024 长序列超分扩散模型显存占用过大的问题，模型吞吐提升35%

7、调试工具
覆盖包括分布式等多种调试需求，兼容VisualDL可视化工具，提升二次开发体验

Assets 2
Loading