[Dygraph]Add group sharded api

[Baibaifan]

PR types

New features

PR changes

APIs

Describe

Add group sharded api

1. group_sharded_parallel
2. save_group_sharded_model

import paddle from paddle.fluid.dygraph.nn import Linear from paddle.distributed import fleet from paddle.distributed.sharding import group_sharded_parallel, save_group_sharded_model fleet.init(is_collective=True) group = paddle.distributed.new_group([0, 1]) model = Linear(1000, 1000) clip = paddle.nn.ClipGradByGlobalNorm(clip_norm=1.0) optimizer = paddle.optimizer.AdamW(learning_rate=0.001, parameters=model.parameters(), weight_decay=0.00001, grad_clip=clip) # wrap sharding model, optimizer and scaler model, optimizer, scaler = group_sharded_parallel(model, optimizer, "p_g", scaler=scaler) img, label = data label.stop_gradient = True img.stop_gradient = True out = model(img) loss = paddle.nn.functional.cross_entropy(input=out, label=label) loss.backward() optimizer.step() optimizer.clear_grad() # save model and optimizer state_dict save_group_sharded_model(model, output=output_dir, optimizer=optimizer) 

[paddle-bot-old]

Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

[XiaoguangHu01]

这里引入fluid的原因是什么？fluid下的api会被废弃。

[Baibaifan]

已经修改为paddle.autograd.no_grad()

[XiaoguangHu01]

建议去掉这个对象，不需要为参数定义单独增加一个对象

1. 直接在group_sharded_parallel函数里使用level='os'或者直接使用level=1，参考amp的level定义，一般理解level对应一个整数，类似verbose之类的
2. os, os_g, p_g_os是什么的缩写？可读性较差，是否有更好的表示方式？

[Baibaifan]

经过讨论，去掉ShardedLevel，采用字符串名字"os", "os_g", "p_g_os"作为level，level名字和论文对齐。

[XiaoguangHu01]

shard_level -> level
因为api名称已经包含sharded了，这里的参数默认都是针对shard的参数

[Baibaifan]

已修改

[XiaoguangHu01]

除了group_sharded以外，是否还有其他的sharded方式？

[Baibaifan]

目前采用group_sharded的意思是分组参数切片，是和数据并行并列的一种分布式方式，所以定义为group_sharded。目前还未有其他sharded方式。

[XiaoguangHu01]

这里不需要用__all__公开api，通过__init__.py公开就行
paddle.distributed.sharding.group_sharded_parallel
而不是
paddle.distributed.sharding.group_sharded.group_sharded_parallel

[Baibaifan]

已修改

[XiaoguangHu01]

除了group外，是否还有其他的参数形式？
save_for_group_sharded -> save_sharded_model ? 或者save_group_sharded_model呢？
类似save_inference_model

[Baibaifan]

经讨论修改为save_group_sharded_model

[XiaoguangHu01]

LGTM

[XieYunshen]

LGTM for set_tests_properties(test_dygraph_group_sharded_api PROPERTIES TIMEOUT 120)

[gongweibao]

Why import *?