Zzong's Notes

Megatron-LM

1 min read

Megatron-LM

B) Related

C) References

링크된 언급

1
deepspeed

...cket 사이즈를 일정하게 유지함으로써 성능을 최적화합니다. Bucket 사이즈가 어느 정도 크게 유지되기만 해도 충분히 좋은 효율성을 얻을 수 있습니다. E) With Megatron Megatron LM 은 tensor slicing model parallelism 를 사용한다. Megatron LM 의 tensor slicing model parallelism 에 DeepSpeed Z...