Data Parallelism
https://d2l.ai/chapter_computational-performance/multiple-gpus.html#splitting-the-problem
https://towardsdatascience.com/distributed-neural-network-training-in-pytorch-5e766e2a9e62
Model Parallelism
https://pytorch.org/tutorials/intermediate/model_parallel_tutorial.html
728x90
'컴퓨터과학' 카테고리의 다른 글
| numpy.vectorize 함수 (0) | 2023.10.05 |
|---|---|
| [pytorch] 모델 구조 수정 과정에서 모델 크기를 줄였는데 VRAM 사용량이 그대로인 경우 (0) | 2023.10.04 |
| [LINK] 클래스 불균형이 있는 데이터를 가진 상태에 관한 글 (0) | 2023.10.03 |
| [django] static file의 관리 방법 (0) | 2023.10.02 |
| [django] html 띄우는 방법 (Templates 폴더를 이용하여) (1) | 2023.10.01 |