pytorch cuda 11.3과 cuda 10.2의 속도 차이

The speed of pytorch with cudatoolkit 11.0 is slower than cudatoolkit 10.2 · Issue #47908 · pytorch/pytorch

 

위 github issue에서 pytorch cudatoolkit 11.0이 cudatoolkit 10.2 보다 느리다는 의견(?)이 많아서 직접 실험해보았다.

 

실험 환경은 간단하게 다음과 같다. (더 추가할 것이 있다면 댓글로...)

 

• Ubuntu 16.04
• Quadro RTX 6000
• NVIDIA Driver Version: 515.65.01
• torch.backends.cudnn.enabled = True
• torch.backends.cudnn.benchmark = False

태스크는 OCR이고 약 17000장의 이미지를 inference하여 elapsed time을 측정하였다.

CUDA 10.2

• Install

아래와 같이 install하면 cudatoolkit 버전에 맞게 cudnn도 설치된다.

conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=10.2 -c pytorch

• conda list에서 확인한 pytorch

pytorch                   1.11.0          py3.8_cuda10.2_cudnn7.6.5_0    pytorch

• elapsed time: 15m 26s

CUDA 11.3

• Install

conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3 -c pytorch

• conda list에서 확인한 pytorch

pytorch                   1.11.0          py3.8_cuda10.2_cudnn7.6.5_0    pytorch

• elapsed time: 13m 03s

 

결론: CUDA 10.2가 약 18% 더 빠르다.