[실험 일지 Day-78] P Stage - 모델 최적화(경량화)

1. https://github.com/jacobgil/pytorch-tensor-decompositions/blob/master 에서 tensor decomposition 코드를 확인할 수 있었음
2. network compiling 관련 라이브러리로 [Glow](https://github.com/pytorch/glow)가 있고 설치법 관련 [블로그](https://goodtogreate.tistory.com/entry/Glow-%EC%84%A4%EC%B9%98%EB%B2%95)가 있음
3. pre-trained 모델을 load하여 학습 -> f1 score가 약 0.73 정도 나옴 -> 20epoch 쯤부터 overfitting이 일어나는 것 같음
4. Tensor Decomposition 적용 -> 1초 정도 학습 시간이 줄어든 것 같음 -> 성능이 더 좋아짐 -> 다시 보니까 학습 시간은 달라지지 않음
5. inference 시간 : Average CUDA time: 0.0962721451611328, CPU time: 0.03322805549000021