[실험 일지 Day-79] P Stage - 모델 최적화(경량화)

1. optuna를 사용하여 AutoML으로 새로운 모델을 탐색 -> 시간이 상당히 오래걸림
2. mobilenet v3를 automl로 성능향상을 가져왔다고 하는 MoGA 모델을 깃헙에서 불러옴 -> 뭔가 잘 안되고 있음 -> 1epoch에 80 ~ 82초 (train+val) 가 걸림 -> rand augmentation을 적용 -> 성능이 약 2%정도 향상
3. inference 시간 : Average CUDA time: 0.029426145510253906, CPU time: 0.02918666520000016
4. 제출 결과 f1 score는 0.76 -> 0.771, time은 84.843 -> 83.781으로 성능이 약간 좋아짐
5. 파라미터가 훨씬 작은 MnasNet을 학습 -> inferenece 시간을 확인했을때 MoGA와 비슷한데 제출 결과 time 점수가 향상된 것을 보아 상관없는 듯함 -> 전체 inference 소요시간은 57초걸림
6. 파라미터가 작다고 학습 시간이 줄어들진 않다는 것을 MoGA 모델과 MnasNet 모델 학습 시간을 비교하고 깨달음
7. 이제까지 tensor decomposition이 적용 안됐음.... -> 적용하고 다시 inference를 해보니 56초 걸림 -> 1초 줄어들어서 큰 차이는 못느낌 -> decomposition을 적용할때 float16으로 data type을 바꾸었더니 inference했을 때 55초 걸림 -> weight initialization할때 conv2d, batchnorm2d, linear의 weight를 float16으로 변경 -> inference 54초로 줄어듬 -> 50epoch 학습 후 inference를 했더니 다시 55초 걸림 -> 속도가 일정하진 않은 것 같음
8. Mnasnet(quantization+decomposition) 제출 결과 f1 score는 높아졌지만 time이 더 느려짐.... -> time을 낮추려고 quantization+decomposition을 적용했는데 안된거로봐서 Average CUDA time을 보는게 맞는 듯함 -> Average CUDA time 0.022~0.023정도에서 잘 안줄어듬