[Boostcamp 13주차] 피어세션과 학습 회고 & 실험일지

Day - 55

피어세션

1. learning rate에 대한 discussion

2. augmentation에 대한 discussion

3. vscode, tmix에 대한 tip 공유

학습회고

SOTA 모델인 HRNet에 대한 강의를 듣고 나니 좀 더 HRNet에 대한 이해가 명확하게 잡히는 것 같았다. 그런데 왜 성능이 안좋게 나오지...

실험일지

1. SGD와 기본 설정으로 40k만큼 다시 돌림 -> 이전과 별 차이 없음

 

Day - 56

피어세션

1. 코딩 테스트 문제 리뷰

2. 대회 관련 discussion

학습회고

WSSS와 CAM, Grad-CAM에 대한 강의를 보았지만 현재 진행하는 Semantic Segmentation에 실험해보기에 시간이 부족한 것 같다. Cutout이나 Mixup과 같은 augmentation을 사용하여 학습하고 앙상블하는 방법도 있겠지만 시간이 부족하다....

실험일지

1. Swin-B(UperNet) 기본 설정으로 돌림 -> 20k에서 inference -> miou 0.698이 나오고 validation은 약 0.65가 나옴 -> 이전에 validation miou가 0.67이 나온 모델을 inference하여 제출하였는데 0.67이 나옴 -> 클래스별 iou의 차이가 많이 없어야지 private score가 낮아지지 않을 것 같음 -> 28k 모델 제출 -> 0.704로 높게 나옴
2. 작은 객체를 잘 보지 못함 -> resize 범위를 좀 더 넓혀서 학습해봐야겠음 -> 0.25, 2.0, 2.25, 2.5배를 추가 -> 점수가 더 떨어짐

 

Day - 57

피어세션

1. 대회 관련 discussion

실험일지

1. Valid set기준 클래스별 iou의 차이가 많이 없으면서 가장 큰 miou 값을 가지는 모델을 inference -> 0.695로 약간 이전 점수보다 낮게 나옴
2. 상위 5개의 csv파일을 vote ensemble을 시도해보면 좋을 것 같음
3. classbalancedataset을 다시 사용해보는 것이 좋을 것 같음
4. patch size를 두 배로 늘려서 학습해보는 것도 좋을 것 같음 -> 주변의 정보를 좀 더 고려할 수 있을 것 같음 -> pretrain model을 사용하려면 수정이 불가능 -> patch size에 따른 성능 차이는 거의 없다고 함(실험으로 알아내야함)

 

Day - 58

피어세션

1. TMI

2. 멘토링에 질문할 리스트 작성

3. 대회관련 discussion

4. 코딩 테스트 문제 리뷰

실험일지

1. 104k에서 inference -> miou 0.717이 나옴 -> iter마다 inference하면서 val set 기준으로 iou 뿐만 아니라 acc도 중요하다는 것을 알게됨 -> swin-b(upernet)으로 더 이상 성능 향상이 없다고 판단
2. swin-L(upernet)으로 학습 -> pretrain model을 불러올때 layer 이름이 서로 같아야하므로 swin_converter라는 utils 모듈을 사용하여 해결
3. general trash의 iou, acc가 낮게 나옴 -> train data set의 general trash에만 copy paste를 적용하여 train data set에 추가 -> 차이가 없음 -> val set의 general trash 230개 정도를 train으로 가져오고 50개를 val set으로 사용하면 좋을 것 같음

 

Day - 59

피어세션

1. 멘토링

2. 대회관련 discussion

실험일지

1. Swin-L로 돌린 모델이 34k에서 제출 -> miou 0.736으로 가장 높게 나옴 -> best miou는 18k 였지만 36k가 더 높게 나온걸로 봐서 class 별 iou와 acc도 신중히 봐야한다는 것을 알게됨(기준은 모르겠지만 private에서 점수가 낮아지지 않기위해서는 각 class 별로 비슷한 점수가 나와야할 것 같음)
2. RMI Loss(decode head에만 적용)와 val set의 general tsh 230개를 train으로 가져오고 기존의 copy paste 적용한 general trash는 삭제 후 42k.pth 모델을 불러와서 다시 돌림 -> DC_CE loss 적용 -> 데이터를 바꿔서 그런지 학습이 잘 안됨
3. pretrained model이 384 size로 학습되었기 때문에 img_scale과 crop size를 이에 맞추어서 수정 후 처음부터 다시 돌림 -> 성능이 약해짐 -> img_scale을 2048, 512에서 512, 2048로 바꾸어서 다시 돌림