JADE's Repository

Beit-L을 시도해봤지만 pretrain model weight를 잘 못불러와서 그런건지 학습 속도가 느림(architecture의 이해가 어려웠음) -> 느리지만 miou가 꾸준히 높아지기 때문에 일단 지켜봄 -> 20k 까지 지켜보았을때 학습이 안된다고 판단 Swin-L의 img_scale을 512, 2048로 변경하고 lr은 1/10, warmup_ratio는 1/100만큼 줄이고 다시 돌림 -> loss는 이전보다 높았지만 성능은 좋게 나오는 것 같음

Swin-L에 scheduler 80k를 사용하니까 160k를 사용했을때보다 shake up이 더 심해짐 -> 32k까지 돌리고 lr을 1/10만큼 줄여 모델을 다시 불러와서 다시 돌림 SOTA model인 Beit-L을 시도해봐야겠음

Day - 55 피어세션 1. learning rate에 대한 discussion 2. augmentation에 대한 discussion 3. vscode, tmix에 대한 tip 공유 학습회고 SOTA 모델인 HRNet에 대한 강의를 듣고 나니 좀 더 HRNet에 대한 이해가 명확하게 잡히는 것 같았다. 그런데 왜 성능이 안좋게 나오지... 실험일지 SGD와 기본 설정으로 40k만큼 다시 돌림 -> 이전과 별 차이 없음 Day - 56 피어세션 1. 코딩 테스트 문제 리뷰 2. 대회 관련 discussion 학습회고 WSSS와 CAM, Grad-CAM에 대한 강의를 보았지만 현재 진행하는 Semantic Segmentation에 실험해보기에 시간이 부족한 것 같다. Cutout이나 Mixup과 같은 a..

WSSS Pixel-level labeling이 image-level labeling보다 약 78배 오래걸림 -> 만드는 시간이 짧은 image-level label만 가지고 segmentation 하는 방법을 모색 1. Weak Supervision 테스트 시에 요구하는 output보다 학습 시에 더 간단한 annotation을 이용하여 학습 가지고 있는 정보인 image level label을 활용하기 위한 classification 모델 학습 학습한 classification 모델을 통해서 CAM, Grad-CAM, 혹은 attention 추출 추출한 결과물은 pseudo mask로 segmentation 모델 학습에 이용 pseudo-mask의 결과가 좋지 않음 CAM & Grad-CAM Clas..

HRNet (High Resolution Network) 위치 정보가 중요한 Visual Recognition 문제 (segmentation, object detection, pose estimation 등)에 사용 1. 문제점 기존 Classification Network 사용에 필요했던 높은 time complexity Upsampling을 이용해 저해상도로부터 고해상도로 복원하며 생성되는 특징은 공간 상에서 위치 정보의 민감도가 낮음 High Resolution의 위치 정보를 갖는 Visual Recognition 문제에 적합한 구조 HRNet이 제시됨 2. 구조 전체 과정에서 고해상도 특징을 계속 유지 입력 이미지에 Strided Convolution을 이용해 해상도를 1/4로 줄임 (전체 구조에..

인터넷이 새벽에 끊겨서 중간부터 다시 돌림 -> 24epoch + 20k + 2k 일때 가장 높은 miou가 나옴 -> 제출 miou 0.62 copy paste를 적용한 데이터를 추가(class : 3, 4, 5, 9, 10) -> test set 0.60 으로 이전보다 낮게 나왔지만 validation set 기준으로는 더 높에 나왔음

이전에 24epoch을 돌린 모델을 불러와서 Dice Loss를 적용 -> FCN Head, OCR Head loss weight = 0.4 : 1.0으로 지정하고 class weight는 0.1, 1.0, 0.5, 1.5, 1.5, 1.5, 1.0, 1.25, 0.5, 2.0, 2.0으로 지정 -> 학습이 안됨 -> 정지 -> class weight를 지정해주었을 때 CE Loss가 잘 안줄어듬 -> class wieght를 삭제하고 CE + Dice Loss로 학습 -> miou가 53까지오르고 loss는 계속해서 내려감 -> 추가로 더 돌림

Day - 50 피어세션 1. 이번주는 강의, 스페셜 미션 해결을 우선적으로, 이후 방법론 제시 2. EDA 진행 3. 캐글 솔루션 분석 학습회고 오늘부터 시작하는 segmentation competition overview에 대한 강의와 글을 보고 주어지는 Data를 이해하는데 시간을 보냈다. 실험일지 mmsegmentation을 사용하기위해 git clone -> dataset 구조가 달라 어떻게 해야할지 모름 Day - 51 피어세션 1. 코테 리뷰 2. 강의 질의응답 학습회고 강의에서 FCN부터 문제점을 개선해나아가는 모델들을 소개해주고 구조나 코드 구현에 대한 전반적인 이해가 많이 되었던 것 같다. 대부분 반복적인 구조이기 때문에 하나의 모델을 이해한다면 비슷한 모델은 어렵지 않게 이해할 수 있..

U-Net Contracting Path : 이미지 특징 추출 3x3 Conv - BN - ReLU가 2번씩 반복 : No zero-padding으로 patch size 감소 2x2 Max Pooling (stride=2) : Max Pooling 이후 채널 수 2배 증가 Expanding Path : localization을 가능하게 함 2x2 Transposed Convolution Contracting 에서 얻은 Feature Map과 Concat 진행 마지막에 1x1 Convolution을 진행하여 segmentation map을 출력 한계 U-Net은 기본적으로 깊이가 4로 고정 단순한 Skip Connection U-Net++ Dense Skip Connection 모든 depth의 모델을 을..

DeepLab v2 성능 향상을 위해 더 깊은 ResNet-101 구조 사용 64 channel과 256 channel을 맞춰주기 위해 다음과 같이 구성 Conv3 부터 down sampling을 수행하기위해 stride=2를 지정하고 채널을 맞추기 위해 다음과 같이 1x1 Conv를 추가한다. Conv4, Conv5에서는 down sampling을 수행하지 않고 dilated convolution을 사용 ASPP를 적용하여 다양한 크기의 receptive field를 고려 PSPNet PSPNet은 1x1, 2x2, 3x3, 6x6 출력의 Average Pooling을 적용하였다. Global Average Pooling : 주변 정보를 파악해서 객체를 예측하는데 사용 Convolution vs Ave..