JADE's Repository

Introduction 많은 데이터에서 ViT의 성공에도 불구하고 성능은 여전히 비슷한 양의 데이터, 비슷한 크기의 CNN과 비슷하다. 아마도 그 이유 중 하나로 CNN 구조에서 어떤 특성들이 ViT에 부족한 것이다. 예를 들어 이미지는 인접한 픽셀들끼리 높은 관계를 가지는 것과 같은 2D local structure를 가진다. CNN 구조는 local receptive fields, shared weights, spatial subsampling(max pooling, average pooling 같은 것들을 말함), invariance 등과 같은 것들로 local structure를 잡아낼 수 있다. 또한 convolutional kernel의 계층 구조는 다양한 level의 복잡도에서 local s..

Introduction Convolution의 중요한 개념으로 다음 세 가지를 말할 수 있다. sparse interaction weight sharing equivariant representations 각각의 개념들에 대해서 리마인드해보자. sparse interaction sparse interaction은 위 그림의 윗부분처럼 이전 layer의 output이 다음 layer의 input이 될 때 fully connected가 아니라 일부만 연결이 되어서 유의미한 feature만 찾을 수 있는 것을 말한다. parameter share sparse interaction에서 그림의 아래부분처럼 파라미터를 공유하지 않을 경우 input의 하나하나 모두 연결되어 전체적으로 데이터를 한 번에 본다. 하지만..

Introduction [이전 ViT의 문제] ViT는 다양한 task에서 성공적인 결과를 얻었지만 많은 연산량으로 이러한 성능을 낸다. Swin Transformer의 경우 window-baes self-attention을 제안하는데 이는 complexity를 줄일 수 있도록 도와주지만 shifted operator가 ONNX 또는 TensorRT를 적용하기에 어려움을 준다. Twins SVT의 경우 window-baes self-attention와 spatial reduction attention과 spatially separable self-attention을 제안하고 deployment에 친화적이지만 연산량을 쉽게 줄일 수 있는 방법은 아니었다. CSWin Transformer도 SOTA 성능을 ..

Instroduction 최근 ViT는 다양한 computer vision 분야에서 주목을 받고 많은 성공을 이루어냈다. 하지만 deployment 관점의 ViT는 CNN보다 훨씬 느리기때문에 여전히 CNN이 압도하고 있다. ViT의 높은 latency를 해결하기위해 많은 연구가 이루어졌다. 예를 들어 Swin Transformer, PVT(Pyramid Vision Transformer)는 MHSA(Multi-Head Self Attention)의 quadratic하게 증가하는 연산량을 개선시켰다. 이외에도 MobileViT, Efficientformer, Coatnet 등은 convolution block들과 Transformer block들을 결합하여 accuracy와 latency의 trade-o..

Introduction ViT가 ImageNet과 같은 midsze dataset (양이 중간 크기인 데이터셋)에서 CNN보다 떨어지는 이유를 다음 두 가지로 꼽았다. 간단한 토큰화 (hard하게 patch split하는 것을 말함)는 중요한 local structure를 모델링할 수 없고 train 효율이 떨어진다. 따라서 더 많은 학습 샘플들을 필요로 한다. ViT의 attention bachbone은 고정된 연산량과 제한된 학습 샘플은 제한된 feature들로 이어진다. 위 가설을 검증하기위해 ViT-L/16과 ResNet50에서 학습된 feature들의 차이를 다음과 같이 시각화하였다. (1) ResNet (2) ViT (3) T2T-ViT 내부 그림 ResNet과 T2T-ViT에서 녹색 박스를 ..