JADE's Repository

Instance segmentation instance segmentation은 위 그림처럼 같은 클래스라도 instance가 다르면 구분을 해준다. Mask R-CNN Fast R-CNN에서는 RPN(region proposal network)에 의해 나온 bounding box에 RoI Pooling을 사용하였다. 그리고 기존 RoI Pooling은 정수 좌표밖에 지원하였다. 하지만 Mask R-CNN에서는 RoIAlign이라는 새로운 Pooling layer를 제안하였고 RoIAlign에서는 interpolation을 통해서 소수점 픽셀 level의 pooling을 지원하게 되었다. 따라서 더욱 정교한 feature를 뽑을 수 있게 되고 그 뒷단의 성능이 향상되는 것으로 이어진다. 그리고 Fast ..

CNN visualization CNN이 패턴을 발견해 내는 과정을 시각화하여 확인하는 방법 CNN을 visualization한다는 것은 debugging tool을 갖는다는 것과 같다. low level에는 좀 더 방향성이 있는 선을 찾는 필터들처럼 기본적인 영상처리 필터들같이 생긴 것들이 보이고 high level로 갈수록 점점 의미있는 표현을 학습한다. 이렇게 눈으로 보면서 튜닝을 하는 ZFNet이라는 것을 제한하였고 2013년 ImageNet Challenge에서 우승하였다. filter visualization AlexNet에서 다음과 같이 11 x 11 x 3 크기인 filter size를 첫 번째 convolutional layer에 사용한다면 각종 영상처리 필터(color edge dete..

Segmentation Classification은 특정 대상이 있는지 없는지를 확인하는 기술이고 흔히 CNN에서 마지막에 FC layer가 오는 형태를 사용한다. 하지만 Detection은 classification과 달리 대상의 존재 여부와 위치 정보도 포함해야한다. 이때 bounding box를 통해서 위치정보를 포함하는데 class를 가리는 softmax와 같이 구성된다. Semantic segmentation은 이미지 안에 있는 pixel 단위로 클래스를 구분하는 것을 목표로 한다. 아래에서처럼 고양이, 하늘, 땅, 산 등을 각 픽셀을 segment하는 것이다. 한 가지 더 예를 들면 아래에서처럼 강아지와 고양이 사진을 input 값으로 넣으면 개에 해당하는 pixel, 고양이에 해당하는 pix..

Object detection 1. Two-stage detector Gradient-based detector(e.g., HOG)(2005) 경계선의 특징을 잘 모델링하기위한 엔지니어링을 수행했다. 간단한 선형 모델인 SVM을 사용 Selective search(2013) bounding box를 제한해서 추출해주는 방법이다. 우선 아래 그림의 맨 왼쪽처럼 잘게 분할을 해주는데 이것을 Over-segmentation이라 부른다. 비슷한 영역끼리 반복적으로 합친다. 반복적으로 합친 큰 segmentation이 나오는데 이런 segmentation이 포함된 bounding box를 후보로 추출해준다. R-CNN(2014) selective search를 사용하여 region proposal들을 extrac..

Deconvolution & Overlap neural networks가 이미지를 생성할 때 종종 높은 수준의 묘사, 저해상도로 구축한다. 이를 통해 network는 rough한 이미지를 묘사하고 detail을 채울 수 있다. 그럴러면 저해상도 이미지에서 더 높은 해상도로 가는 방법이 필요하다. 일반적으로 deconvolution 연산으로 이를 수행한다. deconvolution layer를 사용하면 model이 작은 이미지의 모든 point들을 사용하여 더 큰 이미지의 정사각형을 "paint"할 수 있다. 여기서 paint는 말 그대로 칠하다라는 의미로 이해하면 될 것 같다. 불행히도, deconvolution은 쉽게 "uneven overlap(불균일한 겹침)"을 가질 수 있으며, 어떤 위치에는 다른..

Fully Convolutional Networks(FCN) FCN은 end-to-end의 구조(처음부터 끝까지 미분가능한 neural network)를 가지는 첫 semantic segmentation이다. 임의의 사이즈를 입력으로 넣고 입력값에 해당되는 segmentation map이 출력된다. Fully connected layer : 고정된 vector값이 출력되어 spatial coordinate가 삭제된다. Fully convolutional layer : spatial coordinate가 유지된 classification map이 출력된다. FCN 연산 기존의 FC layer는 다음과 같이 Flattening을 통해 하나의 feature vector를 생성하였다. 하지만 공간에 대한 정보가..

Day - 25 피어세션 그라운드 룰 정하기 팀명 정하기 모더레이터 순서 정하기 강의 내용 관련 질문&답변 학습 회고 3일 동안 3개의 강의와 2개의 과제가 나와서 조금 여유있게 학습할 수 있겠다 생각했지만 하나의 강의를 보며 생각보다 오랜시간을 소요했다. 이전 level에서도 학습한 내용이지만 다시 학습하면서 모르는 내용이나 다시 생각하게되는 내용이 생겨 또 한 번 깊게 파고들었던 것 같다. Day - 26 피어세션 강의 내용관련 질문 & 답변 과제에서 pre-train model을 불러온후 freeze하는 다양한 방법에관한 토론 학습 회고 새벽에 눈이 아파서 다음 날 오후까지 아무것도 못했다.... 필수 과제와 두 번째 강의까지 겨우 들은 것 같다. 저녁에 멘토님과 개인 면담을 가졌다. 앞으로의 학습..

Problems with deeper layers Alexnet에서 VGGNet으로 발전하면서 더 깊고 넓은 neural network를 가질 수 있게 되었다. 더 깊은 레이어를 가지게되면 복잡한 관계에서 학습이 가능하고 영상 application에서는 더 큰 receptive field를 가져 더 많은 주변의 정보를 참조한다. 하지만 더 깊게 쌓는다면 더 좋아지는 것일까? 실제로 더 깊게 쌓는다면 Gradient vanishing/exploding과 계산 복잡도가 더 커지게 된다. 그리고 이전에는 overfitting 문제에 취약할 것이다라고 생각했지만 degradation 문제라는 다른 문제가 있는 것이라고 한다. CNN architectures for image classification 1. Go..

Data Augmentation Brightness Adjustment def brightness_augmentation(img): # numpy array img has RGB value(0~255) for each pixel img[:, :, 0] = img[:, :, 0] + 100 # add 100 to R value img[:, :, 1] = img[:, :, 1] + 100 # add 100 to G value img[:, :, 2] = img[:, :, 2] + 100 # add 100 to B value img[:, :, 0][img[:, :, 0]>255] = 255 # clip R values over 255 img[:, :, 1][img[:, :, 1]>255] = 255 # clip..

Image Classification - Classifier 함수 f()에의해 입력 이미지가 category level로 mapping된다. - k Nearest Neighbors (k-NN) 기존 데이터 안에서 현재 데이터로부터 가까운 k개의 데이터를 찾아 k개의 label 중 가장 많이 분류된 값으로 현재의 데이터를 분류하는 알고리즘이다. 하지만 데이터가 많을수록 시간, 공간복잡도가 비례해서 커지게되기 때문에 실험이 불가능하다. - Convolutional Neural Networks single fully connected layer networks를 사용할 경우 layer가 한 층이라 단순해서 평균된 이미지들 이외에는 표현이 안되는 문제가 있다. 또한 test time에서 이미지의 일부분만 inf..