JADE's Repository

개요 데이터셋으로는 일반 쓰레기, 플라스틱, 종이, 유리 등 10 종류의 쓰레기가 찍힌 사진 데이터셋이 제공 Input : 쓰레기 객체가 담긴 이미지와 bbox 정보(좌표, 카테고리)가 모델의 인풋으로 사용됩니다. bbox annotation은 COCO format으로 제공 Output : 모델은 bbox 좌표, 카테고리, score 값을 리턴 데이터셋 전체 이미지 개수: 9754장 10 class: General trash, Paper, Paper pack, Metal, Glass, Plastic, Styrofoam, Plastic bag, Battery, Clothing 이미지 크기: (1024, 1024) 약 50%의 이미지는 학습에 활용 되며, 50%는 test에 이용 train.json : tr..

Day - 35 피어세션 모더레이터 역할&주기 정하기 매일 질문 1개 이상 올리기 매일 TODO 리스트 공유하기 매일 질문 1개 이상 올리기 질문 vs 강의리뷰 → 강의리뷰는 일단 보류 실험일지: notion 코드 공유: github 알고리즘 스터디 자기소개 Day - 36 피어세션 자기소개 Transformer 스터디 따로 진행 알고리즘 스터디 문제 선정 맛집 공유

Full Stack ML Engineer ML Engineer란? Machine learning(Deep learning) 기술을 이해하고, 연구하고, Product를 만드는 Engineer Deep learning의 급부상으로 Product에 Deep learning을 적용하고자 하는 수요 발생 전통적인 기술의 경우 Research 영역과 Engineering 영역이 구분되지만, Deep learning의 경우 폭발적 발전속도로 인해 그경계가 모호함 Full Stack Engineer란? Client / Server software를 개발할 수 있는 사람 Full Stack ML Engineer란? Deep learning research를 이해하고 + ML Product로 만들 수 있는 Enginee..

서비스 향 AI 모델 개발하기 연구 관점에서 AI 개발이란? 정해진 데이터셋/평가 방식에서 더 좋은 모델을 찾는다. 서비스 관점에서 AI 개발이란? 서비스 개발 시에는 학습 데이터셋도 없고, 테스트 데이터셋과 테스트 방법도 없다. 서비스 요구사항만 있다. 우선 학습 데이터셋을 준비해야하는데 정확히는 서비스 요구사항으로부터 학습 데이터셋의 종류/수량/정답을 정해야 한다. 예를들어 이미지에서 수식을 검출한다고 한다면 결국 학습 데이터 준비를 위해서는 모델 파이프라인 설계가 되어있어야한다. 그런데 모델 파이프라인 설계를 하려면 어느 정도 데이터가 있어야한다. 테스트 데이터셋은 학습 데이터셋에서 일부 사용한다고 하고 서비스 요구사항으로부터 테스트 방법을 도출해야한다. 실 서비스 적용 전 개발 환경에서의 정량 평..

Day - 30 피어세션 학습 질의 응답 Focal loss discussion Xavier, He Initialization discussion 학습 회고 오늘부터 생소한 강의 내용이 나왔다. CNN visualization으로 중간에 feature map을 뽑아 시각화하는 방법인거 같은데 재밌어보이지만 이해하기가 어렵다. 일단 강의에서 나오는 내용은 추상적, 개념적으로만 이해하고 넘어갔다. 구체적인 이해는 논문이나 다른 블로그를 참고해야하지만 시간이 부족하다. 저번주꺼도 제대로 못봤는데.... Day - 31 피어세션 어제와 오늘 강의의 Further Question 학습&강의 관련 질의응답 학습 회고 오늘 강의는 segmentation에대한 다양한 model이 소개되었다. 이전 Fast R-CNN에..

3D Understanding 우리가 3d 세상에 살고 있기 때문에 앞으로 나올 AI driving agent, robot들도 사람들에게 도움을 주기위해 3d 공간에 대한 이해가 필요하다. Triangulation : 2d image들로부터 3d point를 구하는 방법이다. 3d data가 어떻게 computer에 표현되는지를 살펴볼 것이다. 2d image의 경우에는 다음과같이 2d array 구조로 각 pixel이 RGB값을 가져 표현이 된다. 하지만 3d data의 경우 unique하지 않게 다음과 같이 나올 수 있다. Multi-view images : 여러 각도에서 사진을 촬영하여 저장한다. Volumetric(voxel) : 2d image와 가장 비슷한 방법으로 적당히 격자를 나눠 그 격자..

Image captioning Encoder image captioning은 전체적으로 CNN으로 feature tensor를 만들어 RNN으로 넘겨준다. 여기서 CNN이 encoding하는 역할을 한다고해서 아래와 같이 encoder라는 class를 정의하고 있다. class Encoder(nn.Module): def __init__(self, encoded_image_size=14): super(Encoder, self).__init__() # CNN의 결과로 나오는 tensor의 size를 미리알고 있으면 편하기 때문에 미리 정의해 놓음 self.enc_image_size = encoded_image_size # pretrained ImageNet ResNet-101 resnet = torchvis..

Multi-modal learning multi-modal learning을 한다고 했을 때 첫 번째로 어려운 점은 데이터가 다양해서 표현도 다양하기 때문에 이러한 부분이 학습을 어렵게 한다. 두 번째는 서로 다른 modality에서 오는 정보의 양이 Unbalance하고 feature space에 대한 특징들도 Unbalance하다. 세 번째는 여러 modality를 사용할 경우 방해가 될 수 있다. 이것은 모델을 학습하는 방법에 한계가 있기 때문이다. neural network의 경우에는 multiple modality에 대해서 여러가지 정보를 받아서 더 좋은 결론을 내기 위한 구조를 쉽게 만들 수 있다. 그런데 train이 잘 안되서 결과적으로 편의주의적인 성향을 갖게된다. 그래서 쉬운 data, ..

Conditional generative model 스케치된 영상을 실제 사진과 같은 이미지로 변환해주는 문제를 생각해보자. 언어를 번역하는 것과 같이 서로 다른 두 도메인을 translating 한다라고 말한다. 그리고 하나의 조건이 주어졌을 때 어떤 이미지가 나오는 형태를 conditional generative model이라고 한다. Generative model vs. Conditional generative model Generative model은 랜덤하게 sample을 생성한고 Conditional generative model은 랜덤한 sample에 condition이 주어진 것이다. Conditional generative model의 예로는 audio super resolution, m..

Instance segmentation instance segmentation은 위 그림처럼 같은 클래스라도 instance가 다르면 구분을 해준다. Mask R-CNN Fast R-CNN에서는 RPN(region proposal network)에 의해 나온 bounding box에 RoI Pooling을 사용하였다. 그리고 기존 RoI Pooling은 정수 좌표밖에 지원하였다. 하지만 Mask R-CNN에서는 RoIAlign이라는 새로운 Pooling layer를 제안하였고 RoIAlign에서는 interpolation을 통해서 소수점 픽셀 level의 pooling을 지원하게 되었다. 따라서 더욱 정교한 feature를 뽑을 수 있게 되고 그 뒷단의 성능이 향상되는 것으로 이어진다. 그리고 Fast ..