[Boostcamp Day-6] DL Basic - Historical Review

Intro

딥려닝은 다음과 같은 4가지 요소를 기본으로 가지고 있다.

• Data : 데이터는 해결해야할 문제에 따라서 달라진다.
• Model : AlexNet, ResNet, LSTM, Deep AutoEncoders, GAN, DenseNet, GoogLeNet
• Loss : MSE, CE, MLE
  • MSE는 Regression 문제에서 사용
  • CE는 Classification 문제에서 사용
  • MLE는 Probabilistic 문제에서 사용
• Algorithm : Optimizer로는 SGD, Adagrad, Adadelta, Rmsprop 등이 있으며 Overfitting을 예방하기위해서 Dropout, Early stopping, K-Fold Validation 등을 같이 사용한다.

Historical Review

1. AlexNet(2012)

이미지 분류 대회에서 딥러닝을 사용해 처음으로 1등한 모델이다.

2. DQN(2013)

강화학습을 딥러닝에 적용한 모델

3. Encoder/Decoder(2014)

간단히 말해 구글 번역에 사용하는 모델로 Sequence to Sequence type 또는 Many to Many라고도 한다.

4. Adam Optimizer(2014)

optimizer로 가장 많이 쓰이며 Adam을 사용하면 웬만해선 잘된다고 한다.

5. GAN(2015)

Generator(생성자) + Discriminator(판별자)

6. Resnet(2015)

기존에는 깊게 층을 쌓고 학습시키면 잘 안되는 문제가 있었는데 resnet에서는 이 문제를 해결하고 깊게 층을 쌓더라도 학습이 잘 된다는 것을 보여주었다.

7. Transformer(2017)

8. BERT(Bidirectional Encoder Representations from Transformers)(2018)

예를 들어 뉴스를 분석한다고 했을 때 다양한 단어들을 가지고 미리 pre-training을 하고 그 다음 내가 풀고자하는 data에 Fin-Tuning을 하는 방법이다.

9. GPT-3(2019)

10. Self Supervised Learning(2020)

내가 학습하고자하는 데이터 외의 데이터를 얻고자하는 것이 목적이거나 데이터를 오히려 만드는 것 또한 Self Supervised Leaning이라 한다.