[Boostcamp 2주차] 피어세션과 학습 회고

Day - 6

피어세션

1. ML Basic 01, 02 강의 리뷰
2. 선택과제 1, 2, 3 코드 리뷰
3. Dive into Deep learning 스터디를 위한 일정 결정 : 금요일 피어세션 진행아고 남은 시간 포함해서 진행
4. 멘토링때 무엇을 해야할지 의견을 수요일 피어세션 전까지 노션에 작성하고 수요일 피어세션때 의견을 종합해서 정하기

학습 회고

오늘부터 DL학습이 시작되는 주이다. 01강의 Historical Review는 모델별로 시대적흐름에 따라 어떻게 변해가는지 확인할 수 있었고 02강의 MLP에 대한 강의는 NN의 정확한 정의와 Linear Regression에서 사용하는 1차원 벡터부터 다차원 벡터, 단층 퍼셉트론부터 다층 퍼셉트론까지 진행하면서 각각에 어떠한 함수가 사용되는지 확인할 수 있었다. 하지만 마지막에 CE와 MLE의 차이를 정확하게 모르겠어서 질문게시판에 올렸지만 아직 답은 없다. pytorch를 사용한 실습은 pytorch 기초가 선행되어야하는데 조금 강의 순서가 맞지 않는다는 생각도 들었다. 또한 실습 코드의 컨벤션이 나와 맞지않아 보면서 약간 수정한 부분이 있었다.

 

Data Visualization에 대한 강의도 올라와서 데이터의 종류에 따른 시각화와 각 속성, 마크 등을 좀 더 자세하게 알 수 있었고 이전에도 써본적은 있지만 정확하게 기억은 안나는 matplotlib도 실습을 통해서 다시 기억을 되살려가는 것 같았다.

 

Day - 7

피어세션

도메인 특강으로 조금 늦게 시작

1. ML Basic 03 강의 리뷰
2. 필수 과제 MLP Assignment Q&A

학습 회고

Optimization 강의에서 설명한 각각의 Optimizer들에 대해서 좀 더 개념이 잡혀갔던 것 같다. 그리고 여러 종류의 Regularization에 대해서 알 수 있었지만 각각에 대한 구체적인 내용은 따로 찾아봐야할 것 같은 생각이 들었다. 짧은 시간에 모든 것을 설명하는 것은 한계가 있기 때문에 웬만하면 강의에서는 개념만 잡고 정확한 내용은 알아서 찾아봐야겠다.

 

필수 과제 Optimization Assignment는 코드가 상당히 나랑 맞지않아서 실습할때 많이 고치면서 진행했다. 예를 들어 그냥 Sequential에 layer들을 넣으면되는데 실습 코드에서는 layer라는 리스트를 만들어서 append로 추가하고 Sequential로 다시 만드는 코드가 있었다. 물론 함수를 사용해서 레이어를 추가하는 방식은 층이 깊은 모델을 만들때 유용하지만 간단한 모델에서는 필요가 없다고 생각했다.

 

Day - 8

피어세션

1. ML Basic 04, 05 강의 리뷰(특강으로인해 대부분 06강의를 못봄)
2. 강의 관련 질문 Q&A
3. Further Question : 파이토치로 AGGNet, ResNet을 어떻게 불러올 수 있는가에 대한 의논
4. 스터디관련 영상이나 도서 추천
5. 내일 멘토링때 멘토님에게 논문 추천 + Q&A

학습 회고

04.CNN에 대한 강의는 기본적으로 어떻게 동작하는 것이고 parameter는 어떻게 계산하는 것인지에 대한 내용으로 어려운 점은 없었지만 GoogLeNet parameter 계산 결과가 맞지 않아 아직 의문이 남아있는 상태이다.

 

05.Modern CNN에서는 AlexNet부터 DenseNet까지 어떻게 개선되어왔는지에 대한 내용으로 GoogLeNet까지는 paramter 수를 줄여가며 성능을 높였고 이후 ResNet, DeneseNet은 새로운 block 형태를 design하여 더 높은 층을 쌓을 수 있는 모델을 만들 수 있게하였다. 정확하게 내용을 알게된 것인지 확신이 들지 않아 나중에 따로 찾아봐야 할 것 같은 느낌은 든다.

 

06.Computer Vision Applications에서는 상당히 시간을 많이 소요한것 같다. 이해되지않는 부분이 많아 검색하면서 하나씩 보는데 그 내용이 점점 많아져서 조금 벅찼던 강의가 아니었나 싶다. 하지만 이렇게 하나씩 찾아보면서 R-CNN부터 YOLO까지 어떻게 개선되어왔고 각각 어떠한 한계점이 있어왔는지를 명확하게 알 수 있었다. 명확하게라고 말할 수 있을만큼 논문을 다 보거나 그렇진 않았지만 핵심적인 부분은 모두 알게 되었다고 확신할 수 있을 것 같다.

 

Day - 9

피어세션

1. ML Basic 06, 07 강의 리뷰
2. 강의 관련 질문 Q&A

학습 회고

07강 RNN에 대한 학습은 거의 검색을 통해 진행했다. 특히 LSTM과 GRU에 대한 이해가 강의만으로는 턱없이 부족했기때문에 검색을 많이했다. 시간이 많이 걸리긴 했지만 좀 더 정확하게 이해할 수 있었던 것 같다.

 

08강 transform에 대한 학습은 이전 07강을 학습하고나니 거의 12시가 다되어서 할 수 있을까 싶었지만 아니나다를까 지금 밤새 학습하고 회고를 적고 있다... 생각보다 transform에 대한 내용을 처음봤을때 어렵다는 생각보다 재밌다는 생각이 들어서 의외로 힘들지 않게 학습하였다. 또한 transform에 대해 잘 작성되어있는 글이 있었기때문에 좀 더 쉽게 학습할 수 있었지않나 싶다. transform이 어떻게 동작하는지는 이해했지만 왜 그렇게 동작하는지는 아직 모르는 상태이기 때문에 주말에 좀 더 찾아봐야할 듯 싶다.

 

Day - 10

피어세션

1. ML Basic 09, 10 강의 리뷰
2. 강의 관련 질문 Q&A
3. 멘토링 진행
4. Dive into deep learning 발표
5. 회고록 작성

학습 회고

09, 10강의 generative model에 대한 내용은 어려운 내용은 아니었던 것 같지만 그 내용이 상당히 방대했던 것 같다. 제한된 시간에 강의에서 언급된 모든 model들을 학습하고 찾아보고 이해한다는 것이 거의 불가능이라 생각한다. 왜냐하면 어제 transformer 학습때문에 무식하게 밤을 샜기 때문이다. 따라서 어느 정도 간단한 개념만 짚어둔 후에 나중에 시간이 날지는 모르겠지만 나중에 좀 더 자세히 알아볼 계획이다.

 

무식하게 밤새면서 학습하지 말자...