Paper Review/Machine Learning3 Self-Supervised Learning Framework (SimCLR, MoCo) Before Review 요즘 Self-Supervised 기반의 Video Representation Learning 논문을 계속 읽고 있는데 기본적인 SSL framework에 이해가 부족한 느낌을 받았습니다. 요즘 비디오 분야에서 2D Encoder + Transformer 구조가 많이 등장하면서 2D Encoder 부분에 SimCLR나 MoCo 같은 framework를 많이 사용하고 있습니다. 그런데 이 SimCLR나 MoCo와 같은 구조의 특징이나 implementation detail을 제가 놓치고 있었습니다. 따라서 한번 제대로 정리하고자 SSL의 대장(?) 논문들을 method 위주로 정리하였습니다. 따라서 실험 내용보다는 방법론의 개념 그리고 implementation detail에 집중.. 2024. 1. 15. [CVPR 2021] Fast and Accurate Model Scaling Before Review 이번 주 Review의 주제는 Model Scaling입니다. 본격적인 Review를 시작하기 전에 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks(2019 , Mingxing Tan)에 나와있는 자료를 하나 참고하겠습니다. 기존 Model Scaling 방법이 어떤 식인지 큰 흐름을 보여주고 있는 그림입니다. 대게 Model Scaling은 모델의 Accuracy를 향상하기 위해 사용한다고 합니다. Scaling은 Filter의 채널 수(width)를 늘리거나 , Layer 수(Depth)를 늘리거나 , Input-size(Resolution)를 늘려주는 방법들로 구성이 됩니다. 알고 가면 더욱 .. 2021. 6. 28. [arXiv 2016] An overview of gradient descent optimization algorithms Before reivew 이번 주제는 gradient descent를 기반으로 하는 optimization algorithm들의 전체적인 concept을 살펴보고자 준비했습니다. 주제가 optimization이다 보니 어쩔 수 없이 Review에 수식이 많이 들어갔습니다. 최대한 이해하실 수 있도록 문장으로도 서술을 해놨으니 천천히 읽으시면 큰 무리는 없을 거라 생각이 듭니다. 저는 Adam 같은 경우는 그냥 막연하게 SGD 보다 좋더라 이렇게 알고 있어서 사용하고 있었는데 이번 기회에 optimization을 정리해보면서 어떤 점이 달라서 더 좋은 건지 이해하게 된 것 같습니다. Introduction Gradient descent 알고리즘은 Neural Network를 최적화시키는 방법으로 가장 흔하.. 2021. 6. 26. 이전 1 다음
