Paper Review50 [CVPR 2021] Fast and Accurate Model Scaling Before Review 이번 주 Review의 주제는 Model Scaling입니다. 본격적인 Review를 시작하기 전에 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks(2019 , Mingxing Tan)에 나와있는 자료를 하나 참고하겠습니다. 기존 Model Scaling 방법이 어떤 식인지 큰 흐름을 보여주고 있는 그림입니다. 대게 Model Scaling은 모델의 Accuracy를 향상하기 위해 사용한다고 합니다. Scaling은 Filter의 채널 수(width)를 늘리거나 , Layer 수(Depth)를 늘리거나 , Input-size(Resolution)를 늘려주는 방법들로 구성이 됩니다. 알고 가면 더욱 .. 2021. 6. 28. [arXiv 2016] An overview of gradient descent optimization algorithms Before reivew 이번 주제는 gradient descent를 기반으로 하는 optimization algorithm들의 전체적인 concept을 살펴보고자 준비했습니다. 주제가 optimization이다 보니 어쩔 수 없이 Review에 수식이 많이 들어갔습니다. 최대한 이해하실 수 있도록 문장으로도 서술을 해놨으니 천천히 읽으시면 큰 무리는 없을 거라 생각이 듭니다. 저는 Adam 같은 경우는 그냥 막연하게 SGD 보다 좋더라 이렇게 알고 있어서 사용하고 있었는데 이번 기회에 optimization을 정리해보면서 어떤 점이 달라서 더 좋은 건지 이해하게 된 것 같습니다. Introduction Gradient descent 알고리즘은 Neural Network를 최적화시키는 방법으로 가장 흔하.. 2021. 6. 26. 이전 1 ··· 6 7 8 9 다음
