분류 전체보기67 [arXiv 2016] An overview of gradient descent optimization algorithms Before reivew 이번 주제는 gradient descent를 기반으로 하는 optimization algorithm들의 전체적인 concept을 살펴보고자 준비했습니다. 주제가 optimization이다 보니 어쩔 수 없이 Review에 수식이 많이 들어갔습니다. 최대한 이해하실 수 있도록 문장으로도 서술을 해놨으니 천천히 읽으시면 큰 무리는 없을 거라 생각이 듭니다. 저는 Adam 같은 경우는 그냥 막연하게 SGD 보다 좋더라 이렇게 알고 있어서 사용하고 있었는데 이번 기회에 optimization을 정리해보면서 어떤 점이 달라서 더 좋은 건지 이해하게 된 것 같습니다. Introduction Gradient descent 알고리즘은 Neural Network를 최적화시키는 방법으로 가장 흔하.. 2021. 6. 26. 이전 1 ··· 9 10 11 12 다음
