Math6 Optimization Theory (Gradient Descent - Convergence Analysis) Convex Functions Convex function의 정의에 대해서 다시 한번 상기시켜 보도록 하겠습니다. 우선 함수가 정의되는 정의역이 convex set 이어야 합니다. 그러한 상태에서 다음의 부등식을 만족하는 함수를 우리는 convex function이라 정의합니다. $f(\theta x+(1-\theta )y)\leq \theta f(x)+(1-\theta )f(y),0\leq \theta \leq 1$ 여기서 등호가 사라지면 우리는 strictly convex function이라 정의합니다. $f(\theta x+(1-\theta )y) 2022. 9. 8. Optimization Theory (Unconstrained Optimization) 지난 포스팅에서는 Optimization Problem을 어떻게 정의하고 이를 Equivalent한 문제로 어떻게 바꿀 수 있는지 알아보았습니다. 맛보기만 한 상태인데 이번 포스팅부터는 슬슬 Optimization Solution을 어떻게 도출하는 지에 대해서 알아볼 예정입니다. 많고 많은 방법 중에서 이번에는 Convex Optimization 상황에서 제약식이 없는 Unconstrained Optimization을 해결할 수 있는 몇 가지 방법론에 대해서 알아볼 예정입니다. 주된 내용은 우리가 머신러닝/딥러닝에서 많이 활용하는 Gradient Descent에 대한 내용이 될 것 같습니다. Unconstrained Optimization $f:R^{n}\rightarrow R$가 convex funct.. 2022. 9. 8. Optimization Theory (Convex Optimization Problems) 이제 본격적으로 최적화에 대해서 알아보도록 하겠습니다. 이전까지는 Convex Set이 무엇인지 그리고 Convex Function이 무엇인지 알아보는 과정을 거쳤습니다. 그러한 지식을 바탕으로 이제 최적화가 무엇이고 그중 Convex Optimization이 무엇인지 알아보도록 하겠습니다. 정확히는 최적화 알고리즘들에 대해서 배우는 것은 아니고 문제가 어떻게 정의되는지 정도로만 얘기할 것입니다. Lecture 4 : Convex Optimization Problems Optimization problems 그렇다면 일단 최적화 문제가 무엇인지 알아보는 것부터 시작하겠습니다. 여기서 General 한 Optimization의 형태는 아래와 같습니다. 일단 우리의 목적함수(objective function.. 2022. 5. 3. Optimization Theory (Convex Functions Ⅱ) 지난 글에서는 Convex Function의 정의와 몇 가지 예제들 그리고 그 예제들이 정말로 Convex Function인지 같이 증명을 해보았습니다. 이번 글에서는 Convex Function의 Convexity를 보존하는 연산들을 살펴보고 Quasiconvex function과 log convex function에 대해서도 알아보도록 하겠습니다. Lecture 3 : Convex Functions Operations that preserve convexity 지난번 글에서 Convex Set의 Convexity를 유지할 수 있는 몇몇 연산들을 살펴봤습니다. Convex Function에서도 convexity를 유지하게 하는 몇몇 연산들이 존재합니다. 이러한 연산들을 숙지하는 것은 중요합니다. 우리가.. 2022. 4. 23. Optimization Theory (Convex Functions Ⅰ) Convex Function 역시 Convex Set과 비슷하게 정의를 먼저 살펴보고, 다양한 예시 그리고 Convexity를 보존하는 연산들을 살펴볼 것입니다. 추가로 Quasiconvex function과 log convex function에 대해서도 알아보도록 하겠습니다. Lecture 3 : Convex Functions Basic properties and examples Convex functions 우선 Convex function의 정의부터 알아보도록 하겠습니다. 우선 함수가 정의되는 정의역이 convex set 이어야 합니다. 그러한 상태에서 다음의 부등식을 만족하는 함수를 우리는 convex function이라 정의합니다. $f(\theta x+(1-\theta )y)\leq \thet.. 2022. 4. 23. Optimization Theory (Convex Sets) Optimization Problem 일단 최적화 이론 자체는 응용분야가 상당히 많습니다. 신호처리나 제어공학, 통신 시스템 등 다양한 분야에서 사용이 될 수 있지만, 머신러닝/딥러닝에서도 최적화는 많이 사용이 되죠. 다양한 Optimization problem들이 있지만 이 수업에서 집중적으로 다루는 문제는 Convex Optimization입니다. 우선 벤 다이어그램을 하나 보도록 하겠습니다. 우리가 일반적으로 머신러닝/딥러닝에서 마주하게 되는 최적화 문제는 NonConvex 문제에 해당합니다. 신경망 내부에는 다양한 연산들이 존재하고 그로 인해 만들어지는 Loss Landscape는 Convexity를 가지기 힘듭니다. 그럼에도 불구하고 Convex Optimization을 배워야 하는 이유는 우리.. 2022. 4. 23. 이전 1 다음
