본문 바로가기

Math7

Optimization Theory (Duality) Intro이번 포스팅에서는 최적화 이론에서 굉장히 중요하게 다뤄지는 쌍대성(duality)에 대해서 알아보도록 하겠습니다. 최적화 문제에서 쌍대성(duality)은 주어진 원 문제(primal problem)와 이 문제에 대응하는 쌍대 문제(dual problem) 사이의 관계를 의미합니다 쌍대 문제를 푸는 것은 복잡한 원 문제를 더 쉽게 풀기 위해 사용되며, 특히 비선형 최적화나 제약 조건이 포함된 문제에서 유용하게 쓰입니다. 사실 대부분의 최적화 문제는 non convex problem 일 것이고 정확한 솔루션을 찾는 것이 어려운 경우가 굉장히 많습니다. 그럴 때 이 쌍대 문제 (dual problem)이 우리가 찾고자 하는 global solution의 bound를 제공하기도 하고, 특정한 조건에서.. 2024. 11. 12.
Optimization Theory (Gradient Descent - Convergence Analysis) Convex Functions우선 convex function의 정의부터 알아보도록 하겠습니다. 우선 함수가 정의되는 정의역이 convex set 이어야 합니다.$\text{dom}(f)=\left\{\mathbf{X}\,|\, x_{1},x_{2} \in \mathbf{X}, \theta \in [0,1], \theta_{1}x_{1}+\theta_{2}x_{2} \in \mathbf{X} \right\}$정의역이 convex set 일 때, 아래의 부등식을 만족하는 함수를 convex function이라 정의합니다.$f(\theta x+(1-\theta )y)\leq \theta f(x)+(1-\theta )f(y),\, \text{where} \, 0\leq \theta \leq 1$여기서 등호가 .. 2022. 9. 8.
Optimization Theory (Unconstrained Optimization) Intro지난 포스팅에서는 optimization problem을 어떻게 정의하고 이를 equivalent한 문제로 어떻게 바꿀 수 있는지 알아보았습니다.  맛보기만 한 상태인데 이번 포스팅부터는 슬슬 optimization solution을 어떻게 도출하는 지에 대해서 알아볼 예정입니다. 많고 많은 방법 중에서 이번에는 convex optimization 상황에서 제약식이 없는 unconstrained optimization을 해결할 수 있는 몇 가지 방법론에 대해서 알아볼 예정입니다.  주된 내용은 우리가 머신러닝/딥러닝에서 많이 활용하는 gradient descent에 대한 내용이 될 것 같습니다.1. Unconstrained Optimization$\min f(x)$ $f:\mathbb{R}^{n.. 2022. 9. 8.
Optimization Theory (Convex Optimization Problems) Intro이제 본격적으로 convex optimization에 대해서 알아보도록 하겠습니다. 이전까지는 convex set이 무엇인지 그리고 convex function이 무엇인지 알아보는 과정을 거쳤습니다. 그러한 지식을 바탕으로 이제 최적화가 무엇이고 그중 convex optimization이 무엇인지 알아보도록 하겠습니다. 일단 이번 포스팅에서는 문제가 어떻게 정의되는지 정도로만 얘기할 것입니다.Convex Optimization Problems1. Optimization problems그렇다면 일단 최적화 문제가 무엇인지 알아보는 것부터 시작하겠습니다. 여기서 general 한 optimization의 형태는 아래와 같습니다.일단 우리의 목적함수(objective function) 혹은 비용 함수.. 2022. 5. 3.
Optimization Theory (Convex Functions Ⅱ) Intro지난 글에서는 convex function의 정의와 몇 가지 예제들 그리고 그 예제들이 정말로 convex function인지 같이 증명을 해보았습니다. Optimization Theory (Convex Functions Ⅰ)Intro지난 포스팅에서는 convex set의 정의를 살펴봤습니다. 이번 포스팅에서도 비슷하게 convex function의 정의를 알아보고, 다양한 예시 그리고 함수의 convexity를 보존하는 연산들을 살펴볼 것입니다.taek-guen.tistory.com  이번 글에서도 convex function과 관련된 내용을 알아 볼 것인데, convex function의 convexity를 보존하는 연산들을 살펴보고 quasiconvex function에 대해서 알아보고 마.. 2022. 4. 23.
Optimization Theory (Convex Functions Ⅰ) Intro지난 포스팅에서는 convex set의 정의를 살펴봤습니다. 이번 포스팅에서도 비슷하게 convex function의 정의를 알아보고, 다양한 예시 그리고 함수의 convexity를 보존하는 연산들을 살펴볼 것입니다. Optimization Theory (Convex Sets)IntroOptimization theory 포스팅에서는 Stephen Boyd 교수님의 Convex Optimization 을 정리합니다. 사실 저는 ML 보다는 좀 더 응용에 가까운 딥러닝 연구에 관심이 있지만, 학부때 수업을 듣기도 했고, 정리 해taek-guen.tistory.comConvex Functions1. Convex functionConvex function 우선 convex function의 정의부터 알.. 2022. 4. 23.

티스토리툴바