Deep Learning3 [CS231n] 03. Backpropagation and Neural Networks 이번 포스팅에서는 오차 역전파에 대해 알아보도록 하겠습니다. 지난 포스팅에서는 손실 함수에 대해서 알아보았고, 이를 최소화시킬 방법이 경사 하강법이라는 것까지 얘기했습니다. 경사 하강법은 결국 가장 가파른 방향으로 step을 조금씩 밟아나가 근처에 있는 최소점에 수렴하게 만들어주는 알고리즘입니다. 가장 가파른 방향이라는 것은 결국 Gradient로 정의가 되는데 이는 알고 보면 각 parameter에 대한 편미분 계수로 이루어진 벡터입니다. 즉, Gradient를 구하려면 Loss함수에 대해서 각 parameter에 대한 편미분 계수를 구해야 parameter를 업데이트할 수 있을 것 같습니다. Chain Rule 미분 계수야 뭐 미분 공식만 잘 적용해주면 구할 수야 있겠지만 문제는 복잡한 신경망을 통과.. 2022. 3. 6. [CS231n] 02. Loss Functions and Optimization 지난 포스팅에서 다뤘던 Linear Classifier에 대해서 다시 한번 간단하게 얘기하면서 본 포스팅을 시작하도록 하겠습니다. Linear Classifier의 핵심은 어떤 복잡한 고차원의 특징 공간 내에서 서로 다른 클래스 간의 구분을 위한 선형의 결정 경계를 만들어주는 방법론이라 다루었습니다. 대충 수식으로 $w_{11}x_{1}+w_{12}x_{2}+w_{13}x_{3}+w_{14}x_{4}+b_{1}$ 이렇게 정의할 수 있었습니다.(특징 벡터가 4차원으로 정의되었을 때의 경우입니다.) 그렇다면 저 $w_{11},w_{12},w_{13},w_{14},b_{1}$ 이 녀석들은 어떻게 찾아야 할까요? $w_{11},w_{12},w_{13},w_{14},b_{1}$ 여기에 아무런 값이나 들어가면 우리.. 2022. 1. 26. [CS231n] 01. Image Classification Pipeline CS231n의 시작은 컴퓨터 비전 분야에서 가장 흔하면서도 중요하게 여겨지는 Image Classification에 대한 내용으로 시작합니다. 컴퓨터에게 있어서 이미지 분류는 왜 어려운 걸까요? 인간이 사진을 보고 받아들이는 정보와 컴퓨터가 받아들이는 정보는 의미론적 차이(Semantic Gap)가 존재합니다. 우리가 고양이 사진을 보면 우리의 뇌는 어떠한 복잡한 처리를 거쳐서 판단을 내립니다. 이건 고양이다!! 하지만 컴퓨터가 보는 고양이 사진은 단순한 픽셀 정보만 담긴 행렬만을 받아들이게 됩니다. 더군다나 이미지 분류에 있어 컴퓨터가 다양한 변화에 강인하도록 설계하는 것은 더더욱 어려운 일입니다. 위의 사진을 보면 다양한 변화에 대해 인간은 쉽게 쉽게 구별을 할 수 있지만 이 작업은 컴퓨터에게 쉽지 .. 2022. 1. 25. 이전 1 다음
